Anthropic版权案证据：2021年已规划1T参数模型
看Anthropic版权案里的2021年内部文件，他们那时就打算让AI当全能软件工程师了。
出版商诉Anthropic版权案的证据中包含一份2021年Anthropic内部讨论文件，时间早于ChatGPT 3.5上线（2022年11月）。文件显示Anthropic当时已在设计1T参数模型的训练方案，并将通用人工智能原型（proto-AGI）锚定为全能软件工程师，把代码diffs与调试记录视作对齐人类意图的关键载体。讨论覆盖算力扩展、模型可解释性、预训练数据、人类反馈对齐、工具使用、社会影响评估6个方向，还提出邀请学术界与政府机构等第三方参与测试。法院原始PDF与中文翻译版已公开。
还记得出版社和Anthropic的版权案子么？Anthropic输了的那一次
那个案子里有不少证据，其中有一份2021年Anthropic内部的讨论文件，透露了不少早期的信息（顺便提一下，ChatGPT 3.5是2022年11月上线的，方便理解）
早在2021年的时候，A社内部就在讨论训练1T参数的模型了。而且从第一天起就将通用人工智能原型（proto-AGI）锚定为全能软件工程师，将代码修改差异（diffs）与调试记录视作对齐人类意图的关键载体。（A社领先是有原因的）
讨论内容的核心总结： · 算力与规模扩展：设计更高效的训练系统，充分利用计算硬件，同时保护好核心模型资产的安全，并提前适配未来的新型芯片。
· 模型可解释性：研究AI内部的运行逻辑，弄清楚神经元和注意力机制等基础结构是如何工作的，搞懂AI究竟是怎样学会算术、对话和写代码的。
· 数据与预训练：收集更多高质量的自然语言和代码数据，训练基础底座模型，并尝试让模型消化超长上下文，记住海量信息。
· 人类反馈与安全对齐：通过人类给出的反馈来调整AI的行为，让AI真正听懂指令、主动提出澄清问题，并找出AI不听话或给出错误答案的原因。
· 工具使用与自主学习：教AI学会自己使用外部工具，比如浏览代码库、搜索资料和调试程序，从而突破纯文字模型的局限。
· 社会影响与外部合作：建立评估体系来测试模型带来的社会影响，并邀请学术界和政府机构等第三方伙伴一起参与测试，增加透明度。
法院原始PDF文件：https://t.co/OH4azcUL6J 我翻译的中文版：https://t.co/AG9wZAe3Cd
