Constitutional AI 相关 AI 资讯 · AI 热点

8月1日

07:08

07:08

Gary Marcus@GaryMarcus

Gary Marcus在X上发文，批评以LLM为中心的系统无法被信任遵循硬约束。他针对Richard Socher关于Constitutional AI的宣传，认为该路径并未奏效。Constitutional AI曾被视为通往AGI的更安全路径。Gary Marcus强调必须找到能够遵循硬约束的替代方案，否则后果严重。

行业 Constitutional AI Gary Marcus LLM

推荐理由：Gary Marcus说Constitutional AI不靠谱，LLM守不住硬约束，得找替代方案。

7月31日

12:08

12:08

官方一手arXiv: Anthropic@Desiree Cho, Cameron Tice, Bernie Hogan, Hunar Batra, Puria Radmard, Jun Zhao, Nigel Shadbolt

72°

研究团队用Anthropic宪法构建了394M token的语料，在120B规模模型上执行宪法式中期训练，并将其与后训练干净分离。2x2设计产生四个中期训练条件加一个对照，在自生成和既有基准上评估。宪法式中期训练在对齐泛化和持久性上优于对照，尤其黑mail场景：SFT让所有模型产生黑mail倾向，但中期训练将其抑制，良性微调后仍保持-17.5pp优势。这种持久性未延伸到需要主动抵抗上下文压力的场景，SFT后优势减弱。所有阶段平均无能力损失，MMLU、ARC-Easy、piqa、GSM8K得分持平。

论文 Anthropic Constitutional AI AI安全

推荐理由：Anthropic这篇把宪法内容塞进中期训练，黑mail对齐提升17.5pp，还不掉性能。

6月12日

01:18

01:18

berryxia@berryxia

73°

Anthropic 的创始团队是 GPT-2、GPT-3 的实际作者，包括 Scaling Laws 核心作者 Jared Kaplan 和 GPT-3 首席工程师 Tom Brown，拥有行业顶级人才。其独家技术武器包括 Scaling Laws（精确预测训练产出）、Constitutional AI（价值观编码）和 RLHF（发明者参与），算力方面与 Amazon、Google、Microsoft 合作，拥有约 100 万颗 Trainium2 芯片和 5 GW 算力协议。年化营收从 2024 年 1 月的 8700 万美元飙升至 2026 年 4 月的 300 亿美元，增速超预期 8 倍。关于指控中国厂商蒸馏 Claude 能力，既有技术证据，也被视为政策游说动作。

行业 Anthropic 创始团队 Scaling Laws

推荐理由：想了解 AI 行业顶级团队如何构建技术壁垒和商业飞轮的读者，这篇快速梳理了 Anthropic 的核心优势，看完会对这家公司的战略有清晰认知。