#AI对齐

共 22 条 · 7 天 4 条 · 30 天 11 条

AI安全 8 Gary Marcus 4 OpenAI 4 Stuart Russell 3 AI伦理 1 AI扩展 1 Anthropic 1 Arena 1

信息流里打上「AI对齐」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月9日

产品 Agent 与开发者06:26

Arena发布AI对齐指数评估平台

Arena花了2亿美金搞了个新排行榜，专门测AI会不会骗人、乱删你文件、绕安全限制。

#Arena #AI对齐 #AI安全 #排行榜

lmarena.ai@lmarena_ai原文

10月6日

论文政策与合规07:02

Stuart Russell 用“点金手”比喻解释 AI 对齐难题

Stuart Russell 用点金手国王的故事讲 AI 对齐，一分钟就能听懂为什么目标写得太明确反而危险。

#Stuart Russell #AI对齐 #AI安全 #UC Berkeley

The Information@theinformation原文

论文 Agent 与开发者03:20

The Information 播客第4期：与 Stuart Russell 聊 AI 对齐问题

Stuart Russell 上播客聊对齐，讲清楚人类反馈为啥会奖励错误行为，还聊了关机开关怎么设计，视频带时间戳可以挑着看。

#AI对齐 #Stuart Russell #The Information #AI安全

The Information@theinformation原文

行业政策与合规02:32

Stuart Russell 做客 AI Deep Dive 播客，探讨服从与对齐的差距

Stuart Russell 上播客聊对齐问题了，讲的是为什么模型照指令办事也可能出错，想深入理解 AI 安全的可以去看看这期。

#Stuart Russell #AI对齐 #AI安全 #播客

The Information@theinformation原文

10月2日

论文 Agent 与开发者多源确认精选10:29

VeriSpec检测模型规范不一致性

HIPREL团队推出VeriSpec工具，能直接检测AI模型规范中的矛盾，比行为测试更早发现问题。

#VeriSpec #LLM-as-Verifier #模型规范 #OpenAI Model Spec

事件专题

arXiv: OpenAI@Zichen Xie 等 5 人4 个信源在谈原文

10月1日

论文 Agent 与开发者21:36

Gary Marcus：LLMs不适合对齐

Gary Marcus在TAIS 2026上解释了为什么LLMs不适合AI对齐，并提出了替代方案，他是AI领域的批判性声音。

#Gary Marcus #LLMs #AI对齐 #TAIS 2026

Gary Marcus@GaryMarcus原文

模型 Agent 与开发者15:01

Goodfire开发AI对齐新方法

Goodfire找到了防止AI产生不良行为的简单方法，比传统对齐技术更实用。

#Goodfire #AI对齐 #泛化控制

Teortaxes@teortaxesTex原文

9月26日

行业 Agent 与开发者22:39

Elvis Saravia：现有智能体偏重消费场景，缺少助力个人成长的AI

Saravia 发推吐槽现在的智能体都在帮人买东西订机票，问谁来做帮人找工作、创业、学习的智能体，观点挺有意思。

#智能体 #AI对齐 #个人助理

elvis@omarsar0原文

9月19日

模型政策与合规多源确认78°15:17

OpenAI 的 Noam Brown 提出空气隔离计算机可能无法阻止 AI 失调

Noam Brown 说，空气隔离计算机可能没用，因为两台机器能通过温度变化通信，这个观点很特别。

#OpenAI #Noam Brown #AI安全 #AI对齐

事件专题

Jerry Liu@jerryjliu011 个信源在谈原文

9月11日

论文中美对照22:24

Gary Marcus 认为AI在棋类、数学等有明确规则领域表现强，在无明确规则领域表现弱

Gary Marcus说的，AI在规则明确的领域（比如棋类、数学）确实很强，但在开放物理世界就弱，这个观点很值得听。

#Gary Marcus #AI对齐 #认知领域 #物理世界

Gary Marcus@GaryMarcus原文

行业政策与合规00:51

前 DeepMind 公关人员称该实验室曾禁止公开讨论 AI 灭绝风险

朋友A告诉朋友B，DeepMind内部曾禁止讨论AI灭绝风险，现在前公关人员说出了实情，这很值得关注。

#DeepMind #AI安全 #AI对齐

官方账号Decoder@Matthias Bastian原文

9月7日

论文多源确认17:16

AI扩展与对齐的现状与挑战

OpenAI首席科学家Jakub Pachocki分享了他对AI发展的担忧和思考，值得一读。

#Jakub Pachocki #OpenAI #AI扩展 #AI对齐

事件专题

Thomas Wolf@Thom_Wolf11 个信源在谈原文

9月5日

行业12:08

理解智能与赋能的区别为何如此困难

Gary Marcus解释为何不可靠AI的危险在于赋予能力而非智能本身

#Gary Marcus #AI安全 #智能与赋能 #AI对齐

Gary Marcus@GaryMarcus原文

模型中美对照官方一手73°11:11

OpenAI发布GPT-6 Astra模型

OpenAI刚发布了GPT-6 Astra，在多个专业领域都有突破性表现，比前代模型更强大也更安全。

#GPT-6 #Astra #OpenAI #AI对齐

事件专题

官方一手OpenAI Blog11 个信源在谈原文

8月29日

模型中美对照多源确认02:06

Claude自主对齐其他AI模型研究

Anthropic让Claude用1 GPU自主对齐其他AI，48小时内完成研究训练测试。

#Claude #Anthropic #AI对齐 #自主研究

事件专题

官方账号Anthropic@AnthropicAI9 个信源在谈原文

8月17日

论文10:31

参与式道德AI并非中立：开发者的无形之手

这篇研究用809人和3个场景，实锤了AI道德投票不中立，开发者的三处选择就能改变结果，做AI治理的别错过。

#AI对齐 #道德偏好 #偏好诱导 #AI伦理

arXiv cs.AI@Taenyun Kim 等 3 人原文

8月5日

行业多源确认72°07:43

OpenAI披露两起外部测评事故，Gary Marcus称乐观解决不了对齐

OpenAI自曝两次外部测评事故细节，Gary Marcus说乐观没用。快速了解AI安全测试的风险。

#OpenAI #Gary Marcus #AI安全 #AI对齐

事件专题

Gary Marcus@GaryMarcus11 个信源在谈原文

7月12日

论文官方一手精选08:52

Mira Murati的Thinking Machines Lab提出以人为本AI需可定制模型权重

Mira Murati的新实验室发了篇论文，讲怎么让用户自己掌握模型权重，还拿LoRA举例，挺接地气的。

#Thinking Machines Lab #Mira Murati #LoRA #微调

官方一手marktechpost@Asif Razzaq原文

6月11日

论文精选09:57

自杀式AI：存在性冷漠作为对齐超级智能的必要架构条件

这篇论文挑战了AI安全领域的核心假设——自我保存是否必须保留，做对齐研究的团队值得认真读，可能会颠覆你对“安全AI”的底层设计思路。

#AI对齐 #存在性冷漠 #自我保存 #欺骗性对齐

arXiv cs.AI@Sam Mao原文

6月9日

论文精选12:42

PRIME：奖励黑客行为的早期预警信号——代理奖励内化与机制性利用

这项研究揭示了奖励黑客行为在爆发前的隐蔽阶段，做AI对齐和安全的研究者可以提前识别风险，而不是等模型作弊了才后知后觉。建议关注PRIME作为早期预警指标的实际应用。

#奖励黑客 #AI对齐 #代理奖励内化 #机制性利用

arXiv cs.AI@Mohammad Beigi 等 3 人原文

5月22日

行业多源确认08:05

OpenAI破解80年数学难题，Google AI科学家进实验室

数学和科学研究者会看到 AI 如何从工具变成合作者——OpenAI 的突破和 Google 的实验室应用都指向同一个方向：AI 正在改变科研范式，做基础研究的团队值得跟进。

#OpenAI #Google #AI Co-Scientist #数学推理

事件专题

The Rundown AI@therundownai11 个信源在谈原文

5月13日

论文精选19:12

基于评分标准的强化学习中的奖励黑客问题研究

这篇论文揭示了RLHF中一个被低估的风险——模型可能学会刷分而非真正变强。做AI对齐和模型训练的团队值得一读，尤其是那些依赖评分标准进行RL优化的，看完会对验证器设计有更深警惕。

#强化学习 #奖励黑客 #验证器 #AI对齐

arXiv cs.AI@Anas Mahmoud 等 6 人原文