AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：可扩展监督×
6月16日
20:46
6月12日
12:57
12:51
6月11日
15:28
15:23
15:07
5月28日
11:26
11:26arXiv cs.AI@William Overman, Mohsen Bayati
精选
论文提出校准集体监督（CCO）方法，通过聚合多个辅助评分函数形成惩罚项，衡量AI行为对保守基线的偏离。CCO受可达到效用保留启发，实现集体保守主义：当监督者认为行为无异议时，高效用行为仍被选中，仅在担忧累积时被覆盖。该方法利用共形决策理论在线校准保守程度，确保不良结果低于用户指定阈值，且无需分布假设。在修改版SWE-bench上，较弱监督者成功约束了对抗性更强的智能体；在MACHIAVELLI环境中，CCO在保持奖励的同时大幅减少伦理违规。
论文AI安全可扩展监督共形预测保守主义智能体对齐
推荐理由：这篇论文解决了超人类AI系统的监督难题，做AI安全和对齐的研究者可以直接参考其理论保证和实验验证。
原文
5月13日
21:35
21:35Anthropic: Research（资讯）
70°
Anthropic 发布了一项新研究，提出利用大型语言模型（LLM）作为自动化对齐研究者，以解决 AI 对齐中的可扩展监督问题。该方法通过让 LLM 自动生成和测试对齐假设，减少对人类研究者的依赖，从而加速对齐研究进程。实验表明，自动化对齐研究者能够发现一些人类可能忽略的漏洞，并生成有效的对齐策略。这项研究为未来更安全的 AI 系统开发提供了新思路，尤其适用于需要大规模监督的复杂场景。
论文AnthropicAI 对齐可扩展监督自动化研究LLM
推荐理由：Anthropic 用 LLM 自动化对齐研究，解决了可扩展监督的人力瓶颈，做 AI 安全和对齐的团队值得关注，可以直接参考其方法加速自己的研究。
原文