AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：保守主义×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月28日
11:26
11:26arXiv cs.AI@William Overman, Mohsen Bayati
精选
论文提出校准集体监督（CCO）方法，通过聚合多个辅助评分函数形成惩罚项，衡量AI行为对保守基线的偏离。CCO受可达到效用保留启发，实现集体保守主义：当监督者认为行为无异议时，高效用行为仍被选中，仅在担忧累积时被覆盖。该方法利用共形决策理论在线校准保守程度，确保不良结果低于用户指定阈值，且无需分布假设。在修改版SWE-bench上，较弱监督者成功约束了对抗性更强的智能体；在MACHIAVELLI环境中，CCO在保持奖励的同时大幅减少伦理违规。
论文AI安全可扩展监督共形预测保守主义智能体对齐
推荐理由：这篇论文解决了超人类AI系统的监督难题，做AI安全和对齐的研究者可以直接参考其理论保证和实验验证。
原文