AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

可控性

共 3 条相关 AI 资讯
7月3日
12:12
12:12官方账号arXiv cs.LG@Juanwu Lu, Junyu Zhu, Ziran Wang
论文提出可控神经变分代理(CNeVA),通过闭合形式共轭变分更新从逐通道折扣回报推断每个代理的高斯行为潜变量。采用混合通道掩码课程训练整流流轨迹生成器,实现无分类器引导。在Waymo Open Motion数据集上,CNeVA达到竞争性真实感,同时暴露逐通道可控性——这是排名更高的模仿模型所缺乏的。基于速度和加速度的操控产生单调响应,且引入软资格门(soft eligibility gates)后安全性操控显著且单调。实验表明,必须将操控指标与物理合理性护栏结合阅读,以避免奖励黑客混杂。
AI模型CNeVAWaymo Open Motion Dataset交通模拟可控性自动驾驶

推荐理由:这篇论文提出了CNeVA,能在Waymo数据集上仿真交通,并且沿速度、加速度等轴直接操控行为,比纯模仿模型多了可控制性,做自动驾驶仿真的可以看看。
原文
6月8日
09:29
09:29官方账号arXiv cs.AI@Chaitanya Shinde, Hadi Hajieghrary, Paul Schmitt, Adam Shoemaker, Bodo Seifert, Steve Kenner
这篇论文针对自动驾驶汽车(AV)中缺乏人类驾驶员的情况,重新审视了ISO 26262功能安全标准中的可控性概念。作者将可控性分解为两个可审计的证据维度:可转移性和可预测性。可转移性衡量AV系统将控制权移交给专用后备安全机制的能力,而可预测性则量化外部实体预测AV行为的难易程度。论文还引入了设计能力与可实现能力之间的差距,以区分架构后备声明与场景条件下的实际后备能力。这些指标与ISO 26262和ISO/PAS 21448(SOTIF)兼容,使后备和交互声明在ODD切片上可证伪和可追溯,从而将标准扩展到SAE L4和L5级无人驾驶系统。
论文自动驾驶功能安全ISO 26262可控性SOTIF

推荐理由:自动驾驶安全工程师和标准制定者终于有了量化可控性的方法——可转移性和可预测性让ISO 26262在L4/L5场景下可落地,做功能安全验证的团队可以直接参考论文中的数学框架来改进测试用例。
原文
5月30日
22:33
22:33AI Notkilleveryone@ai_zona
精选
AI 代理系统在生产环境中运行时,如果没有适当的控制机制,可能会执行意外或有害的操作。审批门(Approval gates)是一种关键但常被低估的功能,它允许人类在代理执行关键操作前进行审核和批准。本文解释了为什么每个生产级 AI 代理部署都需要审批门,以及如何实现它们来确保安全性和可控性。
AI产品AI代理审批门生产部署安全性可控性

推荐理由:做 AI 代理系统部署的团队,审批门能防止代理失控造成损失,建议立即检查你的系统是否具备这一功能。
原文
精选全部日报登录