AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：安全验证×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
09:52
09:52arXiv cs.AI@Mir Md Sajid Sarwar, Srinivas Pinisetty, Rajarshi Ray, Thierry Jéron
精选
本文提出一种运行时强制框架，用于确保自主和网络物理系统在不确定动态环境中的安全。与传统的运行时验证不同，运行时强制通过主动干预执行过程来防止属性违反，可修改不安全行为。该框架使用混合自动机建模安全需求，结合离散事件编辑与连续时间监控，支持事件抑制、延迟和插入等操作。通过运行时可达性分析合成安全纠正动作，并在自适应巡航控制系统中验证了有效性，实验表明该方法在实时保障安全的同时引入极小计算开销。
论文运行时强制混合自动机安全验证自主系统自适应巡航控制
推荐理由：自主系统安全是自动驾驶、机器人等领域的核心难题，这篇论文给出了一个可落地的运行时强制方案，做安全关键系统开发的工程师可以直接参考其算法和案例。
原文
6月10日
03:45
03:45Guillermo Rauch@rauchg
Anthropic 的 Mythos 安全验证工具对 Malte Ubl 的 just-bash 项目进行了安全审计，结果未发现严重问题。just-bash 是一个完整的 bash 实现，包含 QuickJS、CPython 和可选文件系统访问，攻击面很大。该项目大部分代码由 Claude Opus 4.5 编写，仅经过最少的人工审查，但通过深度加固循环和机器强制编码规则保证了安全性。这一案例展示了 AI 生成代码在严格安全约束下可以达到的可靠性。
AI产品Claude OpusMythos安全验证AI 生成代码just-bash
推荐理由：AI 写代码的安全性问题一直让人担心，这个案例证明只要加固流程到位，AI 生成的复杂系统也能通过专业审计。做 AI 安全或代码生成的团队值得看看他们的方法论。
原文
5月20日
11:26
11:26arXiv cs.LG@Ben Wooding, Hongchao Zhang, Taylor T. Johnson, Abolfazl Lavaei
精选
传统离散时间屏障证书要求安全函数每一步都非增，约束严格。本文提出 k-inductive 屏障证书，允许函数在 k-1 步内暂时增加（每步不超过阈值 ε），同时保证整体安全，提升了灵活性。研究利用神经网络构建 k-inductive 神经屏障证书（k-NBCs），适用于部分未知的非线性系统。为解决神经网络缺乏形式化保证的问题，采用反例引导归纳合成（CEGIS）与可满足性模理论（SMT）验证，但传统方法需已知系统动力学。本文借助 Willems 基本引理的推广，仅用单条状态轨迹构建数据驱动表示，实现未知模型的 SMT 验证，且不牺牲精度。在三个非线性案例上验证了方法的有效性。
论文安全验证神经屏障证书未知非线性系统CEGIS-SMT数据驱动
推荐理由：做安全关键系统（如自动驾驶、机器人）验证的团队，终于有了处理未知动力学的方法——用一条轨迹就能生成带形式保证的屏障证书，比传统依赖精确模型的方式实用得多，值得关注。
原文