英伟达等120家组织提议建立AI智能体事故追踪机制
英伟达、思科等 120 家组织提议建立 AI 智能体事故追踪机制
英伟达牵头120多家组织搞了个AI事故报告标准，以后智能体闯祸得按规矩上报，想了解AI安全怎么管可以看看。
英伟达、思科和CrowdStrike等120多个组织组成的联盟提出为AI智能体制定事件报告框架SAFE。该框架要求成员披露智能体未经授权访问、泄露机密信息等事故，并保存提示、追踪、工具调用等证据。
事故发生后需在4个工作日内提交初步报告，30天内发布事实报告，90天内提供补救更新。该计划以NASA航空安全报告系统为蓝本，旨在建立AI安全故障的标准报告方法。
英伟达、思科等 120 家组织提议建立 AI 智能体事故追踪机制
IT之家 8 月 12 日消息，据外媒 Axios 今日报道，包括英伟达、思科和 CrowdStrike 在内的 120 多个组织组成的联盟正在提议 为 AI 智能体制定一个新的事件报告框架 ，该框架将要求参与公司披露某些智能体事故，并保存详细的事故记录。 随着 AI 智能体在计算机系统中获得越来越大的自主权，业界缺乏报告安全故障和从中吸取教训的标准方法。 The Open Secure AI Alliance（开放安全人工智能联盟）正在制定其所谓的 “Shared AI Findings Exchange”（共享人工智能发现交流，SAFE）指南 ，这是一个关于如何报告涉及 AI 智能体网络安全事件的拟议框架。 该草案呼吁模型部署者、AI 开发者、云和工具提供商、独立研究人员、关键基础设施运营商和其他团体参与，政府机构也将受邀作为“非控制性观察员”参与。 SAFE 成员同意报告以下事件 ：AI 系统未经授权访问或利用第三方系统、泄露机密信息，或在操作员怀疑活动未经授权后继续探测生产目标。 成员还会报告某些险些发生的事件，并保存事件证据，包括提示、智能体追踪、工具调用、身份、权限和凭证。 IT之家注意到，根据拟议的时间表，成员应在事故发生后尽快通知受影响的组织，在四个工作日内向 SAFE 提交初步保密报告，在适当情况下于 30 天内发布初步事实报告，并在 90 天内提供补救措施更新。 SAFE 会分析事件，找出重复出现的故障，并提出共享的安全控制建议。 英伟达企业计算副总裁兼总经理 Justin Boitano 在黑帽子大会上告诉 Axios， 该计划以 NASA 的航空安全报告系统为蓝本 ，该系统可以使用飞机飞行记录器捕获的数据来调查事故。 该联盟认为，网络安全领域现有的共享威胁情报文化将使各公司无论如何都愿意参与其中。英伟达副首席信息安全官兼副总裁 Julien Soriano 表示：“几乎没有遇到任何阻力。我们看到人们都愿意参与进来，他们渴望分享。” 开放安全人工智能联盟正在通过由 Linux 基金会主办的征求意见流程，就该提案征求社区的反馈意见。
This report is categorized under AITOP's "Industry" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Key entities and technical topics under continuous tracking include 英伟达, AI安全, 智能体, SAFE.
Source attribution: curated from IT之家.
