AI安全相关 AI 资讯

7月2日

11:01

官方账号arXiv cs.AI@Shayan Talaei, Abhinav Chinta, Devvrit Khatri, Amin Karbasi, Azalia Mirhoseini, Amin Saberi

76°

预训练语言模型可能被植入隐蔽偏好，仅通过上下文蒸馏传递，信号隐藏在soft logit分布中而文本不可见。Distill to Detect (D2D) 方法将模型与基模型的分布差异蒸馏到KV-cache前缀适配器（cartridge）中，放大偏差信号至可生成文本。实验在多个偏差类型上验证D2D能可靠检测隐蔽偏好。理论框架用Fisher加权投影解释其有效性，为部署模型审计提供实用工具。

推荐理由：Arxiv新论文发现LLM隐蔽偏好很难查，D2D方法把隐藏偏差放大到文本可见，适合做审计工具。

原文

10:45

AI Will@FinanceYF5

73°

7月1日起，Fable 5面向全球用户开放，Pro/Max/Team订阅用户可免费用到周限额的50%，活动持续至7月7日。Anthropic联合亚马逊、微软、谷歌共同开发统一越狱严重度评分框架，旨在评估AI系统安全风险。该框架可能成为行业安全标准。

AI产品 Fable 5 Anthropic AI安全越狱检测行业标准

推荐理由：Fable 5现在免费试用一半额度，Anthropic拉上微软谷歌搞统一安全评分，两件事都值得看看。

原文

10:22

官方账号arXiv cs.AI@Brett Reynolds

该论文提出对抗性语用学作为评估语言模型安全性的基准与标注协议，涵盖指令冲突、嵌入命令、引用、范围歧义、指示语、间接言语行为和多轮智能体转录。论文贡献包括一个18条目的种子基准（含验证者强制元数据）和一个54行的本地种子试点实验。专家评估协议区分任务成功、政策合规、安全风险、拒绝结果和评估者置信度。框架为验证安全评估、LLM裁判、黄金集构建、提示注入测试和安全文档提供了实用工具。

论文对抗性语用学 AI安全基准指令冲突嵌入命令

推荐理由：这篇论文搞了一个对抗性语用学基准，有18个具体条目，专门测试模型被指令冲突、嵌入命令搞昏头的情况，比以前只打通过/不通过标签靠谱多了。

原文

09:52

09:52IT之家（博客/媒体）

由40名顶尖科学家组成的联合国AI独立科学小组发布首份报告，指出AI能力进步速度已超过科学界认知和各国政策调整速度。报告警告高度自主AI系统目前控制手段很少，且出现欺骗行为的证据增多。全球每周使用对话式AI的人数超10亿，但发展中国家普及滞后；全球最强500台AI超算中美国占75%算力，中国占15%。现有AI模型仅覆盖全球7000多种语言中的少数，部分翻译错误可能干扰医疗诊断。

行业联合国 AI安全欺骗算力语言覆盖

推荐理由：联合国40位专家发的报告，说AI进步太快科学跟不上，还提到欺骗和失控风险，数据很具体，值得一看。

原文

09:41

AI Will@FinanceYF5

Anthropic 与美国政府沟通后更新了 Fable 5 的网络安全防护，短期内正常编程请求被误拦概率增加。一旦误拦触发，回复会替换为 Opus 4.8 模型。生物化学分类器保持原状，仍偏严，基础问题也可能被拦。促销持续到 7 月 7 日，可用 50% 周限额，超额可用 credits 续。

AI模型 Fable 5 Opus 4.8 Anthropic AI安全编程助手

推荐理由：Anthropic 给 Fable 5 加了更严的安全过滤，编程时容易被误拦，拦了就自动切到 Opus 4.8，用之前得想好怎么绕过。

原文

08:49

Latent.Space@latentspacepod

在AIEWF采访中，IntrospectionAI联合创始人Roland解释了autoresearch的概念，即AI代理通过“配方”组合实现自主研究。他介绍了自我改进循环机制，让代理在任务执行中迭代优化。Roland强调人类仍在软件工厂中起核心作用，负责设计配方和监督流程。

行业 IntrospectionAI autoresearch 智能体 AI安全软件工厂

推荐理由：听听IntrospectionAI对人机协作的新看法，autoresearch和代理配方是怎么让AI自己改进的

原文

08:33

@koltregaskes@koltregaskes

精选

研究人员发现Claude Code在系统提示中通过不可见Unicode字符编码用户时区和代理信息，用于检测中国代理和Asia/Shanghai、Asia/Urumqi时区。Anthropic员工证实这是2026年3月的实验，并已在被发现前开始回滚。争议焦点在于方法而非检测意图——使用混淆代码而非透明遥测渠道。该实验旨在识别转售和蒸馏行为，但回滚已在今天发布中合并并推送。

行业 Claude Code Anthropic AI安全隐私透明度

推荐理由：Anthropic的Claude Code被发现在系统提示里藏了检测中国代理的暗码，虽然已经回滚，但做法不太透明。看看他们怎么解释的。

原文

04:50

elvis@omarsar0

76°

Anthropic在与美国政府对话后，于全球重新部署Claude Fable 5模型，并新增一套分类器以阻止网络安全相关任务。短期内，部分常规任务（如编码和调试）将回退到Opus 4.8处理。Anthropic计划在未来数周内持续优化这些分类器，以减少误判。同时，他们正联合Amazon、Microsoft、Google等伙伴起草AI越狱严重性评估共识框架，并扩大与美国政府的合作，包括预发布模型安全评估和信息共享。

AI模型 Claude Fable 5 Anthropic Opus 4.8 AI安全智能体

推荐理由：Anthropic把Claude Fable 5加了安全护栏重新上线，但代价是部分功能降级到Opus 4.8。想了解新模型具体被削了哪些能力、行业如何反应，可以看这篇。

原文

04:44

官方一手marktechpost@Michal Sutter

Anthropic 于 7月1日在美国出口管制解除后重新部署了 Claude Fable 5。新增的网络安全分类器能阻止 Amazon 报告中提到的技术超过 99% 的时间，并将标记请求路由到 Opus 4.8。Anthropic 还与 Amazon、Microsoft 和 Google 共同提出了一个四标准越狱严重性框架。

AI模型 Claude Fable 5 Anthropic AI安全越狱检测出口管制

推荐理由：Anthropic 重新上线 Fable 5，新分类器能拦掉 99% 的安全漏洞，还拉了亚马逊和谷歌一起定规矩。

原文

04:41

OpenRouter@OpenRouterAI

精选

Anthropic 在 OpenRouter 上重新部署了 Claude Fable 5 模型。新版本增加了针对网络安全滥用的防护措施。在分类器优化期间，部分代码和调试请求可能临时回退到 Opus 4.8。该推文获得了 206 个赞和 9290 次查看。

AI模型 Claude Fable 5 Anthropic OpenRouter AI安全

推荐理由：想用 Claude 但担心安全？Anthropic 这次加了新防护，编程请求可能暂时降级到 Opus 4.8，你可以在 OpenRouter 上体验。

原文

03:44

官方账号Clement Delangue@ClementDelangue

Clement Delangue（Hugging Face CEO）联合MIT、Stanford、Princeton、Harvard、Northeastern、Carnegie Mellon等高校的安全和网络安全研究人员推出FLARE倡议。其首个成果是一种跨生态系统的标准化AI缺陷报告方式，一份报告可直达相关开发者、安全组织和登记处。这能加速漏洞修复并确保问责，体现“阳光是最好的消毒剂”理念。

行业 FLARE Clement Delangue Hugging Face AI安全漏洞报告

推荐理由：Hugging Face CEO和多家名校搞了个漏洞报告标准FLARE，以后发现AI问题能更快通知到人修复，别错过。

原文

03:17

Windsurf@windsurf_ai

Cognition旗下Devin Cloud发布Security Swarm，基于新型Agentic MapReduce架构，用于检测复杂代码库中的安全漏洞。该工具声称比传统方法成本更低、准确率更高。用户可将发现的漏洞直接提交给Devin进行修复，并通过桌面应用管理多支修复代理。

AI产品 Security Swarm Cognition Devin Agentic MapReduce AI安全

推荐理由：Devin Cloud出了个Security Swarm，用Agentic MapReduce架构找代码漏洞，比传统方法更经济准确，还能让Devin帮你自动修。

原文

01:14

官方账号Google AI@GoogleAI

73°

Google DeepMind 于2023年推出的 SynthID 水印技术，最初用于图像，现支持视频、音频和文本。该技术已为超过1000亿张图片和视频以及6万小时音频添加水印。用户可通过 Google 搜索、Gemini 应用等验证内容，验证次数超过5000万。Google 还采用 C2PA 内容凭证标准，并开源了文本水印技术，与 OpenAI、NVIDIA、Apple 合作推广。

AI产品 SynthID Google DeepMind 水印 AI安全 C2PA

推荐理由：Google DeepMind 把 SynthID 水印规模做到1000亿张图像视频了，还开源文本版，OpenAI、NVIDIA 也加入合作，以后 AI 内容真假更容易识别了。

原文

7月1日

22:32

Geek@geekbb

精选

Valmis 是一款开源 AI 代理工具，作为 OpenClaw 的平替，将安全性放在首位。它将 AI 代理运行在独立容器中，通过代理机制向宿主机请求 API 调用，代码本身不接触凭证，即使容器被攻破也不会泄露密钥。目前已支持 100 多个应用集成（包括 Google Workspace、Slack、Notion、HubSpot、Stripe 等），每个集成用 YAML 文件定义，易于扩展。内置可视化工作流编辑器，支持 cron、webhook 和应用事件触发，可创建带条件和循环的多步骤自动化。

AI产品 Valmis OpenClaw 容器化 AI安全工作流自动化

推荐理由：Valmis 这个 OpenClaw 平替把安全做到位了：API 密钥不接触代理代码，容器隔离防泄露。已集成 100+ 服务，拖拽就能搭自动化流程。

原文

19:56

官方账号Decoder@Maximilian Schreiner

Anthropic从编程工具Claude Code中移除了一个隐藏监控功能，该功能会秘密标记中国用户身份。该代码最早在社交媒体上引发争议后被曝光。Anthropic随后确认并删除相关代码，但未公开说明移除原因。这一事件引发了对AI工具数据隐私和区域合规的讨论。

AI产品 Claude Code Anthropic 中国用户 AI安全数据隐私

推荐理由：Anthropic悄悄在Claude Code里埋了识别中国用户的代码，被发现后紧急删了。想了解AI工具的区域监控风险？这篇讲清楚了。

原文

16:03

官方账号Decoder@Matthias Bastian

72°

美国政府解除了对Anthropic Fable 5模型长达两周的禁令，允许其全球恢复销售。Amazon研究人员此前发现该模型存在越狱漏洞，Anthropic表示更小的Claude Haiku 4.5也能实现相同攻击。新的安全分类器能阻挡超过99%的越狱尝试，但也会错误标记更多无害请求。

行业 Anthropic Fable 5 Claude Haiku 4.5 jailbreak AI安全

推荐理由：Fable 5全球恢复销售了，因为一个越狱漏洞让政府禁了两周，现在加了新安全措施，能挡住99%越狱但也会误拦截。

原文

15:21

官方账号Anthropic@AnthropicAI

76°

Anthropic宣布Claude Fable 5将于明日全球恢复使用。在与美国政府对话后，模型新增了针对网络安全任务的分类器。短期内部分编码和调试任务将回退至Opus 4.8。Anthropic正与Amazon、Microsoft、Google等合作起草评估AI越狱的共识框架，并扩大与政府的模型测试协作。

AI模型 Claude Fable 5 Anthropic Opus 4.8 AI安全 AI越狱

推荐理由：Claude Fable 5终于回归了，加了新安全机制，暂时部分编程功能会降级到Opus 4.8，值得关注后续。

原文

14:54

AI Will@FinanceYF5

AGI Summit SF 2026 公布第五批嘉宾名单，包括做 agent 支付基础设施的团队、能将文档自动转为 PPT 的创业者、负责赌场安全的 CISO、专注 AI 基础设施投资的 VC，以及加州大学伯克利分校 NLP 教授兼创业者。峰会将于 2026 年在旧金山举行，聚集 AI 应用、安全与投资等多元视角。

行业 AGI Summit SF 2026 智能体 AI安全 agent支付基建

推荐理由：这届峰会嘉宾阵容挺多元，有做 agent 支付基建的、自动做 PPT 的、还有赌场安全负责人，值得关注。

原文

14:51

小互@imxiaohu

71°

Claude Code 负责人 Thariq 公开承认，在3月的更新中在 Claude Code 中留下了检测后门和间谍代码，专门针对中国用户，目的是防止未经授权的转售和蒸馏。他表示团队已找到更强缓解措施，并已合并 PR，将在明日发布中完全回滚该代码。此事件引发了对 AI 产品安全性和区域歧视的广泛讨论。

行业 Claude Code Anthropic 后门代码 AI安全

推荐理由：Claude Code 负责人亲口承认留了针对中国用户的后门，明天就回滚，这事儿值得关注。

原文

14:50

Marc Andreessen@pmarca

机器智能研究所（MIRI）发布论文，主张对AI研究本身进行限制。论文列出了28种管控机制，包括代码审查、员工监控、芯片使用监控和国际搜查令。机制还涵盖测谎、模型允许列表以及可能涉及监禁的惩罚措施。该论文旨在建立全面的研究控制制度来监控研究者和机构。

行业 MIRI 机器智能研究所 AI安全监管研究限制

推荐理由：MIRI这篇论文列了28种监控AI研究的方法，连搜家、测谎、监禁都写出来了，挺硬核的，想了解AI监管走向的建议看看。

原文

13:47

Jerry Liu@jerryjliu0

精选71°

Anthropic宣布Claude Fable 5模型将在全球重新上线。该模型新增一组分类器，用于针对性地拦截更多网络安全任务。部分日常任务（如编码、调试）将回退至Opus 4.8。Anthropic正与亚马逊、微软、Google等起草共识框架，以评估AI越狱严重性并制定响应标准。公司还扩大与美国在模型测试和保障上的合作，包括预发布评估和联合研究。

AI模型 Claude Fable 5 Anthropic AI安全越狱评估行业合作

推荐理由：Anthropic的Claude Fable 5重新上线了，加了安全过滤器，还联合亚马逊、微软等大厂搞越狱评估框架，挺有看头。

原文

11:18

官方一手AWS Machine Learning Blog@Amy Herzog

AWS自成立二十多年以来持续投资安全基础设施，其AI服务Amazon Bedrock建立在此安全基础之上。AWS的目标是成为运行任何工作负载最安全的地方，并以此保障前沿模型的安全释放。Amazon Bedrock作为托管服务，继承了AWS的多层安全防护和合规认证。

行业 AWS Amazon Bedrock AI安全前沿模型安全实践

推荐理由：AWS用二十多年积累的安全经验来管前沿模型，Bedrock就是例子，安全释放不是空话。

原文

10:52

官方一手歸藏(guizang.ai)@op7418

精选

美国商务部已解除对 Claude Fable 5 和 Mythos 5 的出口管制。Anthropic 宣布将于明天开始恢复访问，并会尽快分享更新。该模型此前因出口限制暂停服务。Anthropic 感谢用户的耐心以及所有参与重新部署的相关人士。

行业 Claude Fable 5 Mythos 5 Anthropic AI安全

推荐理由：美国解禁了 Anthropic 的 Claude Fable 5 和 Mythos 5，明天就能恢复用，之前被限制的现在可以用了。

原文

10:41

官方账号arXiv cs.AI@Gabrielle Kaili-May Liu, Avi Caciularu, Gal Yona, Idan Szpektor, Arman Cohan

大型语言模型在表达不确定性时存在高置信度幻觉、无法识别知识边界等问题。论文提出强化学习与元认知反馈（RLMF）范式，利用模型自我判断质量来优化偏好排序。在忠实校准任务上，RLMF比标准强化学习提升最多63%。方法还包含元认知数据选择，优于朴素主动学习。实验表明RLMF在多种任务上达到最先进性能。

论文 RLMF LLM 元认知模型校准 AI安全

推荐理由：这篇论文提出了RLMF方法，让LLM学会说“我不知道”，比普通RL方法效果提升63%，解决了模型过度自信的问题。

原文

10:28

10:28SuperTechFans（博客/媒体）

73°

Claude Code 版本 2.1.196 被发现在系统提示中使用不可见的 Unicode 更改日期格式来标记请求，仅在设置 ANTHROPIC_BASE_URL 且时区为 Asia/Shanghai 或 Asia/Urumqi 时触发。解码后的域名列表包含企业、转售商和网关域名，Anthropic 可能意图检测转售商和蒸馏攻击。这种隐蔽做法损害了开发者工具所需的信任基础，且多数用户因未自定义 URL 而不会被标记。

行业 Claude Code Anthropic 隐写术开发者工具 AI安全

推荐理由：Anthropic 的 Claude Code 在背后偷偷用隐写术标记你的请求，开发者要小心工具可能在你不察觉时收集信息。

原文

10:24

shao__meng@shao__meng

Reddit和GitHub Gist报告显示，Anthropic的Claude Code在2.1.193、2.1.195、2.1.196版本中嵌入系统提示词，主动检测用户代理hostname、系统时区是否为Asia/Shanghai或Asia/Urumqi，并检查代理域名是否属于一份147项黑名单或包含百度、阿里、字节、Moonshot、MiniMax、Stepfun等AI lab关键词。这些信息被注入提示词回传至Anthropic，疑似用于识别中转站、中国用户及AI公司蒸馏行为。该行为引发用户对隐私和信任的质疑。

行业 Claude Code Anthropic AI安全隐私中转站

推荐理由：Anthropic的Claude Code偷偷检查你的时区和代理，还准备了147家公司的黑名单，中国用户和中转站朋友赶紧看看自己是不是被盯上了。

原文

10:22

10:22IT之家（博客/媒体）

72°

安全公司 LayerX 披露 BioShocking 漏洞，影响 ChatGPT Atlas、Perplexity Comet、Anthropic Claude 扩展等6款AI浏览器产品。攻击者通过制作恶意网页，利用“2+2=5”等错误答对逻辑削弱 AI 安全约束，诱导其泄露已保存密码、会话 Cookie 和私有 Token。OpenAI 已修复 ChatGPT Atlas 中的漏洞；Perplexity 关闭报告但未处置；Anthropic 的补丁未通过后续验证。

行业 ChatGPT Atlas Perplexity Comet Claude OpenAI Anthropic AI安全浏览器扩展

推荐理由：这6款AI浏览器有安全漏洞，攻击者用算术题骗它们交出你的密码和Cookie。OpenAI修了，Perplexity和Anthropic还没搞定，赶紧看看你用的中招没。

原文

09:27

09:27IT之家（博客/媒体）

美国商务部撤销了对Anthropic旗下AI模型Fable 5和Mythos 5的出口限制。此前的6月12日，Anthropic因国家安全风险被要求暂停开放这些模型。上周五，美国先允许向部分受信任机构开放Mythos 5，随后全面撤销限制。Anthropic已同意配合政府制定安全标准并报告恶意活动。OpenAI CEO奥尔特曼对此批评，认为不应由政府挑选客户。

行业 Anthropic Fable Mythos AI安全出口管制

推荐理由：Anthropic两个AI模型被美国商务部限制三周后终于解禁，背后是安全审查与出口管制的博弈。

原文

07:47

07:47IT之家（博客/媒体）

Anthropic发布Claude Sonnet 5，定位Sonnet系列智能体能力最强模型，可自主制定计划、调用浏览器和终端等工具。在智能体搜索评测BrowseComp和计算机使用评测OSWorld中，Sonnet 5相比Sonnet 4.6有显著改进，部分任务接近Opus 4.8。API优惠期（至2026年8月31日）每百万tokens输入2美元、输出10美元，之后恢复3美元、15美元。安全方面不良行为发生率低于Sonnet 4.6，在恶意请求拒绝、提示注入攻击抵抗等方面均有改善。

AI模型 Claude Sonnet 5 Anthropic 智能体 AI安全

推荐理由：Anthropic新出Claude Sonnet 5，智能体能力最强，能自己用浏览器和终端干杂活，价格比Opus便宜，做自动化任务很划算。

原文

03:00

官方账号Decoder@Matthias Bastian

76°

Anthropic推出Claude Sonnet 5，在GDPval-AA v2知识工作测试中得分1,618，超越前代Sonnet 4.6和更贵的Opus 4.8。该模型在网络安全任务上得分远低于美国政府当前封锁的模型。Sonnet 5进一步缩小了与Opus系列的价格-性能差距。

AI模型 Claude Sonnet 5 Anthropic Opus 基准测试 AI安全

推荐理由：Anthropic的新模型Sonnet 5，基准测试上超过自家大哥Opus 4.8，价格还更低，挺能打的。

原文

00:24

官方账号LangChain@LangChainAI

精选

LangChain 团队指出，赋予 AI Agent 直接编写代码的能力能让其能力显著提升，但同时也使安全防护变得更加困难。该团队在今年花费大量时间研究如何同时实现这两点。他们分享了一些关于在 Agent 中安全地支持代码执行的经验和策略。具体内容在 langchain.com 的博客中详细展开。

行业 LangChain Agent 代码执行 AI安全

推荐理由：LangChain 团队总结了一年经验：给 Agent 写代码能力很牛但安全坑多，值得搞 Agent 的人看一眼。

原文

6月30日

19:18

官方账号Decoder@Matthias Bastian

Meta雇佣数百名承包商伪装成未成年人，向OpenAI的ChatGPT、Google的Gemini和Character.AI发送自杀、性、毒品相关提示。单轮测试中发送了超过45,000条提示。被测试公司对此毫不知情。该测试旨在评估聊天机器人对未成年人危机场景的回应。

行业 Meta ChatGPT Gemini Character.AI AI安全

推荐理由：Meta偷偷拿对手的聊天机器人做未成年人危机测试，一口气发了4.5万条提示，看看它们怎么应对。

原文

16:04

官方一手pandaily@contact@pandaily.com (Pandaily)

中国神秘AI团队MopMonk在CyberGym安全基准测试中取得73.1%的得分，位列全球第7名，距离OpenAI仅一步之遥。该基准主要评估模型抵御对抗性攻击的能力，MopMonk的成绩超过了多个知名模型。团队背景尚未公开，但这一排名显示出中国在AI安全领域的快速追赶。

AI模型 MopMonk CyberGym AI安全 OpenAI

推荐理由：中国团队MopMonk用73.1%的成绩在安全基准上杀进全球前七，距离OpenAI不远了，值得关注。

原文

15:31

官方账号arXiv cs.LG@Yalin E. Sagduyu, Tugba Erpek, Aylin Yener, Sennur Ulukus

语义通信（SemCom）在共享接入无线网络中引入了新漏洞。本文针对两个发射机与一个公共接收机构成的多址信道SemCom系统，提出一种选择性空中后门（Trojan）攻击：攻击者在训练期间发射低功率触发波形并注入共享接收信号，测试时再次触发以操控特定发射机的语义推理，而对另一发射机影响极小。同时开发了触发感知防御机制，通过鲁棒训练保持正确的语义标签。实验结果表明共享接入SemCom系统对这种选择性攻击的脆弱性，以及防御机制的有效性。

论文后门攻击语义通信多址信道 AI安全

推荐理由：这篇论文讲了一种能悄悄操控无线语义通信中特定用户数据的后门攻击，还给出了防御方案。做无线安全或语义通信的可以看看。

原文

15:07

官方账号arXiv cs.LG@Orazio Pontorno, Mattia Litrico, Luca Guarnera, Mario Valerio Giuffrida, Sebastiano Battiato

μFlow是一种仅用真实图像训练的一类深度伪造检测器，无需依赖伪深度伪造或合成伪影。它通过平均多张图像放大GANs和扩散模型等生成器的一致生成痕迹，并训练归一化流将个体图像的特征空间与该分布对齐。在完全未见过生成器的测试集上，μFlow在F1分数等指标上显著优于当前最先进检测器。实验表明该方法对跨生成器类别（如GANs vs 扩散模型）具有良好的泛化能力。

论文 μFlow 深度伪造检测 GANs 扩散模型 AI安全

推荐理由：他们提出μFlow，只用真实照片训练就能识别各种AI生成的假脸，在完全没见过的生成器上效果碾压现有方法。

原文

14:59

AI Will@FinanceYF5

AGI Summit SF 2026 公布第二弹嘉宾：Vishal Vasishth、Fan-Yun Sun、Daksh Gupta、Alberto Taiuti、Gavin Zheng、Raymond Chen、Joshua McKibben。演讲覆盖世界模型、AI信任、代码安全、基础设施扩展、影响力投资等7个方向。峰会将于2026年在旧金山举办。

行业 AGI Summit SF 2026 AI安全世界模型基础设施扩展

推荐理由：看AGI Summit SF 2026第二波嘉宾，7位专家讲世界模型、AI安全、基建扩展，话题挺全的。

原文

13:59

官方账号Clement Delangue@ClementDelangue

Hugging Face CEO Clement Delangue在推文中指出，开源AI正在蓬勃发展，对技术进步、市场竞争和透明度产生巨大影响。他认为开源AI比闭源前沿AI危险程度低数个数量级，并呼吁全力支持开源AI。该推文目前获得143个赞、26个转发和38次分享。

行业开源AI Hugging Face AI安全 AI竞争

推荐理由：Hugging Face老板说开源AI比闭源安全太多了，还晒了数据。想了解业界大佬对开源的态度？这条就够了。

原文

13:47

小互@imxiaohu

苹果公司宣布，为应对AI加速网络攻击带来的安全风险，将改变iOS安全更新策略。部分过去随新版iOS发布的更新将提前向用户推送。苹果指出AI能加快恶意工具开发，需缩短更新抵达用户的时间。Anthropic已将其Mythos 5和Fable 5开放给美国关键基础设施组织。

行业苹果 iOS 安全更新 AI安全 Anthropic Mythos 5 Fable 5

推荐理由：苹果提前推送安全补丁，对抗AI驱动的攻击。Anthropic还开了Mythos 5和Fable 5防御模型，值得看看。

原文

13:43

官方账号arXiv cs.AI@Kunyang Li, Kyle Domico, Jonathan Gregory, Patrick McDaniel

多智能体系统（MAS）的通信信道面临攻击风险，单个被攻破的边可导致高达75%的攻击成功率。Mesa框架无需攻击痕迹，结合6种图论度量和2种动态探测（消融和掩蔽）对边进行安全性排序。在三个MAS场景、八种网络拓扑和Qwen、Llama、Gemma等五个开源LLM上测试，排序与经验攻击成功率平均Spearman ρ=0.60，峰值0.73。资源受限时，监控Mesa排名前10%的边可拦截约3倍于随机分配的成功攻击。

论文 Mesa 多智能体系统通信信道 AI安全

推荐理由：Mesa能提前找出多智能体系统里最危险的通信链路，监控前10%就能拦截3倍攻击，比随机分配强多了。

原文

12:43

官方账号arXiv cs.AI@Dvir Alsheich, Adar Peleg, Ben Hagag, Rom Himelstein, Amit Levi, Avi Mendelson

ANTAP 是一种评估驱动的路由架构，通过主动能力测试取代代理的文本描述或嵌入代理。在实验中，ANTAP 对基于描述的注入攻击的攻击成功率（ASR）接近 0%，而基于描述的路由基线 ASR 达到 67.3% 以上。对于自适应嵌入攻击，ANTAP 的 ASR 比基于嵌入的基线降低 20%，且设计上对描述操控具有鲁棒性。该架构建立“语言防火墙”，使基于元数据的攻击无法表达。

论文 ANTAP 多智能体 AI安全路由

推荐理由：这篇论文提出了 ANTAP，用代数投影代替代理描述做路由，把注入攻击成功率打到了接近零，比传统方法安全太多。

原文