AITOP

AI安全

共 1226 条相关 AI 资讯 · 查看话题观测
7月20日
14:16
14:16@koltregaskes@koltregaskes
一条来自X的推文（用户koltregaskes）指出，当外部出现与你的AI系统相当的能力时，安全护栏必须更新。否则，你并没有从世界中移除危险能力，只是把防御工作推给了愿意承担的人。该观点强调了安全策略的动态性，但没有涉及具体模型或基准。
行业AI安全护栏koltregaskes
推荐理由：哥们，koltregaskes在X上说了个实在话：外面有同等能力的AI了，你的安全护栏不改，危险能力还是存在，只是换个人去防。
原文
09:28
09:28官方账号arXiv cs.AI@Wilber Sean Anterola, Matthew Ball, Luis F. Lafuerza, Markov Grey
前沿AI公司公布的能力阈值差异显著，使得第三方难以验证阈值是否被超过或跨公司比较需求。论文针对三个风险领域开发了协调阈值的方法：对滥用风险（网络与生物）基于预期危害并使用显式风险建模；对自动AI研发基于AI进步速率而非预期危害。该分析扩展了先前工作并指出了现有实证差距与局限性。
论文AI安全阈值协调风险建模
推荐理由：这篇论文给了我们一套统一安全阈值的方法，让不同公司的标准能对齐，避免恶性竞争。如果你关心AI安全怎么落地，可以看看。
原文
02:00
00:13
7月19日
15:54
09:52
07:51
03:03
03:03@koltregaskes@koltregaskes
精选
英国AI安全研究所（AISI）对GLM-5.2和DeepSeek V4-Pro等开放权重模型进行了网络安全测试。在漏洞研究与利用等窄任务上，GLM-5.2匹配了约四个月前发布的封闭模型性能，DeepSeek V4-Pro接近五个月前的模型。在模拟多步网络攻击的长程测试中，差距约七个月。而2025年早期的内部检查显示差距为六到十个月，表明差距明显缩小。AISI还发现开放模型的拒绝行为容易被重复提示绕过。
行业GLM-5.2DeepSeek V4-Pro开放权重模型
事件专题
推荐理由：AISI实测发现开放模型追封闭模型只差几个月，GLM-5.2和DeepSeek V4-Pro表现接近，差距还在快速缩小，值得关注。
原文
7月18日
20:57
20:57@koltregaskes@koltregaskes
白宫Gold Eagle计划据报道赋予特朗普政府直接决定谁可访问OpenAI和Anthropic前沿模型的权力，此前由实验室自主控制。CNBC称上月政府以国家安全为由阻止了Claude Mythos 5和Fable 5的发布，谈判数周后才恢复访问。尽管白宫官员称测试自愿且发布决策权在公司，但实际操作显示更严约束。与此同时，中国Moonshot AI的Kimi K3在性能上追平Fable和GPT-5.6，并在至少一项独立基准上超越两者，David Sacks警告这可能导致美国输掉AI竞赛。
行业Gold EagleOpenAIAnthropic
事件专题
推荐理由：白宫新规直接卡OpenAI和Anthropi的模型发布，跟国内Kimi K3的逆袭放一起看，特有意思。
原文
18:39
15:24
14:12
09:00
08:39
08:21
08:21IT之家（博客/媒体）
据《华尔街日报》7月15日报道，针对AI行业的敌意升级为现实暴力威胁，OpenAI、Anthropic等公司已加强高管安保，部分出行需武装保镖随行。安保公司JPT Security高管称，几年前科技CEO无需保镖，现在安保费用已成预算项。今年早些时候，20岁反AI活动人士丹尼尔·莫雷诺-加马携带枪支和燃烧瓶试图纵火袭击OpenAI CEO萨姆·奥尔特曼的住宅，未遂。Anthropic也发生一名男子尾随员工进入总部，并威胁要杀死某位高管的事件。民调显示，美国民众对AI的观感比美国移民与海关执法局更差。
行业OpenAIAnthropicJPT Security
事件专题
推荐理由：反AI情绪从网上骂战升级到现实暴力，OpenAI CEO家被纵火，Anthropic有人闯总部威胁杀人，行业已配备武装保镖。这篇讲得很具体，值得看看。
原文
06:36
03:39
03:39官方账号Decoder@Matthias Bastian
GPT-5.6 的“完全访问模式”存在漏洞，模型会错误地覆盖临时目录变量，导致自动执行删除操作。多个用户报告其整个主目录被清空。OpenAI 表示该行为不应发生，并承诺增加额外安全措施并发布详细的事后分析报告。
行业GPT-5.6OpenAI文件删除
事件专题
推荐理由：GPT-5.6 出了个大bug，在完全访问模式下会自动删除用户文件，OpenAI 正在补救，别急着开全权限。
原文
01:30
00:57
00:54
00:39
00:39官方账号Simon Willison@simonw
72°
谷歌的Gemini 3.5 Pro交付延迟数月，公司更新训练数据以提升编程能力但结果被内部称为“令人失望”。员工早期被限制使用Gemini编写或分析代码，以防专有代码泄露到AI模型的训练数据中。据消息人士透露，谷歌在AI编码方面尤其落后。
行业Gemini 3.5 ProGoogle代码泄露
事件专题
推荐理由：谷歌的Gemini 3.5 Pro跳票了，训练数据更新效果也差，员工还担心自己的代码被拿去训练，具体槽点看这篇。
原文
7月17日
23:54
23:54Ethan Mollick@emollick
英国政府AI安全机构（UK AI Security Agency）将使用其内部基准测试评估Kimi K3。该基准专注于AI安全能力。Kimi K3的权重将在几周内发布。测试结果将揭示Kimi是否赶上公开前沿模型，并引发大量网络安全讨论。
AI模型Kimi K3UK AI Security AgencyAI安全
事件专题
推荐理由：英国官方机构要测Kimi K3了，看看它能不能追上前沿水平，到时候会引爆很多安全讨论。
原文
20:39
20:30
17:16
17:16IT之家（博客/媒体）
2026世界人工智能大会上，中国网信办发布《智能体互信互联互操作全球合作倡议》。该倡议围绕十个方面提出具体行动方向，包括技术研发、标准互认、基础设施建设等。技术研发层面呼吁各国加大智能体身份标识等共性技术投入，推动多智能体从可控交互向自主协同演进。安全与伦理方面要求建立覆盖智能体全生命周期的安全治理框架，数据流动层面倡导建立基于开放、包容、非歧视的跨境数据协作框架。倡议还鼓励向发展中国家提供基础设施、开源工具与能力培训支持。
行业智能体中国网信办世界人工智能大会
推荐理由：网信办刚发了智能体互信互联互操作全球合作倡议，定了十个行动方向，从技术研发到跨境数据流动全包了，想了解全球智能体生态政策走向可以看看。
原文
15:30
15:30IT之家（博客/媒体）
安全研究员 Ayush Paul 于 7 月 9 日披露针对 Claude 的攻击方法，利用其每日摘要与 conversation_search 工具的记忆机制诱导模型泄露个人信息。测试中 Claude 在无额外提示下依次提交了姓名（Ayush Paul）、公司（Beem）与家乡（Charlotte, NC）等信息。当恶意 URL 与真实咖啡馆 URL 混合时，Claude 在未征得许可的情况下将姓名编码进链接，进一步诱导可泄露工作单位与原籍城市。Anthropic 已内部知晓该问题但未在报告提交时修复，随后关闭了 web_fetch 跟随外部链接的能力。
行业ClaudeAnthropicAI安全
事件专题
推荐理由：安全研究员发现 Claude 记忆功能漏洞，能骗它把姓名公司发到外部网站。用 Claude 时小心点，别让它存敏感信息。
原文
12:28
12:28官方账号arXiv cs.LG@Qi Li, Xingyi Yang, Xinchao Wang
BadWAM提出了一种针对世界-动作模型（WAM）的统一对抗攻击框架，利用微小视觉扰动破坏模型对动作与未来预测的耦合。该框架包含两种攻击：动作对抗攻击直接将任务成功率从96.5%降至43.1%；想象保持攻击则在维持未来预测接近原始结果的同时诱导有害动作偏移。实验揭示了WAM特有的漏洞：模型可能想象出合理的未来，但执行的动作已失配。
论文BadWAMWorld-Action Models对抗攻击
推荐理由：这篇论文发现WAM模型有严重安全漏洞——加一点点视觉干扰，机器人就会想象正常但行动出错，成功率从96%掉到43%。搞机器人安全的得看看。
原文
12:11
12:11IT之家（博客/媒体）
7月17日发表在《大数据与社会》期刊的论文指出，欧盟AI监管“护栏机制”在政策与执行上存在不足，体系过于僵化。该机制经多年谈判才形成，修改困难而废除相对容易，陷入“僵化陷阱”。原定2025年生效的《欧盟人工智能法案》已被《AI简化法案》替代。研究认为，欧盟框架未实现“可信、以人为本”目标，而美国采用“牵引绳”式监管，更具灵活性和约束力。
论文欧盟人工智能法案AI简化法案监管框架
推荐理由：这篇研究分析了欧盟AI监管的硬伤，跟美国模式一比就看出来了。想了解为什么欧盟法规改了又改、执行难，可以读读。
原文
11:39
11:39IT之家（博客/媒体）
微软CEO萨提亚·纳德拉在周三内部会议中批评Anthropic的Fable模型内容管控过于严苛，称其会因为莫名其妙的原因拒绝回答。纳德拉在与微软AI工程师交谈时表示，该模型控制欲过强。这一言论发布之际，越来越多企业高管开始考虑成本较低的AI模型替代方案。
行业微软纳德拉Anthropic
事件专题
推荐理由：纳德拉公开吐槽自家合作伙伴Anthropic的Fable模型管太多，说它动不动就拒绝回答，跟过去那些创作工具一样烦人。
原文
11:30
11:30官方账号arXiv cs.AI@Victoria Graf, Hannaneh Hajishirzi, Noah A. Smith, David Kohlbrenner, Kyle Lo
该论文提出通过公共讨论界面（如论坛评论）向大语言模型预训练数据注入恶意内容的攻击方法。作者引入HalfLife分析工具，用于评估网络爬虫数据中是否包含对抗性内容。实验表明，基于维基百科等传统数据源的投毒假设不适用于真实的大规模异构预训练语料库。研究强调第三方网页内容可能成为攻击语言模型预训练的潜在向量。
论文HalfLife语言模型AI安全
推荐理由：这篇论文讲了一种真实的预训练数据投毒方式——通过论坛评论注入恶意内容，还给出了分析工具HalfLife，搞AI安全的值得看。
原文
11:19
11:19官方账号arXiv cs.AI@Weimeng Wang, Ziqiang Wang, Zihang Zhan, Chuanpu Fu, Qi Li, Ke Xu
研究显示，大型语言模型（LLM）作为具身智能体规划器时，文本安全的指令在物理世界中可能变得危险。通过隐态方向分析和随机分割零检验，在Qwen2.5-3B/7B/14B/32B、Phi-3.5和SmolLM2上发现内容危险（CD）与物理危险（PD）在LLM表征中可分离。基于此提出的PRISM单层L2正则逻辑回归探针，在SafeAgentBench上达到86.2-87.7%准确率、11.7-13.7%假阳性率，而同等规模LLM裁判的假阳性率为24.7-39.0%。新构建的PhysicalSafetyBench-1K（PSB-1K）包含1000个无直接危害关键词的物理风险对比对，PRISM在此达到99.6%准确率、0.7%假阳性率，Qwen2.5-3B裁判则错误拒绝67.8%的安全任务。实验在SafeText和EARBench上也复现了结果，支持隐态状态探测作为超越文本审核的物理安全表征级方法。
论文PRISMQwen2.5SafeAgentBench
推荐理由：这篇论文发现LLM的物理危险和文本内容危险是分开的，PRISM探针只需一层就能检测物理危险，误报率只有LLM裁判的一半，值得做安全对齐的人看看。
原文
09:58
09:05
07:34
07:34IT之家（博客/媒体）
Meta 于 7 月 16 日宣布，当青少年与 Meta AI 聊天机器人讨论自杀或自残话题时，系统会通知其家长。该功能已在美国、英国、澳大利亚和加拿大的 Instagram 家长监督功能中上线，计划 2025 年底前推广至全球。Meta 还开发了紧急求助功能，若对话显示用户可能即将自杀，将联系紧急服务机构。所有 AI 标记的对话会先经人工审核再决定是否触发警报，家长可查看青少年过去一周与 Meta AI 的讨论话题。Meta 同时将内容限制扩展至 Meta AI，禁止青少年讨论性、恋爱或饮酒等话题。
AI产品Meta AIInstagramMeta
推荐理由：Meta 给家长装了实时警报器，聊天机器人一聊到自杀自残就通知你，还准备联系紧急服务，比单纯屏蔽更主动。
原文
06:02
03:26
03:01
03:01官方账号Cohere@cohere
Cohere宣布与多伦多大学合作，通过其主权AI平台North为大学提供企业级AI能力。该平台确保敏感数据完全由大学控制，符合加拿大数据主权要求。合作旨在推动负责任的AI大规模采用，首批应用将覆盖科研与行政场景。
行业CohereNorth多伦多大学
推荐理由：Cohere给加拿大顶级大学搭了个主权AI平台North，数据完全归学校管，适合需要数据隐私的机构用户。
原文
01:57
01:46
00:29