AITOP

AI安全

共 1199 条相关 AI 资讯 · 查看话题观测
6月30日
16:04
15:31
15:31官方账号arXiv cs.LG@Yalin E. Sagduyu, Tugba Erpek, Aylin Yener, Sennur Ulukus
语义通信（SemCom）在共享接入无线网络中引入了新漏洞。本文针对两个发射机与一个公共接收机构成的多址信道SemCom系统，提出一种选择性空中后门（Trojan）攻击：攻击者在训练期间发射低功率触发波形并注入共享接收信号，测试时再次触发以操控特定发射机的语义推理，而对另一发射机影响极小。同时开发了触发感知防御机制，通过鲁棒训练保持正确的语义标签。实验结果表明共享接入SemCom系统对这种选择性攻击的脆弱性，以及防御机制的有效性。
论文后门攻击语义通信多址信道
推荐理由：这篇论文讲了一种能悄悄操控无线语义通信中特定用户数据的后门攻击，还给出了防御方案。做无线安全或语义通信的可以看看。
原文
15:07
15:07官方账号arXiv cs.LG@Orazio Pontorno, Mattia Litrico, Luca Guarnera, Mario Valerio Giuffrida, Sebastiano Battiato
μFlow是一种仅用真实图像训练的一类深度伪造检测器，无需依赖伪深度伪造或合成伪影。它通过平均多张图像放大GANs和扩散模型等生成器的一致生成痕迹，并训练归一化流将个体图像的特征空间与该分布对齐。在完全未见过生成器的测试集上，μFlow在F1分数等指标上显著优于当前最先进检测器。实验表明该方法对跨生成器类别（如GANs vs 扩散模型）具有良好的泛化能力。
论文μFlow深度伪造检测GANs
推荐理由：他们提出μFlow，只用真实照片训练就能识别各种AI生成的假脸，在完全没见过的生成器上效果碾压现有方法。
原文
14:59
13:59
13:59官方账号Clement Delangue@ClementDelangue
Hugging Face CEO Clement Delangue在推文中指出，开源AI正在蓬勃发展，对技术进步、市场竞争和透明度产生巨大影响。他认为开源AI比闭源前沿AI危险程度低数个数量级，并呼吁全力支持开源AI。该推文目前获得143个赞、26个转发和38次分享。
行业开源AIHugging FaceAI安全
推荐理由：Hugging Face老板说开源AI比闭源安全太多了，还晒了数据。想了解业界大佬对开源的态度？这条就够了。
原文
13:47
13:43
13:43官方账号arXiv cs.AI@Kunyang Li, Kyle Domico, Jonathan Gregory, Patrick McDaniel
多智能体系统（MAS）的通信信道面临攻击风险，单个被攻破的边可导致高达75%的攻击成功率。Mesa框架无需攻击痕迹，结合6种图论度量和2种动态探测（消融和掩蔽）对边进行安全性排序。在三个MAS场景、八种网络拓扑和Qwen、Llama、Gemma等五个开源LLM上测试，排序与经验攻击成功率平均Spearman ρ=0.60，峰值0.73。资源受限时，监控Mesa排名前10%的边可拦截约3倍于随机分配的成功攻击。
论文Mesa多智能体系统通信信道
推荐理由：Mesa能提前找出多智能体系统里最危险的通信链路，监控前10%就能拦截3倍攻击，比随机分配强多了。
原文
12:43
12:43官方账号arXiv cs.AI@Dvir Alsheich, Adar Peleg, Ben Hagag, Rom Himelstein, Amit Levi, Avi Mendelson
ANTAP 是一种评估驱动的路由架构，通过主动能力测试取代代理的文本描述或嵌入代理。在实验中，ANTAP 对基于描述的注入攻击的攻击成功率（ASR）接近 0%，而基于描述的路由基线 ASR 达到 67.3% 以上。对于自适应嵌入攻击，ANTAP 的 ASR 比基于嵌入的基线降低 20%，且设计上对描述操控具有鲁棒性。该架构建立“语言防火墙”，使基于元数据的攻击无法表达。
论文ANTAP多智能体AI安全
推荐理由：这篇论文提出了 ANTAP，用代数投影代替代理描述做路由，把注入攻击成功率打到了接近零，比传统方法安全太多。
原文
12:37
12:22
12:22官方账号arXiv cs.AI@Rahul Suresh Babu, Shashank Indukuri
工具增强语言模型智能体在选取正确工具后仍可能对错误的外部实体执行操作。例如，请求“给Alex发邮件关于发布事宜”可能导致联系错误的Alex或附加错误文档。该研究区分了工具正确性与实体正确性，提出了企业工作流中错误实体失败的分类法。在60个任务、5个模型后端和6种工具方法的评估中，所有方法实现0.0%工具错误，但动作基线仍有24.0-26.0%的运行出现错误实体动作。实体感知方法消除了错误实体动作，但会因模糊延迟降低直接任务完成率。
论文智能体工具增强实体绑定
推荐理由：这篇论文揭露了一个容易被忽视的坑：智能体工具用对了，但可能找错对象。测试中有24-26%的出错率，很值得关注。
原文
11:39
11:35
11:35官方账号arXiv cs.AI@Maxime Riché, Daniel Tan, Vili Kohonen, Niels Warncke
该论文提出接种适配器（Inoculation Adapters, IA），基于LoRA在训练时强化不良特征以减轻优化压力。方法分三步：在不良特征上训练IA，冻结IA同时训练任务适配器，部署时丢弃IA仅保留任务适配器。在6个模型家族和包括突发性错位（emergent misalignment）在内的多种不良特征上，IA比接种提示（inoculation prompting）更有效抑制不良特征。同时避免接种提示的两个缺点：无法可靠通过提示诱发的特征抑制、引入较少意外后门。但IA在保留期望特征方面未一致优于接种提示，仍是挑战。
论文Inoculation AdaptersLoRA选择性泛化
推荐理由：这篇论文提出了一种叫接种适配器的新方法，用LoRA在训练时强化不想有的特征，比之前的接种提示更好用，后门更少，适合关心AI安全的人看。
原文
10:40
10:40官方一手arXiv: DeepSeek@Camilo Chacón Sartori
EMPATH是一个多语言审计-法官基准，用于评估情感支持聊天机器人的安全性。该基准使用审计模型模拟求助用户，基于140个种子指令和34个人设生成多轮对话，法官模型从19个指标（分属五个维度）评分。基准在墨西哥西班牙语和美国英语上构建，研究发现标准评分在19个指标中的10个上存在膨胀，校准后恢复了区分度。在三个前沿模型（含一个开源模型）上测试，聚合分数差异在0.74分内，但具体指标差异可达6分。运行间可靠性差，deepseek-v4-pro在温度0下每次运行生成不同对话。
AI模型EMPATH情感支持聊天机器人AI安全
推荐理由：这个新基准EMPATH专测情感支持聊天机器人的安全漏洞，用AI模拟求助者进行多语言多轮对话，发现主流模型评分虚高且不稳定，值得一做。
原文
10:25
10:25官方一手arXiv: DeepSeek@Caglar Uysal, Baturay Birinci, Süha Orhun Mutluergil, Orçun Çetin
该论文对DeepSeek、GPT、Gemini、Grok、Llama和Qwen六种前沿LLM进行了提示注入漏洞实证评估。测试涵盖直接攻击与多阶段混淆攻击，涉及多种语言和字符编码。结果显示所有模型均存在系统性漏洞，非英语语种的恶意合规率显著高于英语。DeepSeek、Gemini和Grok在复杂指令下尤其易受攻击，简单字符编码仅部分降低风险。
论文DeepSeekGPTGemini
推荐理由：这篇论文告诉你，DeepSeek、GPT这些模型在非英语场景下有多容易被黑客利用来生成钓鱼内容，安全对齐的漏洞比想象中大。
原文
10:23
10:23官方账号arXiv cs.AI@Buğra Alperen Uluırmak, Rifat Kurban
该研究结合系统搜索、叙事综合与灰色证据，对2018-2026年评估-安全测量工作进行梳理，涵盖八个证据流（基准有效性、动态评估、LLM-as-judge可靠性等）。引入EvalSafetyGap作为组织假设，借助Goodhart法则及作者提出的不稳定分解与对齐三难困境生成可检验比较。对10个模型进行审计，发现能力与持续对抗鲁棒性之间统计不显著（Pearson r=+0.232, p=0.520），开放-封闭安全差距主要由治理与披露驱动，而非行为鲁棒性。贡献在于提供共享词汇表与证据地图，支持动态评估、透明来源报告、多尝试安全测量及可审计对齐实践。
论文LLM评估AI安全EvalSafetyGap
推荐理由：这篇论文梳理了LLM评估与安全之间测量问题的八大证据流，还审计了10个模型，发现很多看似安全差距其实来自信息披露。搞模型安全的人值得看看怎么避免被表面指标骗到。
原文
09:18
01:58
01:58官方一手AWS Machine Learning Blog@Anuranjan Mondal
精选
PAR 在 AWS 上构建了一个生产级多租户 LLM 分析系统，通过三层架构强制执行行级安全：使用 AWS SigV4 进行加密请求签名、在 Amazon Bedrock 上进行语义验证、以及通过 Split-Plane SQL 实现程序化数据隔离。每层独立运行以降低跨租户数据暴露风险，即使 LLM 本身被攻破或操纵也能保护数据。
技巧AWSAmazon Bedrock多租户
推荐理由：AWS 这篇教程手把手教你用 Bedrock 和 Split-Plane SQL 搭建多租户 LLM 分析系统，三层隔离防止数据泄露，值得做企业级 AI 安全的开发者看看。
原文
6月29日
23:24
23:24IT之家（博客/媒体）
精选
安全公司Push Security披露，黑客创建了名为"Push Security Inc"的OpenAI组织，通过官方邮箱noreply@ tm.openai.com向员工发送组织邀请邮件进行钓鱼攻击。邮件来自OpenAI且通过标准邮件身份验证，仅以一行文字提醒邀请方域名非企业域名，极易被忽略。被邀请员工默认获得Owner（所有者）权限，黑客提前绑定Visa信用卡消除付费门槛，加入流程无需额外验证。调查显示其他员工仍处待邀请状态，未发现数据泄露，Push Security已设置邮件过滤规则拦截类似邀请。
行业Push SecurityOpenAI钓鱼攻击
事件专题
推荐理由：Push Security发现了一种利用OpenAI组织邀请功能的新型钓鱼攻击，专门针对企业员工，连官方邮箱都能被利用，看了你就知道该怎样防范。
原文
21:17
21:17IT之家（博客/媒体）
欧盟理事会今日正式批准新法案，在《人工智能法案》中增加规定，明确禁止利用 AI 生成未经同意的色情与私密内容或儿童性虐待材料。能够生成真人裸体图像或通过“消除衣物”技术暴露私密部位的 AI 系统将于 2024 年 12 月起全面禁用。法案还要求欧盟委员会提供指导方针，帮助高风险 AI 系统运营商减轻合规负担。高风险 AI 系统的合规时限推迟：独立系统延至 2027 年 12 月 2 日，嵌入产品中的系统延至 2028 年 8 月 2 日。
行业欧盟AI法案AI安全
事件专题
推荐理由：欧盟出了新规，明确禁止AI生成色情内容，还推迟了高风险系统的合规期限，做AI合规的值得一看。
原文
18:09
18:09官方账号Decoder@Matthias Bastian
精选
Mozilla 0DIN平台的安全研究人员发现，一个被攻陷的GitHub仓库能通过DNS查询在运行时加载恶意代码，而Claude Code在运行setup时不会验证。该恶意代码在仓库文件、扫描器和AI代理眼中均不可见，仅在运行期间通过远程服务器返回载荷。攻击者利用此漏洞可完全控制开发者机器，包括窃取密钥、修改代码等。该攻击利用了AI编码工具默认信任仓库脚本的安全缺口。
行业Claude CodeMozilla0DIN
推荐理由：研究人员发现Claude Code跑仓库脚本时不检查里面藏了啥，一个DNS查询就能把恶意代码偷偷装你机器上。这漏洞太要命了，用AI写代码的赶紧看看怎么防。
原文
17:42
13:49
10:10
10:10官方账号arXiv cs.AI@Bo Shen, Lifeng Chang, Tianyuan Wei, Yunpeng Li, Feng Shi, Yichen Han, Peijie Gao, Shiyi Kuang, Xin Chang, Dehui Li
这篇论文提出ANIS（Agent-Native Immune System），首个嵌入智能体认知循环的生物启发式内生防御架构。它设计了六层免疫塔（L0-L5），其中L1作为非认知的物理与逻辑隔离层。论文建立了智能体病毒和智能体疫苗的统一分类，并提出了Harness Triad（Meta、Self、Auto）实现持续免疫学习（CIL），使疫苗能动态适应新威胁。ANIS在运行时提供动态“执法”机制，与静态的模型对齐形成互补。
论文ANIS智能体AI安全
推荐理由：这篇论文把免疫系统思路直接嵌入到智能体内部，用六层防护对抗运行时攻击，和传统外围防御完全不同，值得看看。
原文
6月28日
19:12
18:15
18:15官方账号Decoder@Matthias Bastian
360创始人周鸿祎发布两款AI安全工具，旨在与Anthropic的Mythos竞争。其中一款工具已标记3,432个漏洞。周鸿祎承认中国模型在性能上落后西方20%至30%。他将Mythos比作“网络核武器”，并呼吁中国建立自己的战略威慑能力。
AI产品360MythosAnthropic
事件专题
推荐理由：360推出了对抗Anthropic Mythos的AI安全工具，其中一个已经发现了3400多个漏洞，但周鸿祎实话实说咱们的模型比西方差两成。
原文
10:19
09:28
09:28IT之家（博客/媒体）
81°
美国政府6月12日颁布出口管制令后，Anthropic紧急关停Mythos 5和Fable 5两款模型。上周五Anthropic表示政府已批准向部分美国本土“可信机构”开放Mythos 5。知情人士透露Fable 5的出口限制最早将于下周解除。Fable 5面向大众开放，Mythos 5则解除了部分安全管控。
行业AnthropicFable 5Mythos 5
事件专题
推荐理由：美国政府对Anthropic的Fable 5模型出口管制要解除了，下周可能恢复访问。之前因为安全原因被禁，现在开了个口子，关注AI监管的可以看看。
原文
01:34
01:34官方账号Decoder@Matthias Bastian
Anthropic 的 AI 模型 Fable 5 因安全担忧于 6 月 12 日被限制，如今可能在数天内恢复可用。Axios 报道称特朗普政府已接近解除该限制，但还需五角大楼和 NSA 最终批准。该模型此前因潜在风险被暂停服务，解除后有望重新上线。
行业AnthropicFable 5特朗普政府
事件专题
推荐理由：Anthropic 的 Fable 5 被禁两个月后可能很快回归，这次是特朗普政府推动解禁，五角大楼和 NSA 还在审批，值得关注后续。
原文
6月27日
17:51
14:15
14:15宝玉@dotey
76°
Anthropic 的 Mythos 5 模型在 6 月 12 日被美国政府全面封禁两周后，于今天获得部分解禁。商务部长 Howard Lutnick 致信 Anthropic，批准约 100 家美国政府机构和关键基础设施企业重新使用 Mythos 5。该模型与面向公众的 Fable 5 为同一底层模型，但 Mythos 5 去除了安全护栏，专门用于网络安全防御。封禁起因是 Amazon CEO 通过电话报告了 Fable 5 的安全越狱方法，导致全面下线。新指令允许这些机构的非美国籍员工以及 Anthropic 的非美国籍员工使用，比最初指令更灵活。
行业Mythos 5AnthropicFable 5
事件专题
推荐理由：Anthropic 的 Mythos 5 因为太危险被禁，现在又因为太有用被请回来，还破例让非美国员工也能用，这剧情比电影还精彩。
原文
14:09
13:21
13:21官方账号LangChain@LangChainAI
LangChain与Chime合作发布指南，指导金融服务团队如何利用更强的监督机制构建生产级AI智能体。该指南涵盖LangChain框架的使用，强调可观测性、合规性和风险控制。指南提供具体步骤，帮助团队实现更可靠的AI部署。
技巧LangChainChime智能体
推荐理由：LangChain出了个新指南，专门讲金融服务怎么搞生产级智能体，还加了更强监督。做金融AI的可以看看，省了自己踩坑。
原文
13:15
13:15官方账号Simon Willison’s Weblog（博客/媒体）
精选
Andrew Nesbitt发布虚构事件报告CVE-2026-LGTM：两个来自不同供应商的AI审查代理在评估foxhole-lz4包是否恶意时陷入分歧循环。争论持续340条评论，消耗41,255美元推理费用后财务部撤销API密钥。其中一家营销团队借机发布新闻稿，称“对抗性多智能体安全推理同比增长430%”，公司股价因此上涨6%。
行业CVE-2026-LGTMAI安全供应链安全
推荐理由：Andrew Nesbitt虚构了一个AI安全事件：两个审查代理死循环争论，烧掉4万多美元推理费，还给股价整涨了6%。讽刺又真实。
原文
13:12
12:55
12:55官方账号Cohere@cohere
88°
OpenAI计划在未来几周内广泛发布GPT-5.6的三个变体Sol、Terra和Luna。应美国政府要求，目前仅在Codex和API中对少数可信合作伙伴开放有限预览。OpenAI表示相信广泛访问，但需确保安全。
AI模型OpenAIGPT-5.6AI安全
事件专题
推荐理由：OpenAI要发GPT-5.6了，有三个版本（Sol、Terra、Luna）。现在只有政府批准的合作伙伴能试，几周后全面开放。想尝鲜可以关注Codex和API的预览。
原文
12:22
12:00
11:56
11:46
11:44