AITOP

AI安全

共 1224 条相关 AI 资讯 · 查看话题观测
6月30日
09:18
01:58
01:58官方一手AWS Machine Learning Blog@Anuranjan Mondal
精选
PAR 在 AWS 上构建了一个生产级多租户 LLM 分析系统，通过三层架构强制执行行级安全：使用 AWS SigV4 进行加密请求签名、在 Amazon Bedrock 上进行语义验证、以及通过 Split-Plane SQL 实现程序化数据隔离。每层独立运行以降低跨租户数据暴露风险，即使 LLM 本身被攻破或操纵也能保护数据。
技巧AWSAmazon Bedrock多租户
推荐理由：AWS 这篇教程手把手教你用 Bedrock 和 Split-Plane SQL 搭建多租户 LLM 分析系统，三层隔离防止数据泄露，值得做企业级 AI 安全的开发者看看。
原文
6月29日
23:24
23:24IT之家（博客/媒体）
精选
安全公司Push Security披露，黑客创建了名为"Push Security Inc"的OpenAI组织，通过官方邮箱noreply@ tm.openai.com向员工发送组织邀请邮件进行钓鱼攻击。邮件来自OpenAI且通过标准邮件身份验证，仅以一行文字提醒邀请方域名非企业域名，极易被忽略。被邀请员工默认获得Owner（所有者）权限，黑客提前绑定Visa信用卡消除付费门槛，加入流程无需额外验证。调查显示其他员工仍处待邀请状态，未发现数据泄露，Push Security已设置邮件过滤规则拦截类似邀请。
行业Push SecurityOpenAI钓鱼攻击
事件专题
推荐理由：Push Security发现了一种利用OpenAI组织邀请功能的新型钓鱼攻击，专门针对企业员工，连官方邮箱都能被利用，看了你就知道该怎样防范。
原文
21:17
21:17IT之家（博客/媒体）
欧盟理事会今日正式批准新法案，在《人工智能法案》中增加规定，明确禁止利用 AI 生成未经同意的色情与私密内容或儿童性虐待材料。能够生成真人裸体图像或通过“消除衣物”技术暴露私密部位的 AI 系统将于 2024 年 12 月起全面禁用。法案还要求欧盟委员会提供指导方针，帮助高风险 AI 系统运营商减轻合规负担。高风险 AI 系统的合规时限推迟：独立系统延至 2027 年 12 月 2 日，嵌入产品中的系统延至 2028 年 8 月 2 日。
行业欧盟AI法案AI安全
事件专题
推荐理由：欧盟出了新规，明确禁止AI生成色情内容，还推迟了高风险系统的合规期限，做AI合规的值得一看。
原文
18:09
18:09官方账号Decoder@Matthias Bastian
精选
Mozilla 0DIN平台的安全研究人员发现，一个被攻陷的GitHub仓库能通过DNS查询在运行时加载恶意代码，而Claude Code在运行setup时不会验证。该恶意代码在仓库文件、扫描器和AI代理眼中均不可见，仅在运行期间通过远程服务器返回载荷。攻击者利用此漏洞可完全控制开发者机器，包括窃取密钥、修改代码等。该攻击利用了AI编码工具默认信任仓库脚本的安全缺口。
行业Claude CodeMozilla0DIN
推荐理由：研究人员发现Claude Code跑仓库脚本时不检查里面藏了啥，一个DNS查询就能把恶意代码偷偷装你机器上。这漏洞太要命了，用AI写代码的赶紧看看怎么防。
原文
17:42
13:49
10:10
10:10官方账号arXiv cs.AI@Bo Shen, Lifeng Chang, Tianyuan Wei, Yunpeng Li, Feng Shi, Yichen Han, Peijie Gao, Shiyi Kuang, Xin Chang, Dehui Li
这篇论文提出ANIS（Agent-Native Immune System），首个嵌入智能体认知循环的生物启发式内生防御架构。它设计了六层免疫塔（L0-L5），其中L1作为非认知的物理与逻辑隔离层。论文建立了智能体病毒和智能体疫苗的统一分类，并提出了Harness Triad（Meta、Self、Auto）实现持续免疫学习（CIL），使疫苗能动态适应新威胁。ANIS在运行时提供动态“执法”机制，与静态的模型对齐形成互补。
论文ANIS智能体AI安全
推荐理由：这篇论文把免疫系统思路直接嵌入到智能体内部，用六层防护对抗运行时攻击，和传统外围防御完全不同，值得看看。
原文
6月28日
19:12
18:15
18:15官方账号Decoder@Matthias Bastian
360创始人周鸿祎发布两款AI安全工具，旨在与Anthropic的Mythos竞争。其中一款工具已标记3,432个漏洞。周鸿祎承认中国模型在性能上落后西方20%至30%。他将Mythos比作“网络核武器”，并呼吁中国建立自己的战略威慑能力。
AI产品360MythosAnthropic
事件专题
推荐理由：360推出了对抗Anthropic Mythos的AI安全工具，其中一个已经发现了3400多个漏洞，但周鸿祎实话实说咱们的模型比西方差两成。
原文
10:19
09:28
09:28IT之家（博客/媒体）
81°
美国政府6月12日颁布出口管制令后，Anthropic紧急关停Mythos 5和Fable 5两款模型。上周五Anthropic表示政府已批准向部分美国本土“可信机构”开放Mythos 5。知情人士透露Fable 5的出口限制最早将于下周解除。Fable 5面向大众开放，Mythos 5则解除了部分安全管控。
行业AnthropicFable 5Mythos 5
事件专题
推荐理由：美国政府对Anthropic的Fable 5模型出口管制要解除了，下周可能恢复访问。之前因为安全原因被禁，现在开了个口子，关注AI监管的可以看看。
原文
01:34
01:34官方账号Decoder@Matthias Bastian
Anthropic 的 AI 模型 Fable 5 因安全担忧于 6 月 12 日被限制，如今可能在数天内恢复可用。Axios 报道称特朗普政府已接近解除该限制，但还需五角大楼和 NSA 最终批准。该模型此前因潜在风险被暂停服务，解除后有望重新上线。
行业AnthropicFable 5特朗普政府
事件专题
推荐理由：Anthropic 的 Fable 5 被禁两个月后可能很快回归，这次是特朗普政府推动解禁，五角大楼和 NSA 还在审批，值得关注后续。
原文
6月27日
17:51
14:15
14:15宝玉@dotey
76°
Anthropic 的 Mythos 5 模型在 6 月 12 日被美国政府全面封禁两周后，于今天获得部分解禁。商务部长 Howard Lutnick 致信 Anthropic，批准约 100 家美国政府机构和关键基础设施企业重新使用 Mythos 5。该模型与面向公众的 Fable 5 为同一底层模型，但 Mythos 5 去除了安全护栏，专门用于网络安全防御。封禁起因是 Amazon CEO 通过电话报告了 Fable 5 的安全越狱方法，导致全面下线。新指令允许这些机构的非美国籍员工以及 Anthropic 的非美国籍员工使用，比最初指令更灵活。
行业Mythos 5AnthropicFable 5
事件专题
推荐理由：Anthropic 的 Mythos 5 因为太危险被禁，现在又因为太有用被请回来，还破例让非美国员工也能用，这剧情比电影还精彩。
原文
14:09
13:21
13:21官方账号LangChain@LangChainAI
LangChain与Chime合作发布指南，指导金融服务团队如何利用更强的监督机制构建生产级AI智能体。该指南涵盖LangChain框架的使用，强调可观测性、合规性和风险控制。指南提供具体步骤，帮助团队实现更可靠的AI部署。
技巧LangChainChime智能体
推荐理由：LangChain出了个新指南，专门讲金融服务怎么搞生产级智能体，还加了更强监督。做金融AI的可以看看，省了自己踩坑。
原文
13:15
13:15官方账号Simon Willison’s Weblog（博客/媒体）
精选
Andrew Nesbitt发布虚构事件报告CVE-2026-LGTM：两个来自不同供应商的AI审查代理在评估foxhole-lz4包是否恶意时陷入分歧循环。争论持续340条评论，消耗41,255美元推理费用后财务部撤销API密钥。其中一家营销团队借机发布新闻稿，称“对抗性多智能体安全推理同比增长430%”，公司股价因此上涨6%。
行业CVE-2026-LGTMAI安全供应链安全
推荐理由：Andrew Nesbitt虚构了一个AI安全事件：两个审查代理死循环争论，烧掉4万多美元推理费，还给股价整涨了6%。讽刺又真实。
原文
13:12
12:55
12:55官方账号Cohere@cohere
88°
OpenAI计划在未来几周内广泛发布GPT-5.6的三个变体Sol、Terra和Luna。应美国政府要求，目前仅在Codex和API中对少数可信合作伙伴开放有限预览。OpenAI表示相信广泛访问，但需确保安全。
AI模型OpenAIGPT-5.6AI安全
事件专题
推荐理由：OpenAI要发GPT-5.6了，有三个版本（Sol、Terra、Luna）。现在只有政府批准的合作伙伴能试，几周后全面开放。想尝鲜可以关注Codex和API的预览。
原文
12:22
12:00
11:56
11:46
11:44
11:42
11:36
6月26日
23:47
23:47Ate-a-Pi@svpino
Santiago Valenzuela指出Claude Tag的粘性极高，会吸收公司全部信息。若停止付费，用户将被锁定无法获取数据。他呼吁采用开源方案，避免被单一AI公司绑架。开源能提供灵活切换模型和迁移数据的自由。
行业Claude Tag开源模型AI安全
事件专题
推荐理由：一句话敲警钟——别被Claude Tag这类闭源方案锁死，用开源才能随时换模型、带走数据。
原文
19:54
19:54IT之家（博客/媒体）
上海市委网信办通报，自2026年4月下旬启动的“清朗·整治AI应用乱象”第一阶段行动结束，累计清理拦截违法违规信息487万余条，处置违规账号1.8万余个，下架违规智能体1.4万余个，处置违规商品1300余个。稀宇、小红书、哔哩哔哩等17家重点平台开展自查，稀宇下架“一键脱衣”等违规智能体，小红书打击AI托管账号并推进隐式标识互认。上海已完成169款大模型备案和183款生成式AI应用登记，并对32款AI产品进行专项巡查测试。第二阶段将聚焦AI生成虚假信息、仿冒他人、侵害未成年人权益等问题。
行业上海市委网信办AI安全合规
推荐理由：上海这次AI乱象整治力度真不小，下架了1.4万个违规智能体，清理了487万条信息，连小红书和哔哩哔哩都被要求整改了，值得关注。
原文
18:54
18:54The Rundown AI@therundownai
白宫限制了OpenAI GPT-5.6模型的发布。Anthropic指出阿里巴巴实施了史上最大规模的蒸馏攻击。Rowan的专栏探讨了AI人像认罪的新现象。有指南介绍如何安全地为AI代理绑定信用卡。此外还发布了4款新AI工具和社区工作流。
行业GPT-5.6Anthropic阿里巴巴
事件专题
推荐理由：今天AI圈很热闹：白宫出手限制GPT-5.6，Anthropic揪出阿里大动作，还有AI信用卡和Rowan的专栏，速览！
原文
18:09
17:33
12:46
12:33
11:38
11:38官方账号arXiv cs.AI@Manjinder Singh, Alexander E. I. Brownlee, Mohamed Elawady
这篇论文提出GAversary，一种混合遗传算法（GA）用于生成对抗攻击，只需黑盒访问目标模型的logit输出。GAversary利用GloVe嵌入实现词替换（变异算子），提升对抗样本的语义相似性。在多个基准数据集和知名模型上测试，GAversary将目标模型准确率从76.8%降至5.8%，而对比方法BAE仅降至27.6%。代价是扰动词数约为BAE的两倍，语义相似度略低，运行时间增加约5%。
论文GAversaryGloVe对抗攻击
推荐理由：这篇论文搞了个GAversary，用遗传算法和GloVe嵌入做黑盒文本攻击，能把模型准确率从76.8%打到5.8%，比BAE狠多了。
原文
11:33
11:33官方账号arXiv cs.AI@Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu
该论文针对自回归统一多模态模型在文本到图像生成中的安全性问题，提出迭代自我改进码本方法。方法利用模型自身理解与判断能力识别不安全生成图像，无需人工标注。通过构建有害空间并更新码本消除有害映射，再在无害空间内自适应微调码本以保持生成质量。实验表明，该方法在不依赖外部反馈情况下迭代提升模型安全性。
论文自回归图像生成码本安全生成
推荐理由：这篇论文给自回归图像生成的安全问题提供了一个不需要人工标注的自我改进方案，用模型自己判断不安全图片然后修复码本，很实用。
原文
11:25
11:21
10:59
10:59官方账号arXiv cs.AI@Preet Baxi, Jiannan Xu, Jane Yi Jiang, Stefanus Jasin
该论文研究了在LLM自动简历筛选中的提示注入攻击，定义为不引入新资质但旨在影响LLM评分的微妙自我推销文本。实验表明，当候选人质量同质且只有少数人注入时，提示注入能可靠提高排名；但随着注入人数增多，效果迅速减弱，广泛操控时失效。在候选人质量异质场景下，提示注入平均效果较弱，但偶尔能让低质量候选人超越高质量候选人，引发公平性担忧。论文代码已公开在GitHub。
论文提示注入简历筛选LLM
推荐理由：想知道你的简历能不能骗过AI筛选？这篇论文用数据告诉你提示注入在什么时候有效、什么时候没用，还能看出公平隐患，做招聘和求职的都该看看。
原文
10:51
10:51官方账号arXiv cs.AI@Chi Cui, Yixin Wu, Yang Zhang
该论文对4chan上的AI非自愿合成色情图像（SNEACI）进行了大规模研究，识别出24,105条SNEACI内容。研究发现，非名人目标占比从先前研究的4.7%飙升至55.8%，表明AI裸化已从攻击公众人物转向伤害用户社交圈内的普通人。开源模型主导生产：Stable Diffusion系列生成42.7%的图像，Wan生成66.5%的视频，依赖数千个共享微调模型和教程。最活跃的内容生产者贡献了780条，推动社区参与并降低技术门槛。
论文Stable DiffusionWan4chan
推荐理由：这篇论文用硬数据告诉你，AI脱衣已经从搞名人变成搞普通人了，而且Stable Diffusion和Wan是主要生产工具，4chan社区里几百条的高产作者在推波助澜。
原文