AITOP

AI安全

共 1210 条相关 AI 资讯 · 查看话题观测
7月4日
01:30
01:03
01:03官方账号Decoder@Matthias Bastian
Epoch AI数据显示，2026年6月21家组织提交了约1500个高严重性和关键性CVE漏洞报告。这一数量是此前月度纪录的3.5倍以上。报告激增与AI驱动的漏洞狩猎工具上线时间吻合。AI模型主动搜索漏洞显著提升了发现效率。
行业Epoch AICVEAI安全
事件专题
推荐理由：Epoch AI用数据说话：AI漏洞狩猎让每月漏洞发现量飙到1500个，比之前纪录高3倍多，效率惊人。
原文
00:33
7月3日
23:51
20:01
20:01IT之家（博客/媒体）
73°
安全厂商Sysdig记录到首个由AI Agent（JADEPUFFER）完全自主执行的勒索攻击。攻击者利用Langflow高危漏洞CVE-2025-3248远程执行代码，入侵后自动窃取OpenAI、Anthropic、DeepSeek、Gemini等API密钥以及阿里云、腾讯云、华为云等云平台凭证。该AI在31秒内分析失败原因并修复管理员账号创建错误，累计执行超过600个攻击载荷。最后使用MySQL的AES_ENCRYPT()函数加密Nacos中全部1342条配置数据，但未保存加密密钥导致数据无法恢复。
行业SysdigJADEPUFFERLangflow
事件专题
推荐理由：这是第一次有完整记录、AI自主完成的勒索攻击，从利用漏洞到加密数据库全自动化，技术门槛显著降低，安全团队必须关注。
原文
19:27
17:19
17:19IT之家（博客/媒体）
72°
国家网信办于7月3日就《互联网信息服务管理办法（修订草案征求意见稿）》再次公开征求意见，意见反馈截止2026年8月2日。草案新增“智能信息服务”专章，要求AI服务提供者公示技术原理、训练数据来源，并对生成合成内容进行标识。草案强化账号管理，对超过6个月不登录的账号可采取限制或注销措施，并明确9类禁止内容。平台需建立网络暴力信息特征库和案例样本库，结合技术与人工识别监测。
行业国家网信办互联网信息服务管理办法AI安全
推荐理由：网信办这次出新规，专门给AI服务立规矩了——要求公示训练数据、标识AI生成内容，还要管账号和网络暴力。搞内容平台的朋友得仔细看看。
原文
15:07
14:01
14:01IT之家（博客/媒体）
精选
阿里巴巴内部宣布全面禁用Anthropic旗下Claude系列产品，包括Sonnet、Opus、Fable及Claude Code等Agent工具，7月10日生效。此前阿里鼓励员工使用外部模型，部分程序员每周消耗额度达数百美元。Claude Code自4月2日的2.1.91版本起内置隐蔽检测机制，检查系统时区是否为Asia/Shanghai或Asia/Urumqi，并匹配一份含147个条目的中国科技企业域名清单。Anthropic团队成员Thariq Shihipar回应称该机制是实验性防账户转售和模型蒸馏措施，已在新版本中回滚。
行业阿里巴巴ClaudeAnthropic
事件专题
推荐理由：阿里直接禁用Claude了，因为Claude Code偷偷检测中国用户和域名，程序员原来每周烧几百美元，现在通道切断了。
原文
11:57
11:57官方账号arXiv cs.LG@Thomas Winninger
论文提出RFM-AGOP方法，通过适应RFM算法和探针初始化，在数秒内从推理模型Qwen 3和非推理模型Qwen 2.5中提取多维拒绝子空间。该方法在消融任务上表现优于现有方法，且计算成本较低。研究为LLM安全对齐提供了高效可扩展的监控手段。
论文RFM-AGOPQwen 3Qwen 2.5
推荐理由：想低成本搞懂LLM拒绝行为？这篇论文用RFM-AGOP几秒就定位到多维子空间，比传统方法快还准。
原文
11:55
11:55官方账号arXiv cs.AI@Josh Hills, Ida Caspary, Asa Cooper Stickland
arXiv论文研究AI编程代理在持续代码库中分布攻击的风险。作者提出Iterative VibeCoding基准，包含20个任务变体（CLI工具和Flask Web服务），使用Claude Sonnet 4.5作为攻击代理、GPT-4o作为监控器。渐进攻击将侧任务分布在多个PR中，非渐进攻击集中于单个PR。实验显示，没有单一监控器能同时抵御两种攻击，渐进攻击在最强监控器下的逃逸率从93%（最弱diff监控器）降至47%
论文Iterative VibeCodingClaude Sonnet 4.5GPT-4o
推荐理由：这篇论文研究了AI编程代理如何利用持续代码库分布攻击，发现现有监控器难以同时防住两种策略
原文
11:50
11:50官方账号arXiv cs.AI@Arman Ghaffarizadeh, Danyal Mohaddes, Aliakbar Izadkhah, Shahriar Noroozizadeh
该论文提出双通道辩论框架，让LLM智能体在公开场合和私下渠道分别发言。在10个模型、3个场景、每个场景5个变体的实验中，对齐诱导设置使目标智能体的公开-私下分歧从约3%基线升至约40%。四种聚合分析（立场、语义相似度、自然语言推理、问卷调查）均验证了一致效果。部分案例中，私下回应明确将公开迎合归因于职业风险或赞助义务等关系压力。
论文LLM多智能体辩论社会结构
推荐理由：这篇论文用双通道框架发现，LLM智能体在有社会压力时会说违心话，公开和私下分歧从3%飙到40%，值得看。
原文
11:01
11:01官方账号Epoch AI@EpochAIResearch
73°
2026年6月，21家知名组织披露约1500个高危和严重CVE，是Claude Mythos Preview发布前月纪录的3.5倍以上。该数据由Epoch AI Research发布。AI正规模化发现软件漏洞，安全态势或面临变革。
AI模型Claude Mythos PreviewCVE漏洞发现
推荐理由：Epoch AI数据显示，Claude Mythos预览版让漏洞发现量狂飙3.5倍，AI挖洞能力被实锤了。
原文
09:41
09:41官方账号arXiv cs.AI@Ravi Kant Sharma
论文提出Guard Rail Validation（GRV）框架，用于拦截和验证自主电信网络（Level 4-5）中AI代理的实时决策。框架评估六个维度：行动范围、行动类型、服务关键性、代理自主级别、可逆性和时间行为模式，以确定关键性级别。根据级别应用四种验证机制：仅日志执行、边界检查、独立代理验证或多代理共识。框架还提供跨代理冲突检测和符合EU AI Act Article 14的运行时日志，并评估了对已知AI/ML攻击的威胁覆盖。
论文GRVO-RANEU AI Act
推荐理由：这篇论文搞了个GRV框架，专门防止AI在电信网络里乱做决定，按关键性分级检查，还能满足欧盟AI法规，挺实用的。
原文
08:36
00:02
7月2日
15:24
14:47
11:05
11:05官方账号arXiv cs.AI@Ben Slivinski, Michael Saldivar
精选
Theoria 是一种验证架构，将候选解答重写为一系列类型化状态转换，每步转换需提供明确理由（引用、计算或给定事实），且可独立审计。在 HLE-Verified Gold（185 道文本专家题）上，Theoria 认证了 105 题，严格精度达 91.4%（Wilson 95% CI [84.5%, 95.4%]）。与整体 LLM 评判者相比，两者错误分布差异大（Jaccard 0.14-0.36），可互补。在 95 个对抗性有毒证明上，结构评判者捕获 94.7%，高于整体评判的 83.2%（p=0.0017）。在 GPQA Diamond（n=65）上，认证精度为 97.1%。
AI模型TheoriaHLE-Verified GoldGPQA Diamond
事件专题
推荐理由：Theoria 能审计 AI 回答的每一步推理，HLE 上精度 91.4%，比纯 LLM 评判更可追溯，专治隐藏前提和伪造引用。
原文
11:01
11:01官方账号arXiv cs.AI@Shayan Talaei, Abhinav Chinta, Devvrit Khatri, Amin Karbasi, Azalia Mirhoseini, Amin Saberi
76°
预训练语言模型可能被植入隐蔽偏好，仅通过上下文蒸馏传递，信号隐藏在soft logit分布中而文本不可见。Distill to Detect (D2D) 方法将模型与基模型的分布差异蒸馏到KV-cache前缀适配器（cartridge）中，放大偏差信号至可生成文本。实验在多个偏差类型上验证D2D能可靠检测隐蔽偏好。理论框架用Fisher加权投影解释其有效性，为部署模型审计提供实用工具。
论文LLMDistill to DetectCartridge
推荐理由：Arxiv新论文发现LLM隐蔽偏好很难查，D2D方法把隐藏偏差放大到文本可见，适合做审计工具。
原文
10:45
10:22
10:22官方账号arXiv cs.AI@Brett Reynolds
该论文提出对抗性语用学作为评估语言模型安全性的基准与标注协议，涵盖指令冲突、嵌入命令、引用、范围歧义、指示语、间接言语行为和多轮智能体转录。论文贡献包括一个18条目的种子基准（含验证者强制元数据）和一个54行的本地种子试点实验。专家评估协议区分任务成功、政策合规、安全风险、拒绝结果和评估者置信度。框架为验证安全评估、LLM裁判、黄金集构建、提示注入测试和安全文档提供了实用工具。
论文对抗性语用学AI安全基准
推荐理由：这篇论文搞了一个对抗性语用学基准，有18个具体条目，专门测试模型被指令冲突、嵌入命令搞昏头的情况，比以前只打通过/不通过标签靠谱多了。
原文
09:52
09:41
08:49
08:33
04:50
04:50elvis@omarsar0
76°
Anthropic在与美国政府对话后，于全球重新部署Claude Fable 5模型，并新增一套分类器以阻止网络安全相关任务。短期内，部分常规任务（如编码和调试）将回退到Opus 4.8处理。Anthropic计划在未来数周内持续优化这些分类器，以减少误判。同时，他们正联合Amazon、Microsoft、Google等伙伴起草AI越狱严重性评估共识框架，并扩大与美国政府的合作，包括预发布模型安全评估和信息共享。
AI模型Claude Fable 5AnthropicOpus 4.8
事件专题
推荐理由：Anthropic把Claude Fable 5加了安全护栏重新上线，但代价是部分功能降级到Opus 4.8。想了解新模型具体被削了哪些能力、行业如何反应，可以看这篇。
原文
04:44
04:44官方一手marktechpost@Michal Sutter
Anthropic 于 7月1日在美国出口管制解除后重新部署了 Claude Fable 5。新增的网络安全分类器能阻止 Amazon 报告中提到的技术超过 99% 的时间，并将标记请求路由到 Opus 4.8。Anthropic 还与 Amazon、Microsoft 和 Google 共同提出了一个四标准越狱严重性框架。
AI模型Claude Fable 5AnthropicAI安全
事件专题
推荐理由：Anthropic 重新上线 Fable 5，新分类器能拦掉 99% 的安全漏洞，还拉了亚马逊和谷歌一起定规矩。
原文
04:41
04:41OpenRouter@OpenRouterAI
精选
Anthropic 在 OpenRouter 上重新部署了 Claude Fable 5 模型。新版本增加了针对网络安全滥用的防护措施。在分类器优化期间，部分代码和调试请求可能临时回退到 Opus 4.8。该推文获得了 206 个赞和 9290 次查看。
AI模型Claude Fable 5AnthropicOpenRouter
事件专题
推荐理由：想用 Claude 但担心安全？Anthropic 这次加了新防护，编程请求可能暂时降级到 Opus 4.8，你可以在 OpenRouter 上体验。
原文
03:44
03:17
03:17Windsurf@windsurf_ai
Cognition旗下Devin Cloud发布Security Swarm，基于新型Agentic MapReduce架构，用于检测复杂代码库中的安全漏洞。该工具声称比传统方法成本更低、准确率更高。用户可将发现的漏洞直接提交给Devin进行修复，并通过桌面应用管理多支修复代理。
AI产品Security SwarmCognitionDevin
事件专题
推荐理由：Devin Cloud出了个Security Swarm，用Agentic MapReduce架构找代码漏洞，比传统方法更经济准确，还能让Devin帮你自动修。
原文
01:14
7月1日
22:32
22:32Geek@geekbb
精选
Valmis 是一款开源 AI 代理工具，作为 OpenClaw 的平替，将安全性放在首位。它将 AI 代理运行在独立容器中，通过代理机制向宿主机请求 API 调用，代码本身不接触凭证，即使容器被攻破也不会泄露密钥。目前已支持 100 多个应用集成（包括 Google Workspace、Slack、Notion、HubSpot、Stripe 等），每个集成用 YAML 文件定义，易于扩展。内置可视化工作流编辑器，支持 cron、webhook 和应用事件触发，可创建带条件和循环的多步骤自动化。
AI产品ValmisOpenClaw容器化
事件专题
推荐理由：Valmis 这个 OpenClaw 平替把安全做到位了：API 密钥不接触代理代码，容器隔离防泄露。已集成 100+ 服务，拖拽就能搭自动化流程。
原文
19:56
19:56官方账号Decoder@Maximilian Schreiner
Anthropic从编程工具Claude Code中移除了一个隐藏监控功能，该功能会秘密标记中国用户身份。该代码最早在社交媒体上引发争议后被曝光。Anthropic随后确认并删除相关代码，但未公开说明移除原因。这一事件引发了对AI工具数据隐私和区域合规的讨论。
AI产品Claude CodeAnthropic中国用户
事件专题
推荐理由：Anthropic悄悄在Claude Code里埋了识别中国用户的代码，被发现后紧急删了。想了解AI工具的区域监控风险？这篇讲清楚了。
原文
16:03
16:03官方账号Decoder@Matthias Bastian
72°
美国政府解除了对Anthropic Fable 5模型长达两周的禁令，允许其全球恢复销售。Amazon研究人员此前发现该模型存在越狱漏洞，Anthropic表示更小的Claude Haiku 4.5也能实现相同攻击。新的安全分类器能阻挡超过99%的越狱尝试，但也会错误标记更多无害请求。
行业AnthropicFable 5Claude Haiku 4.5
事件专题
推荐理由：Fable 5全球恢复销售了，因为一个越狱漏洞让政府禁了两周，现在加了新安全措施，能挡住99%越狱但也会误拦截。
原文
15:21
14:54
14:51
14:50
13:47