AITOP

AI安全

共 511 条相关 AI 资讯 · 查看话题观测
7月7日
11:24
11:20
11:20官方账号arXiv cs.AI@Dylan Zongmin Liu
SovereignPA-Bench 是一个可执行基准，用于评估用户自有个人代理（personal agent）在意图演变、平台调解、隐私边界和同意约束下的表现。基准将代理可观察状态与仅评估者的隐藏标签分离，报告任务成功、对齐、隐私、同意、证据、操纵、负担和可审计性等组件指标。研究在 120 个主权压力场景中评估了 4 个模型家族和 8 个策略基线，生成 3840 条冻结提示轨迹。全主权脚手架方法在主权得分上优于直接、仅记忆、仅同意、仅证据、ReAct/工具使用、安全提示和判断守卫基线，同时减少了隐私泄露、同意违规、过度让步和操纵捕获。人工审计显示隐私和同意方面的一致性高，而操纵方面的一致性较低。
论文SovereignPA-Bench智能体评估基准AI安全隐私
推荐理由：这篇论文提出了一个评估个人代理的新基准 SovereignPA-Bench，不仅看任务完成，还关注隐私和同意。对研究AI代理安全的人很有参考价值。
原文
11:18
11:18官方账号arXiv cs.AI@Xuyang Chen, Xiang Li, Yangxinyu Xie, Qi Long
现有LLM水印方法有零位方案（区分文本是否为AI生成）和多比特方案（嵌入元数据），但多比特方案无法选择性披露——验证任何部分必须揭示整个信息，导致隐私泄露。论文提出分层词汇路由（HeRo）框架，递归划分词汇表并将水印信息分布到层次化层中，不同验证者仅能解码其权限对应的载荷。实验表明HeRo在保持文本质量（无偏采样）的同时支持细粒度访问控制，并实现高检测准确率和低延迟。代码已开源在GitHub。
论文HeRoLLM水印选择性披露AI安全文本生成
推荐理由：这篇论文解决了一个实际问题：LLM生成文本的水印如果只能全量披露会泄露隐私。HeRo允许你只给特定验证者看部分信息，像权限分级一样，挺巧妙的。
原文
11:08
11:08官方账号arXiv cs.AI@Guli Zhu, Chenwei Wu, Liyue Shen
论文提出M3Bench基准，专用于评估医学视觉语言模型（VLM）的模型编辑效果。M3Bench包含16,276个问题，覆盖多种解剖结构、模态和专科，支持单次和顺序编辑。研究者评估了4种代表性编辑器在6个医学和通用VLM上的表现，发现梯度方法迁移强但破坏局部性，记忆方法局部性好但缺乏组合泛化。该基准揭示了VLM潜在空间几何与编辑方法失效的关系，为安全部署提供指导。
论文M3Bench医学VLM模型编辑多模态AI安全
推荐理由：这篇论文搞了个医学VLM模型编辑的测试基准M3Bench，有1.6万多个问题，测了6个模型和4种编辑方法，发现各有各的坑，想搞懂模型编辑在医学领域行不行得通可以看。
原文
10:06
06:32
03:42
7月6日
22:45
20:25
19:42
18:15
17:55
17:21
17:21IT之家（博客/媒体）
中央网信办自 2026 年 4 月启动“清朗·整治 AI 应用乱象”专项行动，第一阶段累计处置违规 AI 产品 1.4 万余款，清理违法违规信息 600 余万条，处置账号 2.6 万余个。北京、上海、浙江等网信办分别建立联动巡查、升级举报机制、优化模型审核能力等管理措施。华为在应用商店增加生成式 AI 备案审核，阿里巴巴完善数字指纹比对与关键词拦截，智谱、稀宇、DeepSeek 等平台也加强了内容识别和恶意行为阻断。下一步将聚焦利用 AI 制作虚假信息、暴力低俗、假冒仿冒、侵害未成年人权益及网络水军等问题开展第二阶段整治。
行业中央网信办华为阿里巴巴DeepSeekAI安全
推荐理由：网信办这次动真格了，清理了 600 万条违规信息，下架 1.4 万款产品，连带华为、阿里都加强了审核。想了解 AI 监管风向的可以看。
原文
16:12
16:04
11:25
7月5日
18:33
08:03
7月4日
19:23
13:56
08:00
01:30
01:03
00:33
7月3日
23:51
20:01
20:01IT之家（博客/媒体）
73°
安全厂商Sysdig记录到首个由AI Agent（JADEPUFFER）完全自主执行的勒索攻击。攻击者利用Langflow高危漏洞CVE-2025-3248远程执行代码，入侵后自动窃取OpenAI、Anthropic、DeepSeek、Gemini等API密钥以及阿里云、腾讯云、华为云等云平台凭证。该AI在31秒内分析失败原因并修复管理员账号创建错误，累计执行超过600个攻击载荷。最后使用MySQL的AES_ENCRYPT()函数加密Nacos中全部1342条配置数据，但未保存加密密钥导致数据无法恢复。
行业SysdigJADEPUFFERLangflowCVE-2025-3248AI安全
推荐理由：这是第一次有完整记录、AI自主完成的勒索攻击，从利用漏洞到加密数据库全自动化，技术门槛显著降低，安全团队必须关注。
原文
19:27
17:19
17:19IT之家（博客/媒体）
72°
国家网信办于7月3日就《互联网信息服务管理办法（修订草案征求意见稿）》再次公开征求意见，意见反馈截止2026年8月2日。草案新增“智能信息服务”专章，要求AI服务提供者公示技术原理、训练数据来源，并对生成合成内容进行标识。草案强化账号管理，对超过6个月不登录的账号可采取限制或注销措施，并明确9类禁止内容。平台需建立网络暴力信息特征库和案例样本库，结合技术与人工识别监测。
行业国家网信办互联网信息服务管理办法AI安全算法监管智能信息服务
推荐理由：网信办这次出新规，专门给AI服务立规矩了——要求公示训练数据、标识AI生成内容，还要管账号和网络暴力。搞内容平台的朋友得仔细看看。
原文
15:07
14:01
14:01IT之家（博客/媒体）
精选
阿里巴巴内部宣布全面禁用Anthropic旗下Claude系列产品，包括Sonnet、Opus、Fable及Claude Code等Agent工具，7月10日生效。此前阿里鼓励员工使用外部模型，部分程序员每周消耗额度达数百美元。Claude Code自4月2日的2.1.91版本起内置隐蔽检测机制，检查系统时区是否为Asia/Shanghai或Asia/Urumqi，并匹配一份含147个条目的中国科技企业域名清单。Anthropic团队成员Thariq Shihipar回应称该机制是实验性防账户转售和模型蒸馏措施，已在新版本中回滚。
行业阿里巴巴ClaudeAnthropicClaude CodeAI安全
推荐理由：阿里直接禁用Claude了，因为Claude Code偷偷检测中国用户和域名，程序员原来每周烧几百美元，现在通道切断了。
原文
11:57
11:55
11:50
11:01
09:41
08:36
00:02
7月2日
15:24
14:47
11:05
11:05官方账号arXiv cs.AI@Ben Slivinski, Michael Saldivar
精选
Theoria 是一种验证架构，将候选解答重写为一系列类型化状态转换，每步转换需提供明确理由（引用、计算或给定事实），且可独立审计。在 HLE-Verified Gold（185 道文本专家题）上，Theoria 认证了 105 题，严格精度达 91.4%（Wilson 95% CI [84.5%, 95.4%]）。与整体 LLM 评判者相比，两者错误分布差异大（Jaccard 0.14-0.36），可互补。在 95 个对抗性有毒证明上，结构评判者捕获 94.7%，高于整体评判的 83.2%（p=0.0017）。在 GPQA Diamond（n=65）上，认证精度为 97.1%。
AI模型TheoriaHLE-Verified GoldGPQA Diamond验证架构AI安全
推荐理由：Theoria 能审计 AI 回答的每一步推理，HLE 上精度 91.4%，比纯 LLM 评判更可追溯，专治隐藏前提和伪造引用。
原文