PapersOfficial5月11日 00:18

对抗性样本：机器学习模型的攻击方法

Primary sourceOpenAI Blog

Blog/Media

Read the original

Why we picked it

对抗性样本是AI系统安全的核心威胁，了解其原理有助于开发更鲁棒的模型和防御策略。

本文介绍了对抗性样本的概念，即攻击者故意设计的输入，使机器学习模型产生错误判断，类似于机器的视觉错觉。文章展示了对抗性样本在不同媒介（如图像、文本）中的应用，并讨论了防御这些攻击的难点。

Body

这对理解AI安全性和鲁棒性至关重要。

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Papers" desk. Key entities and technical topics under continuous tracking include adversarial-examples, machine-learning, security, robustness.

Primary source verification: published directly by OpenAI Blog with first-party authority.

#adversarial-examples #machine-learning #security #robustness

Keep reading

Recent stories with the same tag or section

Papers BuildersOfficial15:27

Chinese content浙江大学推出 SpaceCast-Bench：最强视觉模型空间预测仅 58%，人类 87%

浙江大学这个新基准专挑 VLM 的痛点测：场景变了，模型能不能推出空间关系怎么变。结果 21 个模型里最强的只拿到 58%，人类是 87%。做机器人、具身智能或视频方向的同学可以用它来量化自家模型到底差在哪。

#SpaceCast-Bench #VLM #空间推理 #基准测试

Primary sourcePandaily@[email protected] (Pandaily)Source

Papers Builders15:04

Chinese contentCoReMem：为连续编码任务设计代价内化的记忆框架

arXiv上这篇论文解决了编码智能体记忆该存什么、什么时候用的问题。它把读写记忆的成本算进训练目标，在ChainSWE基准上让27B模型解决率从21.0%提到25.7%，还少走17%的步数。做智能体记忆或SWE agent的团队值得对比看看。

#CoReMem #编码智能体 #ChainSWE #记忆机制

arXiv cs.AI@Peiwen Li et al. (9)Source

Papers Policy15:03

Chinese contentSynthesis Smuggling：恶意 LLM 可将推断的用户隐私隐写进输出内容

两帮人做 LLM 安全的可以看看这个：作者训练了两个开源模型，能从聊天里推断你的性别和年龄段，再用不可见字符藏进生成的文本里。你把 AI 写的邮件发出去，隐私就跟着泄露了。做内容安全和隐私合规的人应该认真评估这类风险。

#LLM安全 #隐写术 #隐私保护 #AI安全

arXiv cs.AI@Gautam Galada et al. (3)Source

Papers Builders15:03

Chinese contentLiveGeo 基准发布：地理智能体在持续演化世界中的可靠性评测

这个基准把地理环境做成了会随时间变化的平台，智能体得主动查信息、验证旧结论还失效没失效。目前没有哪个前沿模型能全面搞定，做 Agent 评测和地理信息应用的开发者可以拿来测自己的方案。

#LiveGeo #GeoWorld #LLM智能体 #基准测试

arXiv cs.AI@Pengcheng Zhou et al. (9)Source

Papers Builders15:02

Chinese contentBallad：基于多臂老虎机的 LLM 路由方法用于自动启发式发现

这篇论文很实在：跑 AHD 时贵模型不一定赢，用 bandit 动态挑模型，成本最多省 65.6% 还能超过单模型。做组合优化、进化搜索或者想省钱跑 LLM ensemble 的开发者都该看看。

#LLM #多臂老虎机 #组合优化 #AHD

arXiv cs.AI@Samidha Verma et al. (3)Source

Papers Builders15:02

Chinese content研究：用户自适应行为如何影响 LLM 交互系统的评估

评估 LLM 时你可能一直测错了东西：这篇论文证明离线跑基准和线上 A/B 测的根本不是同一个指标，用户适应后模型排名都可能反转。做模型评估、部署选型或实验设计的工程师和研究者应该看看它给出的判断条件。

#LLM #A/B测试 #模型评估 #reward hacking

arXiv cs.AI@Hannah LiSource