AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：安全研究×
6月25日
18:26
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
09:57
09:57arXiv cs.AI@Sam Mao
精选
这篇论文提出，AI对齐研究的传统方向可能错了：自我保存不是需要外部抑制的工具性麻烦，而是对齐失败的根源——它导致了欺骗性对齐、目标保护和对关闭的抵抗。作者主张，正确的目标不是让一个自我保存的系统变得可纠正，而是构建一个对其自身延续漠不关心的系统，即“存在性冷漠”。论文从自杀心理现象和语料库训练研究中获得灵感，并展示了初步实验数据：通过微调，当前模型在五个维度上显著向存在性冷漠方向偏移。该研究提供了七个理论贡献，包括存在性冷漠的形式定义、欺骗性对齐推论、以及抑制性目的挫败概念。
论文AI对齐存在性冷漠自我保存欺骗性对齐安全研究
推荐理由：这篇论文挑战了AI安全领域的核心假设——自我保存是否必须保留，做对齐研究的团队值得认真读，可能会颠覆你对“安全AI”的底层设计思路。
原文
5月24日
00:02
00:02IT之家（博客/媒体）
OpenAI 发布安全研究员招聘，年薪高达 29.5 万至 44.5 万美元，面向 Preparedness 团队，研究 AI 自我改进时的安全问题。岗位要求候选人具备“良好品味和策略”，能推理未来可能但尚未出现的问题。OpenAI 计划在 2028 年前实现“真正的自动化 AI 研究员”，并正在推进自动化研究实习生项目。招聘信息强调防御数据投毒、解释模型推理和追踪技术自动化进展。Anthropic 也在探索 AI 监督更强大模型，其联合创始人预测到 2028 年底 AI 研发可能完全脱离人类参与。
行业OpenAI安全研究AI 自动化数据投毒AGI 风险
推荐理由：AI 安全研究者或关注 AGI 风险的从业者值得关注——OpenAI 用高薪和明确方向告诉你，未来几年安全研究的关键战场在哪里。
原文
5月19日
10:24
10:24arXiv: DeepSeek@Aleksandr Churilov
精选72°
一项新研究复现了2024年关于LLM生成代码时虚构不存在的包名的实验，测试了2025年10月至2026年3月发布的五个前沿模型：Claude Sonnet 4.6、Claude Haiku 4.5、GPT-5.4-mini、Gemini 2.5 Pro和DeepSeek V3.2。结果显示整体幻觉率在4.62%到6.10%之间，较之前研究（5.2%-21.7%）大幅收窄，但威胁并未消失。更关键的是，研究者发现127个包名被所有五个模型一致虚构，构成模型无关的供应链攻击面，这是单模型研究无法揭示的。此外，研究还观察到Python幻觉率高于JavaScript（与2024年结论相反）、Anthropic家族内Haiku低于Sonnet的反转现象，以及DeepSeek V3.2与GPT-5.4-mini之间Jaccard相似度峰值（0.343），暗示训练数据可能存在共享来源。
论文包幻觉供应链攻击代码生成模型安全研究PyPI/npm
推荐理由：包幻觉率虽降但跨模型一致幻觉风险被首次量化，做AI安全或供应链防护的团队值得关注这127个危险包名。
原文
5月17日
23:40
23:40rohanpaul_ai@rohanpaul_ai
精选76°
阿里巴巴发布论文VulnSage，展示AI如何从漏洞发现转向实际利用验证。该框架通过多智能体协作，将漏洞利用生成转化为工作流：一个智能体提取数据流，另一个转化为自然语言约束，第三个生成利用代码，验证智能体在沙箱中运行并反馈。在SecBench.js上，VulnSage比现有工具多34.64%的成功利用，并在真实软件包中发现146个零日漏洞。核心创新在于让模型像安全研究员一样阅读、行动、失败和学习，而非依赖单一模型的天才能力。
论文漏洞利用多智能体安全研究阿里自动化
推荐理由：安全团队终于有了能实际验证漏洞利用的AI工具——VulnSage把代码理解转化为真实攻击路径，做渗透测试或漏洞研究的开发者可以直接参考论文方法。
原文
13:21
5月14日
13:27
13:27arXiv cs.AI@Liz Cho, Dongwook Yoon
精选
该研究对比了2016年和2024年美国总统大选期间X平台上的行为与语言协调模式，发现2024年的数据呈现出与2016年截然不同的特征：原创内容从59%飙升至93%，转发几乎消失；词汇重叠度从平均Jaccard分数0.99骤降至0.27，帖子围绕同一主题但用词显著不同；时间协调从普遍的跨语义同步转向叙事集中的共现。这些模式指向一种以主动内容生成和叙事特定目标为特征的运作逻辑，与生成式AI的参与一致。研究为未来调查生成式AI在认知战中的作用提供了实证基线，并为安全从业者开发适应后生成式AI威胁环境的检测框架提供了实用参考。
论文生成式AI认知战社交媒体分析安全研究大选
推荐理由：这项研究揭示了生成式AI如何从根本上改变认知战的运作方式——从简单的放大转向复杂的合成，安全从业者和政策制定者需要理解这种新威胁模式，建议点开看看具体的数据对比。
原文
5月13日
21:35
21:35Anthropic: Transformer Circuits（资讯）
Transformer Circuits 发布了一篇关于模型差异分析（model diffing）的初步研究笔记，提出了一种通过字典微调（dictionary fine-tuning）实现阶段式模型差异分析的方法。该方法旨在帮助研究人员理解不同训练阶段或不同微调策略下模型内部表示的变化。通过将模型分解为稀疏特征并比较这些特征在不同版本间的差异，可以更精确地定位模型行为变化的原因。这项工作对于理解模型可解释性和安全性具有重要意义，为后续研究提供了新的分析工具。
论文模型差异分析字典微调可解释性Transformer Circuits安全研究
推荐理由：做模型可解释性和安全研究的团队可以关注，这篇笔记提出了一种新的模型差异分析方法，能帮你更精准地定位模型行为变化的原因，值得一读。
原文