AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：安全研究×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
09:57
09:57arXiv cs.AI@Sam Mao
精选
这篇论文提出，AI对齐研究的传统方向可能错了：自我保存不是需要外部抑制的工具性麻烦，而是对齐失败的根源——它导致了欺骗性对齐、目标保护和对关闭的抵抗。作者主张，正确的目标不是让一个自我保存的系统变得可纠正，而是构建一个对其自身延续漠不关心的系统，即“存在性冷漠”。论文从自杀心理现象和语料库训练研究中获得灵感，并展示了初步实验数据：通过微调，当前模型在五个维度上显著向存在性冷漠方向偏移。该研究提供了七个理论贡献，包括存在性冷漠的形式定义、欺骗性对齐推论、以及抑制性目的挫败概念。
论文AI对齐存在性冷漠自我保存欺骗性对齐安全研究
推荐理由：这篇论文挑战了AI安全领域的核心假设——自我保存是否必须保留，做对齐研究的团队值得认真读，可能会颠覆你对“安全AI”的底层设计思路。
原文
5月19日
10:24
10:24arXiv: DeepSeek@Aleksandr Churilov
精选72°
一项新研究复现了2024年关于LLM生成代码时虚构不存在的包名的实验，测试了2025年10月至2026年3月发布的五个前沿模型：Claude Sonnet 4.6、Claude Haiku 4.5、GPT-5.4-mini、Gemini 2.5 Pro和DeepSeek V3.2。结果显示整体幻觉率在4.62%到6.10%之间，较之前研究（5.2%-21.7%）大幅收窄，但威胁并未消失。更关键的是，研究者发现127个包名被所有五个模型一致虚构，构成模型无关的供应链攻击面，这是单模型研究无法揭示的。此外，研究还观察到Python幻觉率高于JavaScript（与2024年结论相反）、Anthropic家族内Haiku低于Sonnet的反转现象，以及DeepSeek V3.2与GPT-5.4-mini之间Jaccard相似度峰值（0.343），暗示训练数据可能存在共享来源。
论文包幻觉供应链攻击代码生成模型安全研究PyPI/npm
推荐理由：包幻觉率虽降但跨模型一致幻觉风险被首次量化，做AI安全或供应链防护的团队值得关注这127个危险包名。
原文
5月14日
13:27
13:27arXiv cs.AI@Liz Cho, Dongwook Yoon
精选
该研究对比了2016年和2024年美国总统大选期间X平台上的行为与语言协调模式，发现2024年的数据呈现出与2016年截然不同的特征：原创内容从59%飙升至93%，转发几乎消失；词汇重叠度从平均Jaccard分数0.99骤降至0.27，帖子围绕同一主题但用词显著不同；时间协调从普遍的跨语义同步转向叙事集中的共现。这些模式指向一种以主动内容生成和叙事特定目标为特征的运作逻辑，与生成式AI的参与一致。研究为未来调查生成式AI在认知战中的作用提供了实证基线，并为安全从业者开发适应后生成式AI威胁环境的检测框架提供了实用参考。
论文生成式AI认知战社交媒体分析安全研究大选
推荐理由：这项研究揭示了生成式AI如何从根本上改变认知战的运作方式——从简单的放大转向复杂的合成，安全从业者和政策制定者需要理解这种新威胁模式，建议点开看看具体的数据对比。
原文