AITOP

激活探针

共 3 条相关 AI 资讯
8月18日
15:42
15:42官方账号arXiv cs.AI@Saisab Sadhu, Aadit Sengupta, Vinay Kumar Sankarapu, Pratinav Seth
arXiv 论文《What Do Compliance Detectors Read?》审计了激活探针和防护模型，发现它们存在规则盲区：删除、置换或替换规则文本不影响检测准确率。作者构建了双规则双场景的交叉基准，证实了该失效，并指出逐步推理是唯一能摆脱规则盲区的方法。论文提出无训练激活读数 ICS，但其泛化性能与词袋模型相当，且易受白盒攻击。研究发布了反事实协议和交叉规则基准，供未来检测器测试使用。
论文合规检测规则盲区激活探针
推荐理由：这篇论文把合规检测器的底裤扒了：换掉规则文本，检测结果居然不变。想搞懂 AI 合规监控靠不靠谱，看这篇就对了。
原文
8月11日
10:55
10:55官方账号arXiv cs.LG@Ivan Wiryadi
一项新研究在五个开源权重审查模型上测试了线性探针，用于检测代码漏洞。探针在训练时未见过的真实漏洞类型上，对单函数修复的漏洞，以61-67%的准确率区分易受攻击和已修复的函数，超过50%的随机基线。与提示模型直接给出YES/NO判断相比，探针在所有测试提示下表现更优。即使使用思维链，模型书面判断也无法区分易受攻击和已修复的函数。研究表明，模型激活包含提示无法捕捉的代码安全信号。
论文激活探针代码安全漏洞检测
推荐理由：这篇论文告诉你，光靠问模型“这代码安全吗”不够，读它的内部激活反而能发现漏洞，对做代码审查的人很有用。
原文
6月10日
11:02
11:02官方账号arXiv cs.LG@Evgenii Kortukov, Piotr Komorowski, Florian Klein, Paula Engl, Gabriele Sarti, Seong Joon Oh, Sebastian Lapuschkin, Wojciech Samek
精选
大型推理模型（LRM）在部署时常出现意外行为，现有测试时干预方法（如激活引导）虽能控制输出，但会降低输出质量。研究发现，传统方法依赖的“检测特征”只能识别已生成文本中的行为，对未来行为预测能力差。研究者训练了激活探针，能从中间推理步骤预测未来行为概率，准确率达64%-91%。基于此，他们提出文本级引导方法FPCG（未来探针控制生成），通过采样多个候选句子并选择未来行为概率最高的一个，实现几乎无质量损失的引导。实验表明，FPCG在多个激活引导失效的场景中仍有效，为控制LRM行为提供了更精细的途径。
论文推理模型模型控制激活探针
推荐理由：这项研究解决了推理模型行为控制中输出质量下降的痛点，做模型对齐或安全控制的开发者可以直接用FPCG方法，在保持生成质量的同时精准引导模型行为。
原文