线性探针相关 AI 资讯 · AI 热点

7月7日

12:14

12:14

官方账号arXiv cs.LG@Mohamed Amine Merzouk, Dmitri Carpov, Mirko Bronzi, Damiano Fornasiere, Adam Oberman

该研究通过线性探针在三个7-8B开源模型（如Llama-2、Mistral）的冻结隐藏状态上发现，模型在生成首个token之前即可从提示的最后隐藏状态线性解码总响应长度。探针在七个自然语言数据集上训练后，可迁移至未见过的受控合成数据，且性能优于统计基线。在模型修改回答时，探针的估计值会在回退位置发生方向性偏移，表明模型内部维护了类似计划的长度表示。

论文 LLMs 线性探针剩余长度内部表示学术论文

推荐理由：这篇论文发现LLM在生成前就“知道”要写多长，用线性探针就能解码，挺有意思的。

5月11日

11:45

11:45官方账号arXiv cs.AI（学术论文）

本研究通过押韵对联完成任务，测试语言模型在生成过程中是否存在对结构约束的未来标记的内部规划。使用线性探针和激活补丁方法，在Qwen3、Gemma-3和Llama-3三个系列超过十个规模的模型上进行实验。探针显示所有模型在行边界处都能线性解码未来押韵信息，且信号随规模增强。然而，激活补丁表明只有Gemma-3-27B在因果上依赖此编码，出现从押韵词到行边界的因果驱动转移（约第30层）。其他模型在整个生成过程中持续依赖押韵词，尽管行边界有强探针信号，但因果影响近乎为零。通过两阶段路径补丁，研究成功定位了Gemma-3-27B中负责转移的五个注意力头，恢复了约90%的押韵路由能力。

论文语言模型机制理解因果干预线性探针押韵规划

推荐理由：该工作揭示了不同语言模型在规划能力上的根本差异：仅部分模型（如Gemma-3-27B）真正依赖内部的前瞻性计划，而其他模型则依赖逐词条件。这对理解模型内部机制和未来设计更可控的生成系统有参考价值。