12:14
官方账号arXiv cs.LG@Mohamed Amine Merzouk, Dmitri Carpov, Mirko Bronzi, Damiano Fornasiere, Adam Oberman
推荐理由：这篇论文发现LLM在生成前就“知道”要写多长，用线性探针就能解码，挺有意思的。
剩余长度
共 1 条相关 AI 资讯
7月7日
12:14
该研究通过线性探针在三个7-8B开源模型（如Llama-2、Mistral）的冻结隐藏状态上发现，模型在生成首个token之前即可从提示的最后隐藏状态线性解码总响应长度。探针在七个自然语言数据集上训练后，可迁移至未见过的受控合成数据，且性能优于统计基线。在模型修改回答时，探针的估计值会在回退位置发生方向性偏移，表明模型内部维护了类似计划的长度表示。