10:44arXiv cs.LG@Johannes Zenn, Jonas Geiping该论文在多个解码方法(如温度采样、束搜索)和多个模型(如LLaMA-2、GPT-4)上分析序列概率与正确性的对齐关系。在固定数据集内,高序列概率通常预示正确,但改变超参数或解码方法提升序列概率并不稳定提高准确度。对于同一提示的多次回复,序列概率与正确性相关性很弱。研究为解码策略、自一致性等提供实践指导。论文LLMsequence probabilitycorrectnessdecoding自一致性推荐理由:论文搞清楚了啥时候模型觉得对就真的对。它告诉你别光看概率,同一问题重复问,概率高不一定准,做解码或自一致性时可参考。原文
11:42arXiv cs.AI(学术论文)标准推理时扩展技术自一致性通过多数投票选答案,但加权多数投票(如置信度感知自一致性CISC)虽更准却需额外调用批评模型增加成本。VecCISC提出轻量自适应框架,利用语义相似度过滤冗余、退化或幻觉轨迹,减少需评估的候选数。在数学、化学、生物、常识推理和人文五个数据集上,VecCISC降低47% token用量,同时保持或超越CISC精度。该方法为推理时扩展提供了更经济的平衡方案。论文推理模型自一致性成本优化语义聚类LLM评估推荐理由:VecCISC通过聚类与过滤显著降低计算开销,对工业界部署高精度推理模型具有实际价值,尤其适合长轨迹场景。原文