AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

自一致性

共 2 条相关 AI 资讯
6月26日
10:44
10:44官方账号arXiv cs.LG@Johannes Zenn, Jonas Geiping
该论文在多个解码方法(如温度采样、束搜索)和多个模型(如LLaMA-2、GPT-4)上分析序列概率与正确性的对齐关系。在固定数据集内,高序列概率通常预示正确,但改变超参数或解码方法提升序列概率并不稳定提高准确度。对于同一提示的多次回复,序列概率与正确性相关性很弱。研究为解码策略、自一致性等提供实践指导。
论文LLMsequence probabilitycorrectnessdecoding自一致性

推荐理由:论文搞清楚了啥时候模型觉得对就真的对。它告诉你别光看概率,同一问题重复问,概率高不一定准,做解码或自一致性时可参考。
原文
5月11日
11:42
11:42官方账号arXiv cs.AI(学术论文)
标准推理时扩展技术自一致性通过多数投票选答案,但加权多数投票(如置信度感知自一致性CISC)虽更准却需额外调用批评模型增加成本。VecCISC提出轻量自适应框架,利用语义相似度过滤冗余、退化或幻觉轨迹,减少需评估的候选数。在数学、化学、生物、常识推理和人文五个数据集上,VecCISC降低47% token用量,同时保持或超越CISC精度。该方法为推理时扩展提供了更经济的平衡方案。
论文推理模型自一致性成本优化语义聚类LLM评估

推荐理由:VecCISC通过聚类与过滤显著降低计算开销,对工业界部署高精度推理模型具有实际价值,尤其适合长轨迹场景。
原文
精选全部日报登录