AITOP

计数

共 2 条相关 AI 资讯
7月14日
13:39
7月13日
11:30
11:30官方账号arXiv cs.LG@Ahmed Oumar El-Shangiti, Abzal Nurgazy, Hilal AlQuabeh, Nikolai Rozanov, Kentaro Inui
研究者发现视觉语言模型（VLM）在计数任务中常输出错误答案，但内部表示已编码正确数量。通过训练非线性探针，在四个VLM和五个计数数据集上可检测到计数错误。SVCCA分析显示探针沿特定方向读取的表示与正确计数方向未对齐。因果干预实验证实增强计数识别方向可提升模型计数性能。提出的探测器引导自纠正方法在推理时仅对检测到错误的输入重提示，使计数准确率最高提升15.6个百分点，且无需更新参数。
论文VLM计数探针
推荐理由：这篇论文发现VLM其实知道个数但说不准，用内部探测+自纠正就能白嫖15%精度提升，不调参数，挺实用。
原文