Chinese contentAnchorSim 论文指出多模态潜在推理存在心智模拟坍缩问题
这篇论文做了个很扎心的实验：把模型的视觉 latent 换掉或删掉，答案几乎不变，说明所谓视觉推理其实是文本在干活。作者提出 AnchorSim 对比蒸馏来修复这个问题，做潜在推理方向的研究者值得对照一下自己的训练目标。
这篇论文做了个很扎心的实验：把模型的视觉 latent 换掉或删掉，答案几乎不变，说明所谓视觉推理其实是文本在干活。作者提出 AnchorSim 对比蒸馏来修复这个问题，做潜在推理方向的研究者值得对照一下自己的训练目标。