精选理由
这篇论文用一个具体案例（葡萄牙语AMALIA）揭露了LLM做数据标注的隐患：表面一致但内在无效，对做标注或评测的人很有启发。
葡萄牙国家语言模型AMALIA（9B参数）在标注道德基础“权威”时，与人类编码者一致性达与8-13倍大小模型相差6个F1点。但通过“恢复间隙”方法发现，分解提示后AMALIA仅恢复约一半性能，错误分析显示它依赖表面相关捷径（如对权威人物的道德愤怒）。多语言开源模型在相同葡萄牙语语料库上能缩小此差距，表明问题不在语料库本身。研究认为主权LLM基准应测试证据路线而非仅一致性。
AI 翻译 · 中文
葡萄牙国家语言模型AMALIA（9B参数）在标注道德基础“权威”时，与人类编码者一致性达与8-13倍大小模型相差6个F1点。但通过“恢复间隙”方法发现，分解提示后AMALIA仅恢复约一半性能，错误分析显示它依赖表面相关捷径（如对权威人物的道德愤怒）。多语言开源模型在相同葡萄牙语语料库上能缩小此差距，表明问题不在语料库本身。研究认为主权LLM基准应测试证据路线而非仅一致性。
A national language model offers a linguistic community its own instrument for measuring what its citizens say and value. Portugal's AMALIA, a publicly funded 9B-parameter model for European Portuguese, appears competiti…