精选理由
这篇论文搞了个G-IdiomAlign基准,专门测AI能不能理解不同语言的习语。结果模型爱直译,加了注释能好点但还差得远,值得一看。
G-IdiomAlign是一个新的基准测试,以Wiktionary的英语注释为锚点,专门评估跨语言习语对齐能力。它包含两个协议:带类型干扰项的多项选择习语等价测试,以及通过有无注释对比生成来隔离语义锚点效果。实验发现,多种LLM在低资源语言上普遍倾向于直译,这是主要失败模式。添加注释后,在基于嵌入的语义度量下生成质量有所提升,但绝对性能仍然有限,说明开放输出空间仍有较大改进余地。对Qwen3-8B的分析表明,差异更多集中在注意力头而非层上,且优质生成与更强的注释锚定相关。
AI 翻译 · 中文
G-IdiomAlign是一个新的基准测试,以Wiktionary的英语注释为锚点,专门评估跨语言习语对齐能力。它包含两个协议:带类型干扰项的多项选择习语等价测试,以及通过有无注释对比生成来隔离语义锚点效果。实验发现,多种LLM在低资源语言上普遍倾向于直译,这是主要失败模式。添加注释后,在基于嵌入的语义度量下生成质量有所提升,但绝对性能仍然有限,说明开放输出空间仍有较大改进余地。对Qwen3-8B的分析表明,差异更多集中在注意力头而非层上,且优质生成与更强的注释锚定相关。
Idioms are difficult to transfer across languages due to their non-compositionality and weak surface-form grounding, making literal mappings unreliable. We present G-IdiomAlign, a gloss-pivoted benchmark where each idiom…