G-IdiomAlign:基于注释的跨语言习语对齐基准

G-IdiomAlign: A Gloss-Pivoted Benchmark for Cross-Lingual Idiom Alignment

精选理由

这篇论文搞了个G-IdiomAlign基准,专门测AI能不能理解不同语言的习语。结果模型爱直译,加了注释能好点但还差得远,值得一看。

AI 摘要

G-IdiomAlign是一个新的基准测试,以Wiktionary的英语注释为锚点,专门评估跨语言习语对齐能力。它包含两个协议:带类型干扰项的多项选择习语等价测试,以及通过有无注释对比生成来隔离语义锚点效果。实验发现,多种LLM在低资源语言上普遍倾向于直译,这是主要失败模式。添加注释后,在基于嵌入的语义度量下生成质量有所提升,但绝对性能仍然有限,说明开放输出空间仍有较大改进余地。对Qwen3-8B的分析表明,差异更多集中在注意力头而非层上,且优质生成与更强的注释锚定相关。

AI 翻译 · 中文

G-IdiomAlign是一个新的基准测试,以Wiktionary的英语注释为锚点,专门评估跨语言习语对齐能力。它包含两个协议:带类型干扰项的多项选择习语等价测试,以及通过有无注释对比生成来隔离语义锚点效果。实验发现,多种LLM在低资源语言上普遍倾向于直译,这是主要失败模式。添加注释后,在基于嵌入的语义度量下生成质量有所提升,但绝对性能仍然有限,说明开放输出空间仍有较大改进余地。对Qwen3-8B的分析表明,差异更多集中在注意力头而非层上,且优质生成与更强的注释锚定相关。

arXiv cs.AIIdioms are difficult to transfer across languages due to their non-compositionality and weak surface-form grounding, making literal mappings unreliable. We present G-IdiomAlign, a gloss-pivoted benchmark where each idiom