09:42
官方账号arXiv cs.AI@Fengying Ye, Yanming Sun, Runzhe Zhan, Zheqi Zhang, Lidia S. Chao, Derek F. Wong
推荐理由：这篇论文搞了个G-IdiomAlign基准，专门测AI能不能理解不同语言的习语。结果模型爱直译，加了注释能好点但还差得远，值得一看。
G-IdiomAlign
共 1 条相关 AI 资讯
6月18日
09:42
G-IdiomAlign是一个新的基准测试，以Wiktionary的英语注释为锚点，专门评估跨语言习语对齐能力。它包含两个协议：带类型干扰项的多项选择习语等价测试，以及通过有无注释对比生成来隔离语义锚点效果。实验发现，多种LLM在低资源语言上普遍倾向于直译，这是主要失败模式。添加注释后，在基于嵌入的语义度量下生成质量有所提升，但绝对性能仍然有限，说明开放输出空间仍有较大改进余地。对Qwen3-8B的分析表明，差异更多集中在注意力头而非层上，且优质生成与更强的注释锚定相关。