精选理由
这项研究揭示了开源模型也能掌握罕见句式的语义，做 NLP 或语言学研究的开发者可以关注其训练动态与常识知识的关系，对理解模型能力边界有启发。
研究聚焦英语中罕见的配对焦点结构（如“let alone”、“much less”），构建新数据集测试模型对其语义的理解。发现中等规模开源模型能掌握这些结构的语义，但仅靠人类规模数据训练的模型失败。语义理解在训练后期出现，晚于句法知识，且与常识知识提升相关。结果表明，开源模型也能理解罕见构式，且其学习与常识知识关联。
AI 翻译 · 中文
研究聚焦英语中罕见的配对焦点结构（如“let alone”、“much less”），构建新数据集测试模型对其语义的理解。发现中等规模开源模型能掌握这些结构的语义，但仅靠人类规模数据训练的模型失败。语义理解在训练后期出现，晚于句法知识，且与常识知识提升相关。结果表明，开源模型也能理解罕见构式，且其学习与常识知识关联。
Grasping the semantics of rare constructions (form-meaning pairings) has been shown to be a challenging problem that has currently only been solved by the largest LLMs. It remains an open question if open-source models h…