精选理由
新基准SPLIT专门测LLM跨语言共情，发现DeepSeek-V3在乌克兰语上最稳，文化基础评价人和AI有分歧。
SPLIT基准测试包含500个提示，覆盖压力、恐慌、孤独、内部流离失所和紧张五类。评估了Gemini-2.5-Flash、LLaMA-3.3-70B-Instruct和DeepSeek-V3三个模型。结果显示DeepSeek-V3在转向乌克兰语时保持稳定，而前两个模型性能下降。人类和AI评估者在共情和自然度上弱一致，但在文化基础上分歧明显。研究强调生成乌克兰语文本不等于提供乌克兰语情感支持。
AI 翻译 · 中文
SPLIT基准测试包含500个提示，覆盖压力、恐慌、孤独、内部流离失所和紧张五类。评估了Gemini-2.5-Flash、LLaMA-3.3-70B-Instruct和DeepSeek-V3三个模型。结果显示DeepSeek-V3在转向乌克兰语时保持稳定，而前两个模型性能下降。人类和AI评估者在共情和自然度上弱一致，但在文化基础上分歧明显。研究强调生成乌克兰语文本不等于提供乌克兰语情感支持。
Large Language Models are increasingly deployed in emotional-support contexts and crisis-related situations. Nevertheless, their cross-lingual abilities in these circumstances remain underexplored. Existing benchmarks em…