Cohere 用 WMT26 基准测试 North Small Translate 翻译模型
Cohere 讲了怎么给 North Small Translate 做防作弊测试:用模型做完之后才发布的 WMT26 数据,成绩没法刷,方法挺实在。
Cohere 介绍了 North Small Translate 模型的基准测试方法,选用 WMT26 基准来评估翻译质量。WMT26 在模型创建完成之后才发布,因此模型不可能针对这些测试集做过训练或调优。这种做法避免了基准数据泄漏问题,使测试成绩更能反映模型的真实翻译能力。
Benchmarking: We used WMT26 benchmarks, which were released after we created the model, ensuring we couldn't train North Small Translate to its measurements. (5/6) Your browser does not support the video tag. 🔗 View on Twitter 💬 1 🔄 0 ❤️ 2 👀 235 📊 1 ⚡