《指环王》成新基准,卡帕西强推大模型评测

Show me《指环王》!卡帕西强推大模型评测新基准

精选理由

卡帕西推了个新基准,用《指环王》当考题测大模型,比枯燥的选择题有意思多了。

AI 摘要

卡帕西(Andrej Karpathy)公开推荐了一个名为“指环王基准”的大模型评测方案。该基准用《指环王》原著考察模型对长篇叙事的理解,而非简单问答。目前“指环王基准”尚未放出完整测试集和模型成绩,但已在开发者社区引发讨论。

图片来源 · 量子位
原文 · 量子位

Show me《指环王》!卡帕西强推大模型评测新基准

指环王成为大模型新基准