精选理由
卡帕西推了个新基准,用《指环王》当考题测大模型,比枯燥的选择题有意思多了。
卡帕西(Andrej Karpathy)公开推荐了一个名为“指环王基准”的大模型评测方案。该基准用《指环王》原著考察模型对长篇叙事的理解,而非简单问答。目前“指环王基准”尚未放出完整测试集和模型成绩,但已在开发者社区引发讨论。
原文 · 量子位
Show me《指环王》!卡帕西强推大模型评测新基准
指环王成为大模型新基准
卡帕西推了个新基准,用《指环王》当考题测大模型,比枯燥的选择题有意思多了。
卡帕西(Andrej Karpathy)公开推荐了一个名为“指环王基准”的大模型评测方案。该基准用《指环王》原著考察模型对长篇叙事的理解,而非简单问答。目前“指环王基准”尚未放出完整测试集和模型成绩,但已在开发者社区引发讨论。
Show me《指环王》!卡帕西强推大模型评测新基准
指环王成为大模型新基准