Papers

测试显示 GPT-6.1 Sol 在研究任务上引用造假率为 0%

Why we picked it

有博主测了各代模型编造参考文献的情况,GPT-6.1 Sol 造假引用降到 0%,长上下文丢事实也有改善,做文献调研的可以看看。

一项针对引用造假(citation hallucination)的测试发现,新一代模型的引用捏造比例明显低于旧版模型。其中 GPT-6.1 Sol 在研究任务上造假引用的比例为 0%。长上下文中的刻板印象与事实丢失问题也有改善,但远称不上完美。

Original · @koltregaskes

Newer models make up far less citations on research tasks than older models. To the point, GPT-6.1 Sol made up 0% citations. Stereotyping and losing facts within long contexts have also improved but far far perfect.

https://t.co/LfREgkjGMC https://t.co/c2qxzs7VS4