精选理由
这篇论文拿IdeaGene-Bench测了14个LLM，最强也只有27.3%准确率，而且加谱系信息反而搞乱排名。想看看AI离真正理解科学进化还有多远？读它。
该论文提出IdeaGene-Bench (IG-Bench)基准，包含1,961条黄金谱系轨迹、1,085个Idea Genome对象和920个pairwise GenomeDiff记录，覆盖10个科学领域。IG-Exam含42个任务类型、1,029个实例，用于封闭式谱系推理；IG-Arena使用种群进化得分(PES)评估生成质量。在14个LLM科学家的测试中，最强系统仅达到27.3%的精确准确率，且结构化谱系上下文会打乱模型排名。该研究揭示了当前AI在科学思想继承与变异推理上的组合瓶颈。
AI 翻译 · 中文
该论文提出IdeaGene-Bench (IG-Bench)基准，包含1,961条黄金谱系轨迹、1,085个Idea Genome对象和920个pairwise GenomeDiff记录，覆盖10个科学领域。IG-Exam含42个任务类型、1,029个实例，用于封闭式谱系推理；IG-Arena使用种群进化得分(PES)评估生成质量。在14个LLM科学家的测试中，最强系统仅达到27.3%的精确准确率，且结构化谱系上下文会打乱模型排名。该研究揭示了当前AI在科学思想继承与变异推理上的组合瓶颈。
Scientific ideas rarely start from a blank page. They inherit mechanisms, repair known limitations, and recombine pieces of earlier work, much like biological genomes. Current benchmarks still say little about whether AI…