论文精选

FirstResearch: 可审计LLM科学发现问题生成框架

FirstResearch: Auditable Question Formation for LLM Scientific Discovery Agents

精选理由

这篇论文搞了个FirstResearch框架,用研究问题证书让LLM提的科学问题更透明可查,比现有方法得分高出一截,适合研究AI科学发现的同学看看。

AI 摘要

FirstResearch引入结构化研究问题证书,包含10个字段如原始定义、假设、机制模型和可证伪假设。在10个LLM代理研究主题上,基于DeepSeek盲审协议得分为4.86/5,超过最强基线AI Scientist-v2的4.38/5。独立Gemini-2.5-Flash重评分保持排名,Pearson一致性为0.865。消融实验显示移除证书后得分降至1/5以下。这些初步结果采用LLM评判而非人类专家,但表明显式推导约束可提升可审计性。

AI 翻译 · 中文

FirstResearch引入结构化研究问题证书,包含10个字段如原始定义、假设、机制模型和可证伪假设。在10个LLM代理研究主题上,基于DeepSeek盲审协议得分为4.86/5,超过最强基线AI Scientist-v2的4.38/5。独立Gemini-2.5-Flash重评分保持排名,Pearson一致性为0.865。消融实验显示移除证书后得分降至1/5以下。这些初步结果采用LLM评判而非人类专家,但表明显式推导约束可提升可审计性。

arXiv: DeepSeekLLM systems for scientific discovery increasingly assist with ideation, literature synthesis, experiment planning, and report generation, but the first research question they propose can remain difficult to audit: it may