研究问题生成相关 AI 资讯 · AI 热点

7月8日

09:03

09:03

官方一手arXiv: DeepSeek@Yufeng Wang

精选

FirstResearch引入结构化研究问题证书，包含10个字段如原始定义、假设、机制模型和可证伪假设。在10个LLM代理研究主题上，基于DeepSeek盲审协议得分为4.86/5，超过最强基线AI Scientist-v2的4.38/5。独立Gemini-2.5-Flash重评分保持排名，Pearson一致性为0.865。消融实验显示移除证书后得分降至1/5以下。这些初步结果采用LLM评判而非人类专家，但表明显式推导约束可提升可审计性。

论文 FirstResearch LLM 科学发现可审计性研究问题生成

推荐理由：这篇论文搞了个FirstResearch框架，用研究问题证书让LLM提的科学问题更透明可查，比现有方法得分高出一截，适合研究AI科学发现的同学看看。

6月11日

12:11

12:11

官方账号arXiv cs.AI@Soumitra Sinhahajari, Navonil Majumder, Soujanya Poria

精选

该研究指出，用 LLM 作为裁判来评估科学问题的新颖性存在严重缺陷。作者构建了 RQ-Bench 基准，基于 arXiv 论文提取作者锚定的研究问题，并与模型生成的问题进行对比。实验发现，LLM 裁判一致高估模型生成问题的新颖性，产生“新颖性幻象”，而领域专家则得出相反结论。此外，模型生成的问题往往狭窄或受限于源材料，LLM 裁判难以察觉。该结果对依赖 LLM 进行科学新颖性评估的可靠性提出严重质疑。

论文 LLM评估科学新颖性 RQ-Bench LLM-as-Judge 研究问题生成

推荐理由：做科学创新评估或使用 LLM 辅助审稿的团队，这篇论文揭示了 LLM 裁判的盲区——它可能高估新颖性，导致误判。建议点开了解 RQ-Bench 的测试方法，避免在关键评估中踩坑。