Primary sourcearXiv: OpenAI
View sourceEvent ·Official first-hand
RMIT-ADM+S 团队在 TREC 2026 RAG 赛道:研究智能体、检索消融与开源模型复现
RMIT-ADM+S 团队参加 TREC 2026 RAG 赛道(使用 ClimbMix 语料库),提交了七个研究智能体运行方案,分别采用 OpenAI 专有模型与开源权重模型,测试不同的检索策略、写作模型与智能体工作流。提交前的消融实验表明,写作模型选择和相邻分块扩展是影响答案质量的两个主要因素。 在 NIST 官方评估中,七个运行方案中的六个在三套 rubric/nugget 集合上均超过赛道中位数。表现最好的 brief-hybrid 方案在其提交中取得最高的全项目覆盖率,并在 Batch-1 vital 覆盖率上以 0.892 追平赛道最高分。 人工偏好评估与自动覆盖率指标出现分歧:开源权重的 owa-glm5 尽管自动覆盖率较低,仍在 Batch 1 的人工对比中领先,而 sol-research-first 在 Batch 2 领先。这一结果说明自动覆盖指标与人类偏好之间存在差异,也显示低成本开源权重模型在研究智能体系统中具有实用潜力。
Current read
搞 RAG 和智能体的同学可以看看这份 TREC 2026 参赛报告。七个方案横跨 OpenAI 和开源模型,消融结果指出写作模型选择比检索策略更关键,开源的 owa-glm5 甚至在人工评审里赢了一个批次。想用低成本模型搭研究智能体的话,这些数据很参考价值。
11 sources34° AI heatLast updated 2026/11/12 07:34:28
Evidence
11 sourcesRelated source 1Stanford HAI
View sourceRelated source 2TestingCatalog
View sourceRelated source 3Artificial Analysis
View sourceRelated source 4宝玉
View sourceRelated source 5pandaily
View sourceRelated source 6shao__meng
View sourceRelated source 7OpenAI Blog
View sourceRelated source 8The Rundown AI
View sourceRelated source 9techcrunch
View sourceRelated source 10IT之家
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.