Together AI 联合 alphaxiv 用真实研究任务测试开源模型
alphaxiv 做了个用真实论文研究任务考开源模型的基准,Together AI 提供算力跑分。相比 MMLU 这类问答榜,这种测法更接近你实际用模型查文献、读论文的场景,做科研工具或选型的人可以看看结果。
Together AI 发布与 alphaxiv 合作的基准测试结果,将多个开源模型放到真实研究任务上评测。该基准由 alphaxiv 构建,测试在 Together AI 的推理平台上运行,考察模型处理文献检索、论文理解等科研场景的实际表现,而非仅依赖通用问答类基准。与 SWE-bench、MMLU 等常见基准不同,这次测试聚焦科研工作流中的真实任务,能反映开源模型在学术使用场景中的可用性。
对于在科研机构或企业中使用开源模型的开发者来说,真实任务基准比榜单分数更能说明模型落地效果。测试在 Together AI 平台运行,也意味着开发者可以直接在该平台上复现这些结果,为自己的选型提供参照。
Open models, put to the test on real research tasks. Thanks to @askalphaxiv for building the benchmark and running them on Together AI!
This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Together AI, alphaxiv, open-source models, benchmarks.
Source attribution: curated from Together AI (@togethercompute).