Models

Together AI 联合 alphaxiv 用真实研究任务测试开源模型

Why we picked it

alphaxiv 做了个用真实论文研究任务考开源模型的基准,Together AI 提供算力跑分。相比 MMLU 这类问答榜,这种测法更接近你实际用模型查文献、读论文的场景,做科研工具或选型的人可以看看结果。

Together AI 发布与 alphaxiv 合作的基准测试结果,将多个开源模型放到真实研究任务上评测。该基准由 alphaxiv 构建,测试在 Together AI 的推理平台上运行,考察模型处理文献检索、论文理解等科研场景的实际表现,而非仅依赖通用问答类基准。与 SWE-bench、MMLU 等常见基准不同,这次测试聚焦科研工作流中的真实任务,能反映开源模型在学术使用场景中的可用性。

Body

对于在科研机构或企业中使用开源模型的开发者来说,真实任务基准比榜单分数更能说明模型落地效果。测试在 Together AI 平台运行,也意味着开发者可以直接在该平台上复现这些结果,为自己的选型提供参照。

Original · Together AI

Open models, put to the test on real research tasks. Thanks to @askalphaxiv for building the benchmark and running them on Together AI!

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Together AI, alphaxiv, open-source models, benchmarks.

Source attribution: curated from Together AI (@togethercompute).