AITOP

基准评测

共 6 条相关 AI 资讯
8月10日
11:11
11:11官方账号arXiv cs.AI@Zixuan Lan, Luzhe Sun, Matthew R. Walter, Jiawei Zhou
SABRE是一个可扩展的自动化流水线，能把Markdown任务设计转化为结构化规格、图像和问答对，用于构建视觉语言模型压力测试。该流程通过自动化过滤和人工审查保证题目质量。作者用SABRE-Prior实例测试模型是否依赖世界先验而非视觉证据，包含600张图像和1000个问题。六个VLM在宏观平均准确率上仅达17.8%至31.3%，平均22.6%。SABRE-Counting和SABRE-Spatial的试点证明该工作流可扩展至其他压力测试场景。
论文SABREVLM压力测试
推荐理由：这论文给了一个能自动造VLM压力测试的框架，比现有基准更能暴露模型短板，做评测的可以看看。
原文
8月7日
23:44
23:44lmarena.ai@lmarena_ai
Frontend Code Arena 的完整排行榜页面位于 arena.ai/leaderboard。Frontend Code Arena 展示前端编码场景下的模型排名。arena.ai/leaderboard 是官方公布的榜单入口。访问 Frontend Code Arena 可查看完整排名。
AI模型Frontend Code Arenaarena.ai前端编码
事件专题
推荐理由：想挑个会写前端的模型？去 Frontend Code Arena 榜单看排名就行，入口在 arena.ai/leaderboard。
原文
7月18日
05:15
7月14日
01:40
5月17日
14:00
14:00shao__meng@shao__meng
精选73°
Atomic Bot 发布了一段基于本地模型 Qwen 35B 的真实任务视频，对比 OpenClaw 和 Hermes Agent 在抓取 GitHub 仓库 star 历史、分析增长 spike 并构建实时仪表盘上的表现。OpenClaw 用时 12 分 01 秒、消耗 203k tokens，Hermes Agent 用时 33 分 01 秒、消耗 257k tokens。Hermes 联创 @Teknium 反击称该基准不科学，指出单次运行、无重复测试、Qwen 35B 易循环等问题，并展示 Hermes 在公开基准和真实用户数据上全面领先，用户日 token 量已达 OpenClaw 的 2.5 倍。这场辩论揭示了 AI Agent 评测的复杂性和社区对公平对比的诉求。
行业AI AgentOpenClawHermes Agent
事件专题
推荐理由：AI Agent 开发者或评测爱好者会看到一场关于基准科学性的硬核辩论——单次跑分 vs 真实用户数据，哪个更可信？值得点开围观双方论据。
原文
5月12日
19:11
19:11官方账号arXiv cs.LG@Marcin Kostrzewa, Sebastian Tomczak, Roman Furman, Anna Poberezhna, Michał Furgała, Oleksii Furman, Maciej Zięba
企业破产预测是高风险金融任务，面临严重类别不平衡和多时间跨度预测挑战，但现有公共数据集规模小且稀缺。新基准V4FinBench包含来自维谢格拉德集团四国（2006-2021）的超过100万条公司年度记录，涵盖131个特征、六种预测时间范围，并采用综合财务困境标准。参考评估显示，经过不平衡感知微调的TabPFN在长周期F1和ROC-AUC上达到或超越梯度提升；而Llama-3-8B在每个时间范围的ROC-AUC上均落后于梯度提升。在外部美国破产数据集上，V4FinBench微调的TabPFN优于原始版本，表明学到了可迁移的财务困境结构。该基准已开源，以支持更真实的金融预测方法评估。
论文表格基础模型金融预测基准评测
推荐理由：对于金融风控从业者，该基准提供了百万级真实财务数据及多时间范围评测框架，可有效检验表格型基础模型和LLM在不平衡场景下的预测能力。
原文