#评估基准

一篇讲怎么给金融 Agent 打分的论文：专家定规则，Agent 生成评分标准，还附带 100 个查询的基准，做金融评估的可以看看。

荷兰政府项目组做的评估框架，测了30多个模型，告诉你哪个模型在事实性、能耗、成本上表现如何，选型时直接参考。

想知道智能体在多轮对话里会不会越改越烂？EvoCode 用 26 个任务 227 轮测试，专门抓这种翻车现场。

Philipp Schmid@_philschmid原文

Arena官方公开了Agent排行榜，直接看各智能体的表现对比，一目了然。

lmarena.ai@lmarena_ai原文

想测语音AI聊天有多自然？SPEARBench从8个维度对比人类，告诉你现有模型的短板具体在哪。

这篇论文提出了一个评估个人代理的新基准 SovereignPA-Bench，不仅看任务完成，还关注隐私和同意。对研究AI代理安全的人很有参考价值。

这篇论文提出了一个高效的评估框架，帮你省去昂贵的训练代价来判断哪种监督信号对长程智能体更有效，结论很实用。

这篇论文用15000个专家评价告诉你, 测AI创意能力不能只看平均分, 分歧本身才是宝藏。

Agent Arena 的因果追踪方法能帮你搞懂智能体为什么那么做，比单纯看分数更有用。

lmarena.ai@lmarena_ai原文

该研究为LLM代码生成评估提供了更全面的方法论，强调了开发者反馈的重要性，对模型选择和改进实践具有参考价值。

该工作首次系统定义了图像生成中的语义承诺概念及其生命周期断裂问题，并提供了可操作的框架和评估基准。对追求高可控性图像生成的从业者来说，SCOPE展示了结构化规范追踪如何提升复杂交互场景下的生成质量。