#评估方法
医疗 AI 输出质量很难逐条人工评审，这篇 npj Digital Medicine 论文讨论用大模型当裁判自动打分，做医疗评估的可以看看思路。
Similarweb分享了一套实用评估框架，用确定性检查+LLM评分+忠实性对比搞定开放性问题评估，还能用LangSmith追踪。
这篇论文用严格安慰剂对照方法戳穿了代码模型自修复的假设，在0.5-1.5B模型上实测发现错误内容并没带来明显改善，想了解模型能力边界可以看看。
这项研究揭示了LLM在立场检测中的系统性错误模式，对做NLP评估和模型优化的团队有直接参考价值——SICI指数可以帮你快速识别模型在哪些样本上会失效，建议做立场检测或模型鲁棒性研究的点开看看。
推荐系统团队做算法选型时，别再被平均指标骗了——BT模型帮你根据数据集特性精准排名，省去跑全量模型的成本，做评估基准的开发者值得一试。
这篇论文戳穿了当前长链推理模型的表面繁荣——做AI推理研究的团队会发现，模型可能只是在模仿推理的“样子”而非真正进步，值得细读其提出的改进方向。
做 AI 安全评估和智能体开发的团队，看完会重新思考测试方法——美元计价评估比传统基准更贴近真实风险，建议点开了解 Claude 报警等真实案例。
做 LLM 评估的团队终于有了省 API 调用的思路——批量评估 50 条标准只需 1 次调用，成本直降 50 倍，建议做自动化评测的开发者点开看看。
LRM的推理链常被用户视为深思熟虑的证据，但这项研究戳破了这个幻觉——推理行为并不等于置信度表达更可靠。做模型对齐或安全评估的团队值得关注，尤其是那些在医疗、金融等高风险场景部署LRM的开发者，看完会重新审视你的置信度校准策略。
做 AI 评估或研究基准的团队会发现，DeepWeb-Bench 揭示了现有基准无法区分的模型能力差异——尤其是推导和校准的短板。建议关注其分能力族评估和来源溯源设计，这对理解模型真实研究能力很有帮助。
做地理空间AI或遥感应用的团队，别再只盯着单个模型刷榜——这篇告诉你融合多个Earth embedding模型能带来实际性能提升，建议直接参考其互补性评估方法。
这篇论文揭示了多语言安全评估的盲区——低资源语言不一定是安全最薄弱环节，做AI安全对齐的团队值得细看，能帮你避开传统指标误导，精准定位跨语言安全漏洞。