LLM评估

推荐理由：想学 LLM 评估的别错过，Dor Cohen 会讲 monday.com 怎么用 LangSmith 同时跑线上和离线评测，10 月 13 日伦敦见。

推荐理由：Qdrant CTO分享了未来架构怎么省掉云端来回；Panel聊了Agent不跑检索的坑，还有用同个模型判自己作业的槽点，做AI的都该看看。

推荐理由：做LLM评估和科学推理研究的团队终于有了一个能独立控制提取与推理难度的基准，可以精准诊断模型短板。想了解自家模型在科学推理上到底弱在哪，建议直接看这篇。

推荐理由：做LLM评估的团队终于有了一个公平且高效的基准测试方案——只需微调极少量参数就能剥离格式干扰，直接测出模型真实知识水平。做预训练或模型选型的开发者值得一试，能省下大量后训练成本。

推荐理由：做科学创新评估或使用 LLM 辅助审稿的团队，这篇论文揭示了 LLM 裁判的盲区——它可能高估新颖性，导致误判。建议点开了解 RQ-Bench 的测试方法，避免在关键评估中踩坑。

推荐理由：形式化验证团队终于有了LLM能力的基准数据——当前模型无法可靠生成TLA+规范，但渐进式提示和推理对齐是突破口，做形式化方法或分布式系统验证的开发者值得关注。

推荐理由：医疗AI开发者终于有了一个能评估LLM临床推理过程的基准——ClinEnv不仅看结果，还看信息收集策略，做临床决策系统的团队值得关注。

推荐理由：这个基准测试戳中了AI科研助手的关键短板——无法判断研究想法的可行性，做自动化科研或依赖LLM审稿的团队值得关注，看完会重新评估AI在科研流程中的角色。

推荐理由：多智能体系统正在走向真实部署，但隐私风险被严重低估——做AI安全评估或部署智能体应用的团队，建议看看这个研究，它揭示了社交环境如何放大隐私泄露。

推荐理由：这项研究戳穿了搜索智能体的真实能力——它们可能只是在验证已知信息而非真正搜索。做搜索Agent或评估AI检索能力的团队，值得看看LiveBrowseComp这个新基准，避免被静态测试误导。

推荐理由：做数据驱动智能体或自动化工作流的团队，这篇论文直接告诉你该不该依赖语义元数据——结论是结构化数据仍是可靠执行的基石，值得点开看具体精度对比。

推荐理由：这个基准直击LLM科学推理的软肋——从数据中归纳规律而非回忆知识，做AI评估或科学模拟的团队值得关注，它暴露了当前模型在长程推理和实验设计上的真实短板。

推荐理由：法律从业者和AI开发者会关心：LLM 在法律场景中的时间失效问题直接关系到合规风险，RAG 方案已被证明能有效缓解，值得在实务中尝试。

推荐理由：做AI评估、内容审核或自动化打分的团队，这条研究直接告诉你为什么你的LLM裁判可能不靠谱——负面历史会让它更苛刻，建议每个测试项都开新对话。

推荐理由：软件工程团队和AI研究者终于有了一个严谨的测试套件质量评估工具——SWE-Mutation能帮你判断LLM生成的测试是否真的可靠，做自动化测试或代码修复的开发者值得关注。

推荐理由：医疗AI开发者终于有了一个能真正测试长期记忆能力的基准——MediLongChat让跨会话推理变得可评估，做医疗对话系统的团队建议直接拿来跑跑看。

推荐理由：法律科技团队终于有了针对负面处理分类的专门评估框架——新指标和数据集能更真实反映错误风险，做法律文档自动化的开发者建议直接参考。