#评估工具

共 9 条 · 7 天 0 条 · 30 天 1 条

智能体 2 AI评估 1 DeepSeek 1 DeepSeek V4 Pro 0813 1 Keenable AI 1 NEEDLE 1 ParseBench 1 Perplexity 1

信息流里打上「评估工具」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月29日

技巧 Agent 与开发者22:53

AI评估工具使用体验分享

HamelHusain实测了AI评估工具，能自动发现多种问题但流程有缺陷，适合想了解评估工具优缺点的开发者。

#评估工具 #AI评估 #开发者工具 #标注应用

Hamel Husain@HamelHusain原文

9月3日

模型 Agent 与开发者73°08:02

DeepSeek V4 Pro 0813发布，开源评估工具同步上线

DeepSeek不仅发布了新模型V4 Pro 0813，还开源了评估工具，让开发者能透明复现性能并自定义评估框架。

#DeepSeek #DeepSeek V4 Pro 0813 #开源模型 #评估工具

DeepLearning.AI@DeepLearningAI原文

9月1日

论文官方一手07:48

Keenable AI 开源 NEEDLE 搜索基准

Keenable AI 发布了 NEEDLE 基准，每小时更新查询集，防止搜索模型作弊跳过检索步骤。

#NEEDLE #Keenable AI #搜索基准 #评估工具

官方一手marktechpost@Asif Razzaq原文

8月27日

模型中美对照01:25

Perplexity博客发布ParseBench

Perplexity发布了ParseBench，可以评估模型解析能力，是了解模型性能的好工具。

#Perplexity #ParseBench #模型解析 #基准数据

Jerry Liu@jerryjliu0原文

7月13日

技巧 Agent 与开发者精选10:31

Skillgrade 2.0 开源：标准化的AI Agent Skill单元测试工具

写 Agent Skill 总翻车？用 Skillgrade 2.0，像加单测一样自动评估你的 Skill 质量，CI 集成还带阈值阻拦，比手动试错高效多了。

#Skillgrade #智能体 #评估工具 #开源

shao__meng@shao__meng原文

6月13日

产品00:22

Allen AI 发布 olmo-eval：专为 LLM 迭代评估打造的工作台

做 LLM 训练的团队终于有了专门的评估工具，能省去重复跑基准的麻烦，建议模型开发者直接试试。

#LLM #评估工具 #迭代开发 #Allen AI

官方账号Allen AI (Ai2)@allen_ai原文

6月12日

产品 Agent 与开发者官方一手精选11:49

Agent-EvalKit 开源工具：系统评估 AI 智能体性能

做 AI 智能体开发的团队终于有了标准化的评估工具——Agent-EvalKit 覆盖六个阶段，直接集成主流编程助手，建议做智能体项目的开发者试试。

#智能体 #评估工具 #开源/仓库 #AWS

事件专题

官方一手AWS Machine Learning Blog@Ishan Singh2 个信源在谈原文

6月4日

产品04:44

LangSmith Engine 自动暴露系统性问题，改变团队评估方式

做 AI 智能体评估的团队终于不用手动翻 trace 找 bug 了——LangSmith Engine 自动暴露系统性问题，ListenLabs 已经用上了，建议做 agent 开发的团队点开看看。

#LangSmith #智能体 #评估工具 #系统性问题

官方账号LangChain@LangChainAI原文

5月31日

产品01:42

AI安全研究所开源评估工具和数据集

AI安全研究终于走向开放，做AI安全评估和模型审计的团队可以直接复用这些资源，建议点开看看具体有哪些工具和数据集。

#AI安全 #开源/仓库 #评估工具 #数据集

官方账号Clement Delangue@ClementDelangue原文