AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:评估工具×
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月13日
00:22
00:22Allen AI (Ai2)@allen_ai
Allen AI 发布了 olmo-eval,一个专为大型语言模型迭代开发设计的评估工作台。在训练 LLM 时,每次调整超参数或扩展模型规模,都需要重新进行基准测试,这个过程重复且耗时。olmo-eval 旨在简化这一循环,让开发者能更高效地评估模型变化。该工具面向模型开发团队,帮助他们快速迭代并验证模型性能。
AI产品LLM评估工具迭代开发Allen AIolmo-eval

推荐理由:做 LLM 训练的团队终于有了专门的评估工具,能省去重复跑基准的麻烦,建议模型开发者直接试试。
原文
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
11:49
11:49AWS Machine Learning Blog@Ishan Singh
精选
AWS 发布了 Agent-EvalKit,一个基于 Apache 2.0 的开源工具包,用于系统评估 AI 智能体。它集成了 Claude Code、Kiro CLI 和 Kilo Code 等 AI 编程助手,提供六个评估阶段来全面测试智能体性能。文章以 Strands Agents SDK 和 Amazon Bedrock 构建的旅行研究智能体为例,展示了如何应用该工具。Agent-EvalKit 解决了智能体评估缺乏标准化的问题,帮助开发者量化智能体的准确性和可靠性。
AI产品智能体评估工具开源/仓库AWSClaude Code

推荐理由:做 AI 智能体开发的团队终于有了标准化的评估工具——Agent-EvalKit 覆盖六个阶段,直接集成主流编程助手,建议做智能体项目的开发者试试。
原文
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
6月4日
04:44
04:44LangChain@LangChainAI
LangSmith Engine 能够自动发现并突出显示系统中的问题,而不是让它们隐藏在追踪记录中。ListenLabs 的 Ollie Elmgren 分享了该工具如何改变其团队评估智能体的方式。该引擎通过自动化问题检测,帮助团队更高效地识别和解决系统性问题,从而提升智能体的可靠性和性能。
AI产品LangSmith智能体评估工具系统性问题自动化

推荐理由:做 AI 智能体评估的团队终于不用手动翻 trace 找 bug 了——LangSmith Engine 自动暴露系统性问题,ListenLabs 已经用上了,建议做 agent 开发的团队点开看看。
原文
5月31日
01:42
01:42Clement Delangue@ClementDelangue
AI安全研究所(AISecurityInst)在Hugging Face上公开发布了其评估工具、数据集和模型,旨在促进AI安全研究的透明度和可复现性。这一举措允许全球研究人员审查、复现并基于这些资源进行开发,打破了AI安全研究封闭进行的传统。开源这些关键资源有助于加速AI安全领域的进展,并增强公众对AI系统的信任。
AI产品AI安全开源/仓库评估工具数据集Hugging Face

推荐理由:AI安全研究终于走向开放,做AI安全评估和模型审计的团队可以直接复用这些资源,建议点开看看具体有哪些工具和数据集。
原文
精选全部日报登录