AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

smevals

共 2 条相关 AI 资讯
8月1日
07:21
07:21官方账号Simon Willison@simonw
精选
Simon Willison 与 Prime Radiant 合作推出新工具 smevals,用于在命令行运行针对模型、测试框架和提示词的小型评估套件。用户可通过 'uvx smevals docs' 命令直接体验。相关博客文章已在 primeradiant.com 发布,介绍了工具的设计思路。
AI产品smevalsPrime RadiantSimon Willison

推荐理由:smevals 是 Simon 和 Prime Radiant 做的小工具,专门跑模型和提示词的评估,一条命令就能用,适合快速看效果。
原文
05:29
05:29官方账号Simon Willison’s Weblog(博客/媒体)
精选
Simon Willison与Jesse Vincent的Prime Radiant实验室合作开发了smevals评估套件。该工具通过YAML文件定义评估,支持用uvx smevals run -m gpt-5.5 -m claude-opus-4.6同时运行多个模型对比。运行和评分分离,可用uvx smevals grade对结果按预设检查项打分。最后通过smevals serve或smevals build生成可分享的HTML报告。作者称这是其第三代评估方案,将用于自己的项目。
AI产品smevalsgpt-5.5claude-opus-4.6

推荐理由:Simon Willison做了smevals评估工具,YAML写测试,一条命令可跑GPT-5.5和Claude Opus 4.6对比,生成报告。想搭评估套件可试试。
原文
精选全部日报登录