Primary sourceelvis
View sourceEvent ·Single source
dair.ai 倡导企业自建模型评测体系：公共基准之外，生产环境需要 own evals
Elvis（dair.ai）在 X 上发文，主张企业不应依赖公共基准来做模型选型，而要在内部自建 evals。他认为公共基准对研究和公开讨论仍有价值，但真正判断模型能否用于生产，只有靠针对自身业务的评测。文中还提出 evals 的作用不止于衡量可靠性，而是解锁新用例、以及支撑 RSI（递归自我改进）优化的关键基础设施，结论是"evals 要 own，不要 rent"。dair.ai 表示已开始一项帮助企业内部搭建评测能力的业务，并提到与 Hamel Husain 等人的讨论。
Current read
dair.ai 的 Elvis 在说：公共基准看看就行，模型能不能进生产得靠自己的 evals。他还把 evals 和 RSI 挂钩，说这是企业优化的地基，要自建不要外包。做模型选型的工程师和企业团队值得看看这条思路。
2 sources22° AI heatLast updated 2026/11/9 14:12:37
Evidence
2 sourcesRelated source 1Hamel Husain
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.