技巧

Coinbase 用 AI 智能体自动监控并再训练模型,日均推理达 10 亿次

精选理由

Coinbase 让智能体自己盯模型表现、自己触发再训练,靠 Anyscale 的 Ray 一天跑 10 亿次推理。

Coinbase 正在搭建一个智能体优先的 ML 平台,由 AI 智能体监控模型表现并自主触发再训练。这套系统底层运行 Anyscale 的 Ray 框架,支撑每天最高 10 亿次推理。Coinbase 工程师 Aman Choudhary 在分享中讲解了 Ray on Anyscale 支撑该规模推理的具体做法。

图片来源 · Anyscale
原文 · Anyscale

@Coinbase is building an agent-first ML platform where AI agents watch model performance and trigger retraining on their own.

Aman Choudhary on how Ray on Anyscale helps them run up to 1 billion inferences a day

https://t.co/hBV79x6afa