行业

Decagon 工程师将在 SGLang Summit 分享约 1T 参数智能体推理实践

精选理由

Decagon 做客服智能体的工程师要讲 post-training、RL 和低延迟推理,还要聊怎么把系统扩到 1T 参数,做推理优化的可以看看。

LMSYS 官方账号宣布 Cyrus Asgari 加入 SGLang Summit 演讲阵容。他在 Decagon 的工作覆盖 post-training、强化学习和低延迟推理,服务真实的客户服务智能体。演讲主题是这些系统扩展到约 1T 参数规模时的工程问题。SGLang Summit 由 SGLang 项目社区组织。

原文 · LMSYS Org (SGLang)

Some of the most interesting ML research questions come from production. @cyrusasg's work at @DecagonAI spans post-training, RL, and low-latency inference for real customer-facing agents.

Welcome, Cyrus! Excited to hear what scaling these systems to ~1T parameters looks like at SGLang Summit! @sgl_project