RoofLang 语言让 AI 优化 LLM 推理系统架构

RoofLang 是一种专门用于 LLM 推理系统架构设计的领域特定语言。它通过通用工作负载表示、可验证的突变空间和与实现无关的评估器，实现了 AI 驱动的 LLM 推理系统架构设计循环。在评估中，RoofLang 发现 DeepSeek V4 系列模型在 NVIDIA B300 上可达到其他代表性模型 3.5-39.5 倍的峰值解码吞吐量。一个持续优化器代理进一步发现新架构，使 DeepSeek V4 Pro 的吞吐量和交互性提升 6.23-50.1%。