MasterControl 推出 Runway：基于 NVIDIA AIPerf 的受监管场景推理验证管线

MasterControl 发布论文，介绍其内部验证工具 Runway，围绕 NVIDIA AIPerf 构建受治理的推理决策管线，用于在大模型上线前提供满足合同与法律义务的证据。核心思路是职责分离：AIPerf 负责可信测量，Runway 负责测量前的实验设计和测量后的合规、成本与审计决策，其存储模型将缓存与审计合并为同一机制。 Runway 的三轮扫描给出三个具体发现：TensorRT-LLM 与 vLLM 的性能排名会随并发量上升而反转；更新但更贵的 GPU 实例按单次请求计算反而可能更便宜；投机解码在不同引擎负载下的表现不一致，因此引擎的配置调优可能比选哪个引擎更重要。 对金融、医疗等受监管行业的工程团队而言，这类把基准测试、成本核算与审计留痕串成一条管线的方法，回应了推理引擎选型中“跑分好看不等于合规可用”的常见落差；选型团队可据此重估自己的并发场景与实例定价假设。