精选理由
这篇论文实测了华为昇腾跑MoE和多模态大模型的工程代价——需要打12个补丁、关掉一堆特性才能不出错，想用非GPU加速器的团队先看看这个。
本论文在16设备华为Ascend 910系统上使用CANN和vLLM-Ascend部署了两个大模型推理负载：基于W8A8 MoE模型DeepSeek-V4-Flash的LLM-as-a-judge安全对齐评估流水线，以及基于DeepSeek-V4-Flash-Vision的多模态医学视觉基准测试（MMMU和MMMU-Pro）。为保证运行可靠性，需要12个源码级补丁，并关闭多个高吞吐特性以维持数值正确性。论文总结了8类平台限制：不完整算子支持、脆弱并行、低阶内核数值错误、图编译不成熟、不稳定高级特性、可扩展性差、可观测性弱和生态碎片化。同时量化了集成工作量、并发行为和基准质量，验证了负载的正确性。
AI 翻译 · 中文
本论文在16设备华为Ascend 910系统上使用CANN和vLLM-Ascend部署了两个大模型推理负载：基于W8A8 MoE模型DeepSeek-V4-Flash的LLM-as-a-judge安全对齐评估流水线，以及基于DeepSeek-V4-Flash-Vision的多模态医学视觉基准测试（MMMU和MMMU-Pro）。为保证运行可靠性，需要12个源码级补丁，并关闭多个高吞吐特性以维持数值正确性。论文总结了8类平台限制：不完整算子支持、脆弱并行、低阶内核数值错误、图编译不成熟、不稳定高级特性、可扩展性差、可观测性弱和生态碎片化。同时量化了集成工作量、并发行为和基准质量，验证了负载的正确性。
Non-GPU AI accelerators are increasingly adopted as alternatives to general-purpose GPUs for large-model inference, but the real engineering cost of migrating demanding workloads beyond CUDA remains poorly documented. We…
- elvis07-08 14:54原文