09:45
官方一手arXiv: DeepSeek@Zheng Yu
推荐理由：这篇论文实测了华为昇腾跑MoE和多模态大模型的工程代价——需要打12个补丁、关掉一堆特性才能不出错，想用非GPU加速器的团队先看看这个。
LLM-as-a-judge
共 1 条相关 AI 资讯
7月10日
09:45
本论文在16设备华为Ascend 910系统上使用CANN和vLLM-Ascend部署了两个大模型推理负载：基于W8A8 MoE模型DeepSeek-V4-Flash的LLM-as-a-judge安全对齐评估流水线，以及基于DeepSeek-V4-Flash-Vision的多模态医学视觉基准测试（MMMU和MMMU-Pro）。为保证运行可靠性，需要12个源码级补丁，并关闭多个高吞吐特性以维持数值正确性。论文总结了8类平台限制：不完整算子支持、脆弱并行、低阶内核数值错误、图编译不成熟、不稳定高级特性、可扩展性差、可观测性弱和生态碎片化。同时量化了集成工作量、并发行为和基准质量，验证了负载的正确性。