10:49
官方一手arXiv: DeepSeek@Matteo Grella
精选
推荐理由：这篇论文把PTQTP量化器约束成九级格式，在DeepSeek-V4上做到和官方API几乎一样准，还快6.7%、文件小9%，适合搞MoE推理优化的朋友看。
PTQTP
共 1 条相关 AI 资讯
8月11日
10:49
PTQTP将LLM权重矩阵分解为两个三元平面，本研究首次将尺度比固定为3的约束引入其求解器，使分解坍缩为统一九级量化器。两个三元平面无损折叠为4位码平面，作为持久服务表示，磁盘字节、专家缓存和内核输入均为4.0625位/权重块。该方法应用于DeepSeek-V4-Flash-0731的284B-A13B MoE模型，在64GB笔记本上从MXFP4权重一次性量化并流式加载专家。与4.5位Q4_K基线相比，在5/5测试中匹配官方API（Q4_K为4/5），MMLU子集得分86对84，解码速度快6.7%，文件小9%。尽管权重重建误差和困惑度更高，但参考保真度无显著差异。