AITOP

NVFP4

共 10 条相关 AI 资讯
8月21日
17:08
7月24日
00:45
00:45berryxia@berryxia
开发者将Kimi的MoonViT视觉编码器挂载到GLM 5.2文本模型上，形成可用的视觉版本。该项目开源了NVFP4量化权重，展示了插件式多模态组装的有效性。MoonViT编码器可独立复用，GLM 5.2快速获得看图能力，无需从头联合训练。
AI模型KimiGLM 5.2MoonViT
推荐理由：有人把Kimi的视觉编码器接到GLM 5.2上，开源了量化权重，让GLM 5.2能看图片了。这种插件式玩法很实用。
原文
7月16日
21:16
6月27日
21:12
13:54
13:54官方账号vLLM@vllm_project
精选
NVIDIA发布GLM-5.2的NVFP4检查点，在Blackwell GPU上相比FP8内存占用降低一半。该模型在推理、编码和长上下文基准测试中保持与FP8相同的准确率。用户可通过vLLM直接加载运行：vllm serve nvidia/GLM-5.2-NVFP4。
AI模型GLM-5.2NVFP4vLLM
事件专题
推荐理由：想省显存又不想降精度？GLM-5.2的NVFP4版在vLLM上线了，比FP8省一半内存，推理编码长文本都稳。
原文
6月9日
08:05
5月30日
08:06
08:06Julien Chaumond@julien_c
NVIDIA 发布了 DeepSeek-V4-Pro-NVFP4 的修复版本，该模型基于 DeepSeek-V4 架构，采用 NVFP4 精度优化，旨在提升推理效率和性能。修复版解决了之前版本中的一些问题，使模型更加稳定可靠。对于使用 NVIDIA 硬件进行 AI 推理的开发者来说，这是一个值得关注的更新。
AI模型DeepSeek-V4NVIDIANVFP4
事件专题
推荐理由：NVIDIA 官方修复版解决了 DeepSeek-V4 在自家硬件上的精度和稳定性问题，用 NVIDIA GPU 做推理的团队可以直接拉取使用，省去自己调优的麻烦。
原文
5月23日
05:18
05:18官方账号NVIDIA AI@NVIDIAAI
72°
NVIDIA Research 推出 LongLive-2.0，一个端到端的 NVFP4 训练与推理系统，专门解决长视频生成问题。该系统将 NVFP4 感知训练、蒸馏和 W4A4 推理对齐，弥补了低精度部署中训练与运行之间的差距。在保持基准质量的同时，显著提升了速度和内存效率。这标志着长视频生成从模型问题转向系统问题，为实际部署提供了更高效的方案。
AI模型NVIDIA长视频生成NVFP4
事件专题
推荐理由：长视频生成一直受限于计算和内存瓶颈，NVIDIA 这次从系统层面给出了端到端方案。做视频生成模型训练或部署的团队，可以直接参考这套 NVFP4 对齐方法，提升效率。
原文
5月19日
23:48
5月13日
19:12
19:12官方账号arXiv cs.LG@Tanmaey Gupta, Hayden Prairie, Xiaoxia Wu, Reyna Abhyankar, Qingyang Wu, Austin Silveria, Pragaash Ponnusamy, Jue Wang, Ben Athiwaratkun, Leon Song, Tri Dao, Daniel Y. Fu, Chris De Sa
精选
量化是加速生成模型推理的标准技术，但传统块浮点（BFP）格式使用基于块最大幅度的固定缩放因子，可能导致量化误差次优。本文提出ScaleSearch方法，通过细粒度搜索利用微缩放格式的尾数位，最小化量化误差。ScaleSearch可集成于后训练量化（PTQ）和低精度注意力机制，实验显示NVFP4量化误差降低27%，Qwen3-8B在MATH500上PTQ提升15点。此外，ScaleSearchAttention算法在Llama 3.1 70B上实现Wikitext-2困惑度降低0.77点，几乎无性能损失。
论文量化块浮点NVFP4
推荐理由：做模型量化和推理加速的团队终于有了更优的缩放策略——ScaleSearch直接提升精度且兼容现有方法，建议做低精度部署的开发者试试。
原文