#Mamba-2

共 3 条 · 7 天 0 条 · 30 天 0 条

信息流里打上「Mamba-2」标签的资讯、产品与论文，按刊登时间排，新的在上。

6月17日

Ternary Mamba：基于预训练检查点的分组QAT实现W1.58A16量化

把Mamba-2压缩到1比特权重不用花大钱从头训练，用预训练模型加少量微调就行，效果只差0.3%。

#Mamba-2 #Ternary Mamba #量化感知训练 #模型压缩

arXiv cs.LG@Ramprasath Ganesaraja 等 3 人原文

6月12日

模型多源确认精选12:42

Nemotron 3 Ultra 开源：Mamba-2 混合架构，效率惊人

NVIDIA 把 Mamba-2 混合架构和 LatentMoE 做到更大更强，追求高性价比模型的团队可以直接拿来用，省去从头训练的昂贵成本。

#Nemotron 3 Ultra #Mamba-2 #LatentMoE #开源/仓库

官方账号Sebastian Raschka@rasbt11 个信源在谈原文

6月11日

论文精选12:00

xLSTM 在子二次架构对比中胜出：代码预训练与时序建模表现最强

做序列建模或基础模型预训练的团队，这篇论文帮你厘清了 xLSTM 相比 Mamba 等架构的实际优势，看完可以直接指导模型选型。

#xLSTM #Mamba-2 #子二次架构 #序列建模

arXiv cs.LG@Anamaria-Roberta Hartl 等 9 人原文