12:03
官方账号arXiv cs.LG@Raktim Bhattacharya
推荐理由：这篇论文给出了一个能精确测量Mamba状态使用情况的工具，还发现模型会根据输入动态调整哪些状态起作用——基于这个发现做剪枝，效果比之前的方法好很多，7B模型上预算减半性能不变。
Falcon-Mamba
共 1 条相关 AI 资讯
7月14日
12:03
研究团队为Mamba等选择性状态空间模型开发了一种精确测量状态使用的工具，该工具基于对角状态矩阵将输出分解为每个模态贡献，并通过Gram张量计算任意子集剪枝的精确误差。在Mamba-1家族（130M至2.8B参数）上验证，与参考实现相对误差仅2.3×10⁻⁷；该工具预测一层剪枝误差的中位相对偏差为5×10⁻⁷（基于4,464个配置）。分析Mamba-1、已部署的7B Falcon-Mamba及Mamba-2发现，模型会随输入重新分配状态空间，哪些模态承载信号会随上下文迁移；基于输入调度的模态剪枝在各级别（130M至7B）均优于静态、Hankel及自适应排名，在半预算下匹配未剪枝模型性能。