20:28Tri Dao (FlashAttention)@tri_dao精选在运行大规模上下文智能体时,Qwen 3.5和Nemotron Ultra等混合模型面临Gated-DeltaNet/Mamba状态的瓶颈。一个简单洞察是加载状态并计算但不存储,可使速度提升2倍。该重计算技巧最终解锁了状态空间模型(SSM)的推测解码(spec decoding)功能。技巧Qwen 3.5Nemotron UltraMambaSSM推测解码1 个信源在谈推荐理由:不用存状态,算完就扔,SSM推理直接快一倍,Qwen 3.5和Nemotron Ultra用户试试这个技巧。原文
AITOP5月29日 08:02Opus 4.8发布:编程助手的“静默时刻”,是解放开发者,还是新门槛?🔥Anthropic 把 AI 编程的“确认键”彻底删掉了!Claude Code 搭载全新 Opus 4.8 模型,长时间任务不跑偏、不废话、不中断,像一个资深工程师一样默默干活,从功能开发到漏洞清扫全包圆,你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”,现在它直接交完整交付物……自主编程的最后一层窗户纸,被捅破了。做自动化开发和代码审查的团队,这个模型建议直接上手,效率差距肉眼可见……
11:27arXiv cs.AI@Abhilash Durgam, Nyle Siddiqui, Jeffrey A. Chan-Santiago, Qiushi Fu, Elakkat D. Gireesh, Mubarak Shah精选CaMBRAIN 是首个基于 Mamba 的因果状态空间模型,专为脑电图(EEG)信号实时推理设计。现有深度学习模型依赖注意力机制,序列长度增加时计算量呈二次增长,且需滑动窗口处理,无法理解全局信号。CaMBRAIN 利用因果状态空间模型保持线性复杂度,并引入多阶段自监督训练,增强长程记忆能力。在三个 EEG 数据集上,CaMBRAIN 达到最先进性能,吞吐量比现有模型高 10 倍以上,首次实现变长 EEG 信号的连续推理。论文EEG状态空间模型Mamba实时推理自监督学习推荐理由:做脑机接口或神经信号处理的团队终于有了能实时处理长序列 EEG 的工具——CaMBRAIN 解决了注意力机制的计算瓶颈,吞吐量提升 10 倍,做实时监测或临床诊断的开发者可以直接用。原文
15:43marktechpost@Asif Razzaq精选70°NVIDIA 发布 Gated DeltaNet-2,一种线性注意力层,将 Delta 规则中的擦除和写入操作解耦为通道级擦除门 b_t 和写入门 w_t。在 1.3B 参数、100B FineWeb-Edu 令牌训练下,它在语言建模、常识推理和长上下文检索任务上超越 Mamba-2、Gated DeltaNet、KDA 和 Mamba-3。最大提升出现在 RULER S-NIAH 和多键针检索基准上。AI模型大模型推理模型MambaNVIDIA线性注意力4 个信源在谈推荐理由:NVIDIA 新线性注意力,解耦擦写门原文
11:06arXiv cs.AI@Amir Mousavi, Mohammad Sadegh Sirjani, Erfan Nourbakhsh, Mimi Xie, Rocky Slavin, Leslie Neely, John Davis, John Quarles精选眼动追踪数据在实时认知负荷评估中面临两大挑战:眨眼和追踪失败导致的数据频繁缺失,以及长时程依赖的高效建模。MambaGaze框架通过显式缺失数据建模(XMD编码)和双向Mamba-2结构解决这些问题,在CLARE和CL-Drive数据集上分别达到76.8%和73.1%的准确率,超越CNN、Transformer等基线4-12个百分点。在NVIDIA Jetson边缘设备上实现43-68 FPS的实时推理,功耗低于7.5W,适合可穿戴认知负荷监测场景。该工作为安全关键应用(如驾驶员警觉监控、自动化驾驶舱辅助)提供了可行的AI方案。论文认知负荷评估眼动追踪Mamba缺失数据建模边缘部署推荐理由:眼动数据缺失是认知负荷评估的长期痛点,MambaGaze用双向Mamba显式建模缺失模式,做可穿戴AI或人机交互的团队可以直接参考其边缘部署方案。原文