Attention是一种神经网络机制，使AI系统能够聚焦输入数据中最相关的部分，已成为现代大语言模型的核心技术。501B参数的MoE模型Beam的发布标志着西方开源模型的新高度，展现了注意力机制在混合专家系统中的应用潜力。
Attention
general · First seen 2026-05-22 · Last seen 2026-10-28 · 537 mentions
Overview
Coverage
10 on file- Attention as Lattice Gauge Theory：关系只通过 Wilson Loop 交互arXiv cs.AI
- SVD-Attention：用 SVD 分解诊断 Transformer 注意力头的低秩冗余arXiv cs.AI
- TCR-Former：用因果拓扑注意力让 8.6B 模型时序因果推理超越 GPT-5.4arXiv: DeepSeek
- 研究：监督式成对图表示的局部证据、混淆因素与事后校正arXiv cs.LG
- MiniMax M3.1 Flash 开源权重，428B 参数每次激活 23BMiniMax_AI
- WholeBodyMem 为人形机器人引入记忆机制，突破 VLA 策略只看当下的局限arXiv cs.LG
- Anyscale 工程师直播：用 Ray Serve 部署与优化 LLM 推理Anyscale
- Claude Mods：把 Agent Harness 从面向机器转向面向人Latent Space (swyx)
- arXiv 论文提出几何方法统一推导注意力机制与 Transformer 架构arXiv cs.LG
- NVIDIA 提出联合生成 3D 骨骼动画与视频的模型arXiv cs.AI