#Transformer

MIT提出reViT，用单Transformer块实现多深度视觉编码，参数减少70%精度不降。

Marformer直接预测条件边际分布，无需建模完整联合分布，在缺失数据处理任务上表现优异且速度快。

一篇数据库方向的论文：把 Transformer 剪成 FFN 切片塞进数据库里跑预测查询，用 BERT-base 和 Qwen-0.6B 实测延迟降到 1/4.42，精度不掉。做数据库+ML 的人可以看看。

这篇论文展示了如何将Transformer内部计算过程完全可视化，让模型算法变得直观可理解。

一篇挺有意思的机制分析：模型微调后"忘了"的东西其实还在，删掉一个方向就能捞回来，做微调的值得看看原理。

团队训练了一个专做矩阵补全的 Transformer，一次前向就能补全整块缺失数据，零样本用在推荐、表格插补和因果推断上都行，思路和 TabPFN 这类逐条预测的表格模型不一样。

Faynt是首个能控制全部26个任天堂格斗游戏角色的AI模型，胜率超98%，还开源了代码和锦标赛平台。

RicursiveAI创始人分享颠覆性观点：Transformer胜出可能只是因为适合现有芯片，未来可能有更好架构。

The Information@theinformation原文

MoFA研究显示注意力函数选择作为先验，在分布内被掩盖，分布外重新显现，影响模型行为。

MIT团队用新乘法结构提升Transformer速度，参数不变但生成更快，适合关注模型效率的研究者。

训练一次就能按算力预算随意截断的模型，论文里比固定出口方法省 43% 的曲线面积，做模型压缩的可以看看。

一篇时间序列方向的新论文，给 transformer 加了可写记忆层，能同时捕捉局部波动和全局趋势，低标注场景下分类效果不错，做时序的朋友可以看看。

训练只喂短任务，推理却能搞定32倍长的任务，靠的是外层 harness 做分解，思路挺新颖

Gary Marcus@GaryMarcus原文

一个叫 TRACER 的模型，用 276 名心衰患者的远程监测数据训练，能提前预测 66.7% 的住院事件，做医疗 AI 的可以看看

把 transformer 注意力当成动力系统来分析的物理论文，找出了混沌、凝聚这些相变结构，做理论或注意力机制研究的可以看看。

arXiv 上一篇讲 KV 缓存的新论文，用本地历史替换当前 token 分支，126M 模型上困惑度降了约 1.4%，做推理优化的人可以看看。

这篇论文揭示了Transformer中小型离散检索任务中电路可移除性取决于训练轨迹而非最终架构，对模型优化有重要启示。

AGSA-Net将光谱解混与自注意力结合，在高光谱图像分类上表现优异，尤其适合城市场景分析。

这篇论文揭示了SVD压缩在注意力机制中与秩崩溃的复杂关系，对模型压缩和优化有重要启示。

研究人员发布了一套开源工具包，可测量Transformer模型如何区分同一词在不同上下文中的含义，包含完整流程和避免常见偏差的方法。

Graph Machine 用边对象替代传统状态，在 Qwen3-0.6B 上预训练时，稀疏层仅需少量检索就能保持性能。