大肥鱼讲 Transformer：视频讲解注意力机制原理

一篇把权重当数据来学的论文，把 MLP 上成熟的做法补齐到了 decoder-only 语言模型，还顺手放了两个新数据集，做 weight-space 研究的可以看看。

一条推文观点：NTP 训出的 LLM 能从行为痕迹反推人类行为信号，作者还说 Ilya 早看穿了。

Teortaxes@teortaxesTex原文

让模型先读懂场景再自动调采样温度，Llama-3.1-8B 上验证有效，搞解码优化的可以看看。

MalwareFormer 直接啃二进制字节就能抓恶意软件，不用逆向分析，准确率 98.35%，误报不到 2%。

BARTER 不用专用稀疏算子，靠张量紧凑化把训练提速 6.29 倍，显存省 81%，iPhone 上也能跑。

一篇讲新注意力架构的论文，预填充快 21.9 倍还能保持 128K 长上下文召回，做长文本推理的可以看看