#全带宽 Transformer

一位在微软干了 14 年、做 Contextual Bandits 起家的研究老手，因为“只卷规模不听新想法”走人了。他 8 月的全带宽 Transformer 能让 10 亿参数模型省数据打平大模型，字节 Seed 的 Recycler 也走了同一条路。做模型架构和关心大厂研究氛围的人都该看看。