#FineWeb-Edu

只给值路由多加一条独立通道，120M/343M模型10组对照全胜，困惑度降2-3%。做Transformer的可以看看。