#Lattice of Latents

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "Lattice of Latents", newest first.
Nov 17
Chinese contentLatent Lattice语言模型:用持久横向潜态流降低困惑度

这篇论文把"加大每步计算状态"当成独立扩展维度,而不只是加深层数或加残差连接。406M 参数就在 FineWeb-Edu 20B 上把困惑度从 15.41 压到 14.40,还能和 hyper-connections、Mamba-2 这类已有架构叠加。做模型架构或研究线性注意力的开发者可以看看,思路可能影响下一代小模型设计。

arXiv cs.LG@Shivam Duggal et al. (6)Source