论文09:40几何感知双曲残差量化:改进离散表示的层级编码一篇量化方法论文:把残差量化搬到双曲空间,前向反向都做了几何修正,适合做层级离散表示的人看看。#残差量化#双曲几何#向量量化#图像tokenizationaarXiv cs.AI@Alessio Colombo, Melika Ayoughi原文稍后读已读值得跟进有用关注 残差量化
论文精选10:22HORST:组合优化器几何实现稀疏Transformer训练做稀疏模型训练或Transformer优化的研究者,HORST直接解决了AdamW在高稀疏度下效果差的问题,值得在实验中尝试替换优化器。#稀疏训练#优化器#Transformer#HORSTaarXiv cs.LG@Tom Jacobs 等 3 人原文稍后读已读值得跟进有用关注 稀疏训练