09:40
arXiv cs.AI@Liangkai Hang, Junjie Yao, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Zhi-Qin John Xu
73°
推荐理由：发现一个几乎零成本的训练技巧：缩小初始化尺度能大幅提升大模型推理能力。
全部 AI 动态
AI 相关资讯全量信息流
6月17日
09:40
论文发现缩小参数初始化尺度能持续改善大语言模型的预训练效果，在推理密集型任务上提升最为显著，同时识别出两种常见训练设置会抑制该优势。研究揭示了初始化尺度的关键平衡点，并发现小初始化驱动参数先凝聚为低复杂度结构再扩展为丰富表示。基于此提出γ初始化规则——将初始化范围作为可调旋钮，默认使用小初始化几乎不增加成本即可改善训练和推理。
6月16日
20:46
AITOP6月16日 20:46
03:15
03:15
AlphaSignal@AlphaSignalAI
AlphaSignal@AlphaSignalAI精选
推荐理由：做Agent系统的话可以看看这个思路：不先检索，而是先全局压缩再按需展开，和传统做法完全不一样。
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07