09:24
官方账号arXiv cs.LG@Bruno Abrahao
推荐理由：这篇论文用理论证明语言模型里的类内分散不是瑕疵，而是上下文信息存储，且跨14个模型验证了跨模型可预测性，很硬核。
类内方差
共 1 条相关 AI 资讯
7月13日
09:24
在14个语言模型的表征分析中，类内方差并非神经塌陷的不完全，而是有特定规律的信息存储。宏观类别结构仅占表征方差的4%-12%，上下文内token占比79%-91%，该比例在100倍参数范围内稳定。理论上token级权重衰减使类别根据类型计数而非出现次数被惩罚，将next-token预测转化为不平衡K类问题。二元类别下证明逆下限：类内分散至少与条件互信息I(token; context | category)成比例。该定律跨模型和划分成立，模型间信息可预测分散程度。