09:44官方账号arXiv cs.LG@Aleksandr Berdnikov, Yevgeny Liokumovich研究发现,100B参数级别的语言模型在残差流中编码了夜空地图表示,且可从提示“夜空中靠近这个天体的目标是什么”中解码。多数开源模型在该表示上LOO测试显著,解释方差R²达65%-85%,中位角度误差为12°-21°。这是高维弯曲不可约特征流形的首个实例。代码已开源。论文语言模型星空地图可解释性推荐理由:新研究发现大模型脑子里有张星空图,还能解码出来,挺有意思的。原文稍后读已读值得跟进有用关注 语言模型