10:01
官方账号arXiv cs.LG@Narcis Marincat
推荐理由：研究人员发现，在共享语言模型中，限制模块间的证据可见性，能让模型在组合任务上表现更好，比全局可见的模型平均高出20个百分点，而且学到的接口更可复用。
梯度训练
共 1 条相关 AI 资讯
8月21日
10:01
研究测试了限制证据可见性对梯度训练发现解决方案的影响。在共享基因组语言模型社会中，通过固定中继器仅用两个模型宽度连续向量进行通信。在自然语言函数组合任务上，限制可见性的社会在9/10对中优于全局可见的对照组，深度二和深度三的中位数优势分别为0.7648和0.6050。切断通信会使限制社会降至随机水平，但深度三的优势在复合函数未出现在训练中的程序上仍为0.558。限制可见性并非组合的必要条件，但在此协议下显著增加了泛化中继的概率。