12:10
官方账号arXiv cs.LG@Takuya Ito, Ruchir Puri, Murray Campbell, Parikshit Ram
精选73°
推荐理由：这个280参数的变换器能完美处理任意长度布尔表达式，比普通模型更擅长深度泛化。
Universal Transformers
共 1 条相关 AI 资讯
9月1日
12:10
研究人员提出了一种仅含280个可学习参数的变换器参数化方法，能够学习和评估任意深度或长度的问题。该模型通过位置编码跟踪电路中每个门的深度，使用掩码硬注意力识别可求值子表达式。在布尔代数任务中实现了完美的长度泛化，准确率达100%。模型在深度1和深度2的浅层问题实例上训练后，能够完美推广到其他长度泛化基准测试。