#RNN

共 8 条 · 7 天 1 条 · 30 天 2 条

Transformer 2 CNN 1 Continuous Memory Machine 1 CTM 1 LRNBA 1 OSDH 1 Sakana AI 1 SE-RNN 1

信息流里打上「RNN」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月9日

论文 Agent 与开发者精选08:58

Sakana AI 提出 Continuous Memory Machine 双记忆矩阵架构

Sakana AI 给循环模型装了两块记忆，一快一慢，在记忆和迷宫任务上把 LSTM、CTM 这些老基线都超了，做架构研究的可以看看。

#Sakana AI #Continuous Memory Machine #CTM #RNN

DAIR.AI@dair_ai原文

9月29日

技巧 Agent 与开发者官方一手精选19:00

文本分类模型演进：从词袋到Jev

Sebastian Raschka详细梳理了文本分类模型的发展脉络，配有可视化指南和实验数据，适合想了解NLP模型演进的开发者。

#文本分类 #RNN #CNN #Transformer

官方一手Sebastian Raschka: Ahead of AI@Sebastian Raschka, PhD原文

9月9日

论文 Agent 与开发者11:55

多任务学习在稀疏标记时间序列中的应用

农业AI研究：用多任务学习解决葡萄抗寒性预测难题，一个模型同时处理两个相关任务。

#多任务学习 #时间序列 #RNN #农业AI

arXiv cs.LG@Aseem Saxena 等 5 人原文

9月2日

论文精选73°10:11

LRNBA神经网络压缩框架发布

MIT团队发布LRNBA框架，用共享神经基压缩网络，参数相同下网络更深更宽，训练更稳定。

#LRNBA #神经网络压缩 #参数效率 #RNN

arXiv cs.LG@Binshuai Wang原文

8月11日

论文10:59

SE-RNN：从多个有序投影中学习结构依赖

想给RNN换个思路？这篇论文提出用多个顺序投影挖掘结构依赖，实验显示在复杂数据上更稳，简单数据也不掉链子。

#SE-RNN #RNN #OSDH #序列学习

arXiv cs.LG@Vagan Terziyan 等 3 人原文

8月4日

论文78°12:37

谷歌论文：Transformer是记忆缓存的特例，长上下文更省算力

谷歌Titans团队的新方法用记忆缓存把RNN长上下文召回从21提到32，算力还远低于Transformer。

#Titans #Transformer #RNN #长上下文

Gary Marcus@GaryMarcus原文

6月19日

论文09:47

固定权重 RNN 可逼近 [-1,1] 上连续函数

这篇论文很硬核：用一个固定 RNN 就能逼近任意连续函数，运行越长越准，像图灵机一样。

#RNN #Recurrent Neural Networks #逼近定理 #TMNU

arXiv cs.LG@Valentin Abadie 等 3 人原文

6月5日

论文精选12:14

SMT：无需循环传播的RNN预训练方法

SMT解决了RNN训练中并行性差和长程依赖难学的问题，做序列建模或时间序列分析的开发者可以直接用这个方法替代BPTT，训练效率会大幅提升。

#RNN #预训练 #长程依赖 #并行训练

arXiv cs.AI@Akarsh Kumar, Phillip Isola原文