#语言建模

共 7 条 · 7 天 0 条 · 30 天 3 条

信息流里打上「语言建模」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月29日

一篇改进 GLA 的论文，思路是把不同注意力头分到不同时间分辨率再动态融合，召回任务提升最高 18.9%，做线性注意力方向的可以看看。

arXiv cs.AI@Prasoon Dev 等 3 人原文

9月15日

这是篇挺有意思的论文，作者提出了一种新模型，能一步生成文本，比传统方法更快，而且质量还更好。

arXiv cs.LG@Sophia Tang, Shiyi Wang原文

9月12日

想系统学 AI 理论基础，这两门课从零构建语言模型和经典 AI 原理，由斯坦福的 Percy Liang 讲授，比其他课程更基础。

shao__meng@shao__meng原文

8月24日

论文精选10:06

E$^2$-TTT模型在语言建模和上下文检索方面表现优异，且在长度外推方面具有明显优势，值得一看。

arXiv cs.LG@Zeyun Zhong 等 6 人原文

8月21日

Relation模型通过关系组织提供更高效的注意力机制，比MHA表现更优，值得一看。

arXiv cs.LG@Yuting Ge 等 3 人原文

7月2日

这篇论文把Transformer的预测和记忆分开了，实验证明效果更好，下游任务平均提了2-3个点，搞LLM架构的值得细看。

arXiv cs.AI@Giovanni Monea 等 4 人原文

5月12日

ELF展示了连续扩散模型在语言建模中的有效性，简化了技术迁移路径，可能降低语言生成模型的设计复杂度。其较少的采样步数有利于实际应用效率，值得关注。

arXiv cs.AI@Keya Hu 等 8 人原文