范畴论相关 AI 资讯 · AI 热点

8月5日

11:22

11:22

官方账号arXiv cs.LG@Congwei Song

这篇 arXiv 2608.03706 论文面向统计学习初学者，梳理了经典统计学习模型与常见算法。作者用范畴论语言重新描述这些模型，尝试为它们提供统一的构造视角。文章目标是吸引基础数学等领域的研究者参与统计学习相关课题。

论文统计学习范畴论机器学习

推荐理由：这篇用范畴论重讲统计学习模型，少见。适合数学背景的人看，能帮你找到跟机器学习研究接头的入口。

7月17日

12:06

12:06

官方账号arXiv cs.LG@Sridhar Mahadevan

这篇论文提出了一个范畴框架LINCS，用于修复机器学习中的非组合性问题。它将机器学习问题指定为草图，包含图、交换条件、极限锥和余极限锥。非组合性被定义为通用分解问题的失败，而非预测误差。论文引入了Tangent Learning Sketches和INC endofunctor，利用Aczel-Mendler定理证明了最终INC余代数的存在性。实验评估正在深度学习和强化学习等场景中进行。

论文 LINCS 范畴论机器学习

推荐理由：这篇论文用范畴论搞了个LINCS框架，专门修复模型中的非组合性问题，数学推导扎实，适合想深挖机器学习理论的人。

5月27日

10:53

10:53

官方账号arXiv cs.LG@Sridhar Mahadevan

精选

本文提出 Kan Extension Transformers (KETs)，一个基于范畴论的统一框架，将多种 Transformer 变体（标准注意力、几何 Transformer、扩散模型）视为加权结构化扩展算子的特例。KET 将注意力推广到高阶单纯形邻域，并揭示了与扩散式补全的桥梁。当扩展算子作用于分离的预测载体而非教师强制隐状态时，形成一种有效的自条件化机制，在不泄露未来 token 的情况下暴露非因果结构。在 Penn Treebank、WikiText-2 和 WikiText-103 上的 12 种 Transformer 变体实验中，严格因果设置下二次 KET 在 WikiText-2 和 WikiText-103 上表现最强；但最大收益来自 predict-detach 机制而非邻域族变化。

论文 Transformer 范畴论自条件化

推荐理由：这篇论文用范畴论统一了注意力、扩散和自条件化，做 Transformer 架构研究的开发者会看到新的理论视角；predict-detach 机制带来的收益比改邻域更大，值得关注。