AITOP

信息论

共 9 条相关 AI 资讯
8月14日
11:18
11:18官方账号arXiv cs.LG@Nestor R. Barraza, Gabriel Pena
这篇论文从信息论视角分析机器学习决策系统的内在性能上限。作者用Fano型下界刻画分类的最小误差，用Cramér-Rao不等式给出参数估计的精度极限。研究指出，独立假设、遍历性和分布稳定性等隐含条件会显著影响推断结论的有效性。论文还基于马尔可夫随机场和势函数表示来建模数据中的依赖机制，并把LLM集成智能体架构视为反馈驱动的随机过程。最终强调预测能力扩展的前提是建立充分的数据模型，算法学习必须服从信息论极限。
论文Fano界Cramér-Rao不等式马尔可夫随机场
推荐理由：这篇论文把“模型为什么有性能天花板”从信息论和交互角度讲得很清楚，做LLM智能体的可以看看它怎么把系统当随机过程分析。
原文
7月21日
09:53
09:53官方账号arXiv cs.LG@Photios A. Stavrou, Giuseppe Serra, Marios Kountouris
传统率失真理论使用均方误差等失真度量，但难以捕捉感知质量。率失真感知理论引入感知作为第三轴，通过源信号与重构信号之间的分布相似性量化。本教程综述了感知感知压缩的编码原则，以及不同随机性假设下的可达性结果。它提供了计算Blau和Michaeli定义的率失真感知函数的统一优化视角，涵盖离散和连续源下的f-散度、α-散度和Wasserstein度量。还介绍了交替最小化、牛顿法和凸优化等计算工具，以及高斯源和完美现实主义等可解析情形。
论文率失真感知理论压缩信息论
推荐理由：想搞懂压缩里的感知极限吗？这篇教程把率失真感知理论的计算方法和多种散度度量讲透了，比泛泛的综述实在得多。
原文
7月15日
11:10
11:10官方账号arXiv cs.LG@Xiaoyu Li, Zheng Gao, Xiaoyan Feng, Jiaojiao Jiang, Yulei Sui, Jiankun Hu
该论文从信息论角度研究生成模型水印的取证能力，包括归属用户、提取载荷和定位编辑幸存部分。定义信息轮廓ν(t)=I(S;X_t|X<t)并证明检测由分布距离决定，归属和提取由信息总量决定。主要定理给出统计无失真方案下归属N个用户需Θ(log N/h)个token（h为熵率），提取ℓ位载荷需Θ(ℓ/h)。在GPT-2、Pythia-410M、Qwen2.5上的实验验证了理论常数。
论文水印信息论生成模型
推荐理由：这篇论文用信息论精确测量了水印取样的代价：归属N个用户需要多少个token，提取载荷需要多少，并在GPT-2等模型上验证了理论预测。
原文
7月10日
01:32
6月30日
12:12
12:12官方账号arXiv cs.LG@Srinivasa Rao P., Vangmayi P Reddy
该论文提出统一框架，连接信息论、拓扑和统计力学，解释深度学习的泛化极限。核心是熵可学习性界限（ELH），规定网络仅当数据流形香农熵超过决策边界拓扑熵且平衡网络权重的冯·诺依曼熵时才能学习。作者证明香农-拓扑瓶颈定理，表明超过此界限时系统进入信息挫折的玻璃态记忆阶段，泛化变得热力学不可能。他们发现grokking现象实质是熵释放，权重突然重组解锁瓶颈。论文还提出熵梯度下降（EGD）算法，动态管理权重熵以保持学习轨道。
论文深度学习理论信息论泛化
推荐理由：这篇论文用熵来解释深度学习泛化的硬极限和grokking，还给了EGD优化算法，理论研究者可以看看。
原文
6月9日
12:11
12:11官方账号arXiv cs.LG@Jhonny J. Velasquez Olivera, Christo K. Thomas, Walid Saad
精选
该论文提出了一种基于全息简化表示（HRR）的无监督解耦学习方法，将解耦视为符号结构而非连续表示。通过HRR的“解绑”操作，模型能分离数据中的变化因子，并在潜在遍历和解耦指标上达到与基线相当的性能。理论分析证明解绑操作能产生近似独立的符号-值对，并给出了每个槽位的容量界限。与标准自编码器不同，该方法的潜在单元是向量求和而非标量维度，且对噪声更鲁棒。这项工作为神经解耦提供了新的符号化视角和理论支撑。
论文解耦学习全息简化表示无监督学习
推荐理由：解耦是机器学习长期难题，这篇用全息简化表示把离散符号结构引入神经网络，做无监督学习的团队值得关注——它既保持了可微分性，又比连续表示更抗噪，理论分析也扎实。
原文
10:27
10:27官方账号arXiv cs.AI@Mark Burgess
精选
本文探讨了承诺理论在自主智能体系统中的定量表示方法，将贝叶斯概率、信息论优化（包括主动推理）与承诺语义相结合。承诺理论能弥补概率方法的缺陷，如非局部协调、校准和归一化问题。边界条件被视为一种承诺，用于约束状态和选择决策阈值，而智能体对齐提供了可扩展的意图定义。自主智能体通过最小化信息来凝聚成具有超级智能体特征的群体，尽管不确定性会最大化信息。该理论面临研究挑战和风格偏好问题。
论文承诺理论自主智能体主动推理
推荐理由：做多智能体系统、主动推理或概率建模的研究者会感兴趣——承诺理论提供了一种避免概率陷阱的新框架，值得深入阅读。
原文
6月3日
10:44
10:44官方账号arXiv cs.LG@Lianghuan Huang, Yihao Li, Saeed Salehi, Yingshan Chang, Ansh Soni, Konrad P. Kording
精选
该论文从信息论角度形式化了视觉中的“绑定问题”，即系统如何知道哪些特征（如颜色、形状）属于同一个物体。研究者提出了一种探测方法，用于测量深度学习模型（尤其是Vision Transformers）内部表示中的绑定信息。实验发现，ViT的不同组件（如[CLS]标记和空间标记）包含不同程度的绑定信息，且在特征共享、遮挡等挑战性场景中表现差异显著。这项工作表明，绑定信息是强视觉识别与推理的关键要素，但目前模型仍存在特征误归因的常见失败。
论文绑定问题Vision Transformer信息论
推荐理由：做视觉AI的开发者会关心：你的ViT模型真的理解“蓝色圆形”是一个整体吗？这篇论文给出了量化绑定信息的方法，值得点开看看如何诊断模型的结构性盲点。
原文
6月2日
11:14
11:14官方账号arXiv cs.LG@Sabyasachi Basu, Manuj Mukherjee, Lutz Oettershagen, Suhas Thejaswi
本文研究在随机块模型（SBM）中，当学习者只能通过有限次数的噪声查询访问网络数据时，如何实现精确的社区恢复。查询会以固定概率揭示节点的真实邻居，但不会返回非邻居，且总查询次数有限。作者分析了仅依赖查询的模型，以及结合单个子采样图的混合模型。在仅查询模型中，均匀非自适应查询的基准性能由Abbe-Bandeira-Hall精确恢复阈值决定，但自适应策略可以用更少的查询（n+o(n)）超越该基准。在混合模型中，自适应查询可以针对少量不确定节点，实现亚线性查询的精确恢复，而均匀查询则无法改进子采样图的结果。这表明自适应数据获取能严格改善精确恢复的信息论极限。
论文随机块模型社区恢复自适应查询
推荐理由：这篇论文揭示了自适应查询在社区恢复中的理论优势，做图算法或网络分析的学者值得关注，看完会对数据获取策略的设计有新的启发。
原文