AITOP

通信复杂度

共 4 条相关 AI 资讯
8月4日
11:59
11:59官方账号arXiv cs.LG@Chirag Pabbaraju
论文构造了一族无歧义DNF，宽度为O(n)，但0-证书复杂度达到Ω(n^2)。借助常数大小的提升引理，将证书复杂度分离转化为通信复杂度分离，得到Clique vs Independent Set问题的最优通信下界，并最优反驳了Alon-Saks-Seymour猜想。相比Balodis等人（FOCS 2021）的结果，通信下界改进多个双对数因子。该构造还给出证书复杂度与近似度之间的四次分离，以及c个标签上多类概念类的样本压缩下界Ω(√log c)。
论文DNFAlon-Saks-Seymour猜想Clique vs Independent Set
推荐理由：这篇论文用特制的DNF把Alon-Saks-Seymour猜想彻底推翻，还把Clique vs Independent Set的通信下界拉到最优，复杂度理论党别错过。
原文
11:25
11:25官方一手arXiv: Anthropic@Hayder Tirmazi, Sam Markelon, Allison Bishop, Michael Mitzenmacher
精选
一篇arXiv论文首次对LLM上下文压缩进行形式化分析。作者提出两个博弈框架：Context Selection Game和Context Generation Game，分别对应子集保留和摘要生成两种压缩策略。论文证明Context Generation Game与单向通信复杂度等价，压缩预算等于同一误差下的单向通信复杂度。还证明存在一组查询，生成式压缩比选择式压缩需要更少预算。案例研究评估了Anthropic上下文压缩端点在一组集合成员查询上的表现。
论文上下文压缩通信复杂度智能体
事件专题
推荐理由：这篇论文把上下文压缩和通信复杂度打通了，还测了Anthropic的端点，适合搞Agent的人看看。
原文
7月30日
09:34
09:34官方账号arXiv cs.LG@Hung Mai, Hai Nguyen, Luong Doan, Ngoc Vu, Khanh Nguyen, Nhung Duong, Tuan Do
精选
本文提出了经验最优传输的三种通信任务：分布式耦合采样、成本可评估耦合输出和标量值认证采样。主要结果是场编码编译器：任何逼近最优经验Monge映射至误差η的通信传输场，可通过稀疏目标单元残差补全为精确边际的值认证采样器，其标量证书满足W₁(μ,ν)≤U≤W₁(μ,ν)+2Δ，其中Δ是公开目标划分直径。证书精度仅由Δ控制。实例化编译器采用自适应局部仿射和张量积样条编码，样条情况需d(m+1)^db场比特，残差列表另计。下界方面，精确Gap-Hamming嵌入证明认证输出是困难的，包括一个平滑单元填充微分同胚族，要求任何成本可评估、成本认证或值认证协议至少Ω(ε^{-2d/(d+4)})通信。
论文Field codes分布式耦合采样最优传输
推荐理由：这篇论文从通信复杂度角度重新审视最优传输，提出了场编码编译器，把误差η的传输场变成带证书的采样器，下界还很紧。做分布式最优传输或通信复杂度的人可以看看。
原文
6月8日
11:12
11:12官方账号arXiv cs.LG@Ming Sun, Kun Yuan
本文提出MG-ADSGD算法，针对强凸优化问题，首次在去中心化随机优化中同时实现加速的κ平方根和网络谱间隙的平方根倒数依赖。该算法结合Nesterov型原始-对偶外推与多轮快速八卦平均，通过将八卦深度与小批量大小耦合，额外通信轮次同时提升共识精度和降低梯度方差。理论分析表明，MG-ADSGD的通信复杂度达到当前最优，包含σ²/(μnε)项和√(κ/(1-β))项，优于现有所有去中心化随机方法。这一突破解决了去中心化随机优化中长期存在的加速难题。
论文去中心化优化随机梯度下降强凸优化
推荐理由：去中心化学习研究者终于有了理论最优的随机算法——MG-ADSGD同时加速了条件数和网络拓扑的影响，做分布式优化或联邦学习的团队值得关注这个新基准。
原文