#information theory
两位越南数学家把悬了十多年的 Courtade–Kumar 猜想给证出来了,信息论圈的大事,数学爱好者别错过。
This work provides a theoretically grounded method to quantify and reduce reasoning redundancy in LLMs, addressing a key inefficiency in complex problem-solving. Developers can use Trajectory-RRI to select training data that improves reasoning efficiency without sacrificing performance, offering a practical tool for optimizing model training workflows.
The research reduces sampling complexity in discrete diffusion models, potentially accelerating generation for applications in ASEAN's growing AI sector.
这篇论文把“模型为什么有性能天花板”从信息论和交互角度讲得很清楚,做LLM智能体的可以看看它怎么把系统当随机过程分析。
这篇论文用信息论精确测量了水印取样的代价:归属N个用户需要多少个token,提取载荷需要多少,并在GPT-2等模型上验证了理论预测。
解耦是机器学习长期难题,这篇用全息简化表示把离散符号结构引入神经网络,做无监督学习的团队值得关注——它既保持了可微分性,又比连续表示更抗噪,理论分析也扎实。
做视觉AI的开发者会关心:你的ViT模型真的理解“蓝色圆形”是一个整体吗?这篇论文给出了量化绑定信息的方法,值得点开看看如何诊断模型的结构性盲点。
这篇论文揭示了自适应查询在社区恢复中的理论优势,做图算法或网络分析的学者值得关注,看完会对数据获取策略的设计有新的启发。