09:52arXiv cs.LG@Mathieu Laurière, Ariel Neufeld, Kyunghyun Park该论文提出一种鲁棒Q-learning算法,用于离散时间平均场控制问题,处理公共噪声规律中的Wasserstein不确定性。算法结合量化投影方案和Wasserstein对偶重构,并证明了同步和异步学习方案的收敛性及有限时间迭代界。在系统性风险和流行病模型上的数值实验比较了异步实现与理想Bellman迭代,展示了在公共噪声误指定下的鲁棒性-性能权衡。论文Q-learningWasserstein不确定性平均场控制鲁棒强化学习论文推荐理由:这篇论文给了一个能应对不确定性干扰的Q-learning方法,在系统和疫情模型上都试过了,效果不错。原文
10:44arXiv cs.AI@Qian Qi精选该论文研究了连续时间随机控制中Q-learning的算子理论核心,在均匀椭圆性和Hölder正则系数条件下,证明了Bellman更新将有界输入映射到各向异性正则类,状态变量被平滑而动作变量仅保持Lipschitz依赖。论文提出了适应混合正则性的张量积DeepONet架构,并给出了显式近似和资源界限以及时间步δ→0时的刚度-复杂度权衡。作者未声称对带探索、经验回放和随机梯度更新的实际采样Q-learning有完整的收敛定理。论文Q-learningDeepONetHölder空间正则性强化学习推荐理由:这篇论文把Q-learning的Bellman目标正则性研究透了,还给出了DeepONet的近似界限,适合搞理论强化学习的人细读。原文
19:11arXiv: DeepSeek@Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia论文研究了连续潜在上下文(continuous latent context)如何帮助Transformer模型实现在线决策与学习。研究者构造了恒定深度的Transformer,通过少量潜在上下文令牌存储算法状态,成功实现了加权多数算法和Q-learning两种在线决策过程。实验表明,使用多课程目标训练的小型GPT-2风格模型,在长合成在线预测序列上表现优于Qwen-3-14B和DeepSeek-V3等更大更复杂的LLM。该工作为Transformer在需要长期自适应交互的场景中提供了一种简单有效的持续状态机制。论文在线学习Transformer潜在上下文Q-learning加权多数算法推荐理由:该工作通过理论构造和实验验证,说明了连续潜在上下文可作为Transformer在线学习的通用状态载体,为构建能长期自适应交互的轻量级AI系统提供了新思路。原文