SAC 相关 AI 资讯 · AI 热点

7月8日

10:16

10:16

官方账号arXiv cs.LG@Mohammadreza Kasaei, Klemen Voncina, Hamidreza Kasaei

该论文研究机器人在多障碍物环境中安全投掷物体到目标篮筐的问题。现有方法如TossingBot假设无障碍环境，而本工作引入势场状态表示（PFR），以固定网格编码篮筐吸引和障碍排斥，使强化学习策略能泛化到任意障碍数量与配置。在仿真中使用SAC、DDPG、TD3三种算法训练，其中SAC表现最稳定。真实实验中，对未见过的可投掷物体取得了高达90%的成功率，验证了PFR的鲁棒性和实用性。

论文 SAC DDPG TD3 TossingBot 机器人

推荐理由：这篇论文教机器人怎么在乱堆东西的桌面上把物体扔进篮筐，用势场表示结合SAC算法，真实实验成功率90%，比TossingBot强不少。

6月30日

11:20

11:20

官方账号arXiv cs.LG@Jan Stenner, Alexander Kilian, Sebastian Peitz, Hermann de Meer

该论文研究了强化学习作为在线控制器，用于风电场内数据中心的高性能计算（HPC）工作负载转移。使用固定日仿真框架结合合成风能和电价信号以及延迟完成反馈进行测试。在单个风轮机和单个数据中心的基准场景中，纯强化学习存在信用分配问题，早期白天未能充分利用免费风能。评估了两种互补措施：基于优化的模仿学习和基于势能的奖励塑造。在200天测试集上，PPO和SAC变体表现出色，但性能仍低于具有全局视野的优化器。

论文强化学习数据中心风电场 PPO SAC

推荐理由：这篇论文用强化学习让风电场数据中心更省电，在单机场景下比较了PPO和SAC的效果，还试了模仿学习和奖励塑造。

6月19日

09:34

09:34

官方一手arXiv: DeepSeek@Ruiyang Ma, Teng Ma, Junru Li, Hantian Zha, Xuchun Shang, Qingda Hu, Zheng Liu, Xinjun Yang, Tao Ma, Guojie Luo

精选71°

长上下文LLM推理的内存瓶颈日益突出。传统RDMA解耦内存池对于稀疏注意力模型效率低下，仍需完整获取KV缓存。SAC系统利用CXL的低延迟、缓存行粒度加载/存储语义，仅在推理时按需获取所需的top-k KV条目。在DeepSeek-V3.2上使用SGLang的评估显示，相比RDMA基线，SAC实现了2.1倍吞吐量提升、9.7倍TTFT降低和1.8倍TBT降低。

论文 SAC CXL KV缓存稀疏注意力 DeepSeek-V3.2

推荐理由：长上下文推理，内存传输是瓶颈。新方案SAC用CXL按需取KV缓存，比RDMA吞吐量翻倍、延迟降到十分之一，做稀疏推理的值得一看。