潜在记忆宫殿:将控制推理作为自回归变分推断

Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference

精选理由

这篇论文提出了Latent Memory Palace方法,把推理当成自回归变分推断来控制机器人,在模拟和现实任务都很强,还带可变长动作分词器,做控制方向的朋友可以看看。

AI 摘要

Latent Memory Palace (LMP) 方法提出将控制策略的推理形式化为自回归变分推断,通过组织信息于潜在记忆宫殿实现自适应迭代检索。该方法推导出潜在空间强化学习技术以优化变分下界,得到策略 LMP-π 在仿真和真实场景中表现优异,并展示可解释的测试时计算分配。LMP-tok 作为变长动作分词器,显著提升了自回归策略的性能。论文提供了通过变分推断视角进行潜在推理控制的新观点。

AI 翻译 · 中文

Latent Memory Palace (LMP) 方法提出将控制策略的推理形式化为自回归变分推断,通过组织信息于潜在记忆宫殿实现自适应迭代检索。该方法推导出潜在空间强化学习技术以优化变分下界,得到策略 LMP-π 在仿真和真实场景中表现优异,并展示可解释的测试时计算分配。LMP-tok 作为变长动作分词器,显著提升了自回归策略的性能。论文提供了通过变分推断视角进行潜在推理控制的新观点。

arXiv cs.LGHuman decision-making is highly flexible -- some actions are taken immediately; others require longer deliberation. Language models have exhibited a similar capacity for adaptive "reasoning." However, transferring this c