精选理由
这篇论文揭示了灾难态本身就能产生前景理论行为，对做强化学习安全控制、风险决策建模的研究者很有启发，建议读一下推导和实验设计。
该研究在马尔可夫决策过程（MDP）中引入吸收灾难态，发现即使风险中性且无效用曲率，标准Bellman最优性仍会产生前景理论三大特征：S型价值函数（近灾难凸、远场凹）、内生损失厌恶系数λ*>1、以及反射效应策略反转。在495种配置下，正漂移（增长）场景中靠近灾难态时最优策略选择安全动作，负漂移（衰退）场景中则选择冒险动作。研究推导出渐近损失厌恶平台λ的闭式表达式，仅依赖胜率p、收益不对称比r和折扣因子β，与数值解拟合R²=0.999。该机制无需不对称收益，且现象在表格Q学习和随机转移下稳健存在。
AI 翻译 · 中文
该研究在马尔可夫决策过程（MDP）中引入吸收灾难态，发现即使风险中性且无效用曲率，标准Bellman最优性仍会产生前景理论三大特征：S型价值函数（近灾难凸、远场凹）、内生损失厌恶系数λ*>1、以及反射效应策略反转。在495种配置下，正漂移（增长）场景中靠近灾难态时最优策略选择安全动作，负漂移（衰退）场景中则选择冒险动作。研究推导出渐近损失厌恶平台λ的闭式表达式，仅依赖胜率p、收益不对称比r和折扣因子β，与数值解拟合R²=0.999。该机制无需不对称收益，且现象在表格Q学习和随机转移下稳健存在。
We study risk-neutral control in Markov decision processes with an absorbing catastrophic state. Even though rewards are linear and the agent has no utility curvature, probability weighting, or framing dependence, standa…