近期模型(Models)领域研究呈现出多元化发展态势。一方面,基础模型在特定任务中展现出高效性和可解释性;另一方面,世界模型、扩散模型、因果模型等新范式不断涌现,推动模型理论向更通用、更智能的方向演进。
- 主要进展
- 基础模型在信用风险预测中表现最优:一项针对信用风险预测的研究发现,基础模型(Foundation Models)在包括小数据集在内的多种场景下,均优于传统机器学习模型,验证了其在小样本学习中的强大泛化能力。(Foundation Models 在信用风险预测中表现最佳,尤其小数据集)
- 扩散模型与轨迹模型的理论创新:Uniform Diffusion Models 提出leave-one-out去噪器与吸收态重构理论,统一了扩散模型的理论框架;NTM(标准化轨迹模型)则通过四步采样提升生成轨迹效率。(Uniform Diffusion Models 重访;NTM:四步采样的标准化轨迹模型)
- 世界模型与具身智能的融合:Gary Marcus 指出世界模型时代已到来,Demis Hassabis 长期推动该方向;World Action Models 综述强调模型在具身智能中的核心作用,预示着未来智能体将具备更完整的物理世界推理能力。(Gary Marcus:世界模型的时代终于到来;World Action Models:具身智能的下一个前沿综述)
- 大语言模型的内部机制与可扩展性:Attractor Models 通过不动点求解使循环Transformer实现可扩展;When Models Manipulate Manifolds 则从几何结构解释计数任务的内部表征。(Attractor Models:通过不动点求解让循环Transformer可扩展;When Models Manipulate Manifolds)
当前焦点与未来观察
当前模型研究的焦点集中在如何提升模型的通用性、理论完备性与计算效率。世界模型、因果模型与动态计算分配(如SOL模型)成为热门方向,旨在让模型更具环境感知和自主推理能力。然而,模型的可解释性与安全控制仍是核心挑战,未来需关注理论突破与工程落地的平衡。