Trainable(可训练)是机器学习中的核心概念,指模型参数能够通过梯度优化等手段在数据上不断更新的属性,与冻结参数、随机特征等不可训练设定相对。一个模块是否可训练、训练多少部分,直接决定了模型的表达能力、计算开销和部署成本,因此近期大量研究围绕“该让哪些部分可训练”展开。
Trainable 研究的近期进展
当前焦点与观察点
从这批工作看,Trainable 相关研究的重心正从“全模型训练”转向“选择性可训练”:要么只开放极小部分参数(如 rank-1 修正、张量网络),要么按模块、按状态切分训练范围。理论上,随机特征到全可训练网络的相变研究提示,可训练性并非越多越好,而是存在收益陡增的临界区间。
值得关注的争议点是效率与性能的权衡:块级独立训练和参数高效方法能节省算力,但是否会损失端到端训练的整体协同性,尚缺乏跨任务的统一结论。此外,多轮工具使用中的可训练状态诊断若被验证,可能改变智能体 RL 的训练数据构造方式。对从业者的建议是关注少量可训练参数在 OOD 检测、图像修复等任务上的泛化表现,这将是判断该路线能否普及的关键信号。