CART 相关 AI 资讯 · AI 热点

8月7日

09:36

09:36

官方账号arXiv cs.LG@Taiane Schaedler Prass, Alisson Silva Neimaier, Guilherme Pumi

该论文将概率回归树（PRTrees）扩展为可直接处理缺失预测变量，无需预先插补。提出了三种策略：均匀概率法、部分观测法和降维平滑法，均保持概率守恒和边际兼容性。在多个真实数据集上与经典回归树CART对比，结果显示填充策略对预测性能影响最大。当数据缺失比例较高时，所提方法常优于CART，同时保留树模型的解释性。

论文 PRTrees CART 概率回归树

推荐理由：这篇论文给PRTrees加了直接处理缺失值的能力，不用先插补。在缺数据多的场景下比CART更准，关键还保持树模型好解释。

7月28日

10:20

10:20

官方账号arXiv cs.LG@Silas Koemen

该研究在诚实森林框架内系统实现并比较了多种分布分裂准则，包括各向同性随机傅里叶特征最大平均差异（MMD）、各向异性对角带宽变体、自适应逐分裂频率选择变体以及切片Wasserstein准则，并测试了后验核均值收缩。通过配对种子比较，在合成分位数机制、真实单变量基准、加州住房子样本曲线以及多变量合成和真实响应上评估各扩展的性能。三个主要发现：各向同性MMD已接近最优，基于均值的CART分裂在标量表格回归中仍是稳健默认，多变量响应是分布分裂的明确优势场景，其中能量得分能区分各准则而边际CRPS不能。所有准则和森林实现已开源在drforest库中。

论文随机森林 MMD CART

推荐理由：这篇论文系统比较了随机森林的各种分布分裂方法，发现各向同性MMD就够了，多变量响应才是分布分裂的用武之地，干货多结论扎实。

5月22日

11:36

11:36

官方账号arXiv cs.LG@William Smits

精选

传统决策树使用硬二值阈值划分特征空间，导致远离决策边界与恰好在边界上的样本被赋予相同置信度。本文提出三元决策树，在每个分裂节点上引入以最优阈值为中心的半宽 delta 的不确定区域，落入该区域的样本通过加权混合两个子树的预测结果，并被标记为边界不确定，提示下游应用可区别对待。delta 基于标准 CART 分裂过程中已有的统计量局部计算，无需额外噪声参数。在 72 个 OpenML-CC18 数据集上的 5 折交叉验证中，所有五种 delta 估计方法（质量平台、类重叠、增益比、节点自助法、间隔法）结合概率路由均在决定准确率上显著优于标准 CART（Wilcoxon 符号秩检验，p < 0.001），其中间隔法效率最高（每单位边界不确定标记率带来 0.104 准确率增益），在 42 个数据集上胜出，且无需额外超参数。在医学和金融数据集上，节点自助法在乳腺 X 光检查中通过标记 10.8% 的筛查病例为边界不确定，实现了 +0.71% 的决定准确率提升。

论文决策树不确定性建模分类算法

推荐理由：做分类模型的团队终于有了一个不增加额外参数就能处理边界不确定性的方法——三元决策树在 72 个数据集上显著优于 CART，做医疗或金融风控的开发者可以直接在现有 CART 框架上实现，值得一试。