AITOP

决策树

共 4 条相关 AI 资讯
8月13日
17:44
17:44官方账号arXiv cs.LG@Zhiqiang Que, Chang Sun, Haiyang Wang, Dinesh Pamunuwa, Roshan Weerasekera, Qijia Tang, Bakhtiar Zadeh, Wayne Luk, Maria Spiropulu
FQTree是一种针对提升决策树（BDT）的细粒度量化感知训练算法，配套QXGB框架可自动生成低延迟硬件实现。它采用硬件导向的叶值量化方案，结合全局量化步长与树级移位，实现紧凑的非负整数叶表示、受控裁剪和偏差折叠。该量化在训练过程中逐步应用，使后续树能适应已量化集成模型的误差。在JSC、MNIST和NID数据集上，相比现有FPGA BDT设计，FQTree将LUT使用量减少26%至57%，同时保持或提升准确率。
AI模型FQTreeQXGB决策树
推荐理由：FQTree把提升决策树的量化做到硬件级，在FPGA上能省26-57%查找表，精度还不掉，做边缘部署的可以看看。
原文
7月29日
11:11
11:11官方账号arXiv cs.AI@Tereza Kinská, Jan Křetínský, Tobias Meggendorfer, Sabine Rieder, Maximilian Weininger
dtControl2+ε扩展了dtControl2工具，针对马尔可夫决策过程（MDP）中的控制器表示问题。通过引入允许的精度损失参数ε≥0，该工具能生成更小的决策树，同时保证ε-最优性。相比现有最优方法，生成的决策树规模可减少数个数量级，从而提升人机理解释性。方法在保持核心控制逻辑的前提下，可控地省略细节。
论文dtControl2决策树MDP
推荐理由：想搞懂马尔可夫决策过程控制器可解释性的可以看看这个。dtControl2+ε用ε容忍度换更小更易懂的决策树，比原先的压缩效果好很多。
原文
7月28日
11:50
5月22日
11:36
11:36官方账号arXiv cs.LG@William Smits
精选
传统决策树使用硬二值阈值划分特征空间，导致远离决策边界与恰好在边界上的样本被赋予相同置信度。本文提出三元决策树，在每个分裂节点上引入以最优阈值为中心的半宽 delta 的不确定区域，落入该区域的样本通过加权混合两个子树的预测结果，并被标记为边界不确定，提示下游应用可区别对待。delta 基于标准 CART 分裂过程中已有的统计量局部计算，无需额外噪声参数。在 72 个 OpenML-CC18 数据集上的 5 折交叉验证中，所有五种 delta 估计方法（质量平台、类重叠、增益比、节点自助法、间隔法）结合概率路由均在决定准确率上显著优于标准 CART（Wilcoxon 符号秩检验，p < 0.001），其中间隔法效率最高（每单位边界不确定标记率带来 0.104 准确率增益），在 42 个数据集上胜出，且无需额外超参数。在医学和金融数据集上，节点自助法在乳腺 X 光检查中通过标记 10.8% 的筛查病例为边界不确定，实现了 +0.71% 的决定准确率提升。
论文决策树不确定性建模分类算法
推荐理由：做分类模型的团队终于有了一个不增加额外参数就能处理边界不确定性的方法——三元决策树在 72 个数据集上显著优于 CART，做医疗或金融风控的开发者可以直接在现有 CART 框架上实现，值得一试。
原文