TabPFN 相关 AI 资讯

7月29日

11:32

官方账号arXiv cs.LG@Malena Loza, David Chushig-Muzo, Eva Milara, Luis Bote-Curiel, Luis Estrada-Petrocelli, Felipe Grijalva

论文评估了9种表格基础模型（TabPFNv2、TabICL、Mitra等）在分布偏移下的表现。使用了HELOC、Voting和Childhood Lead三个真实数据集，涵盖标签、社会经济和地理偏移类型。结果显示所有模型性能均系统性下降，偏移差距在0.003到0.060之间，且高性能模型需要大幅计算资源。

论文 TabPFN TabICL 表格基础模型

推荐理由：想知道表格模型换了数据还灵不灵？这篇论文测了9个主流模型，结果全都不乐观，性能差距最小也有0.003。

原文

6月30日

11:13

官方账号arXiv cs.LG@Boshko Koloski, Xiangjian Jiang, Senja Pollak, Blaž Škrlj, Mateja Jamnik, Nikola Simidjievski

论文针对TabPFN和TabICL等纳米级表格基础模型，提出KnowsTFM方法，通过知识图谱的结构注意力先验和参数高效低秩更新进行微调。在数据稀缺、高维且分布偏移的专业领域，KnowsTFM相比原始变体取得显著提升，但在通用任务上增益微小。研究还发现，对前沿模型持续微调可能导致预训练知识及机制崩溃。

论文 KnowsTFM TabPFN TabICL

推荐理由：这篇论文教你用小知识图谱提升小表格模型在专业领域的效果，比普通微调更靠谱，还揭示了持续微调的风险。

原文

6月11日

09:49

官方账号arXiv cs.AI@Minh-Khoi Pham, Luca Cotugno, Alina Sirbu, Tai Tan Mai, Martin Crane, Marija Bezbradica

精选

该研究提出了一种轻量级适配方法，将表格基础模型（如TabPFN、TabDPT、TabICL）应用于临床生存分析，通过直接训练一个生存感知头（MTLR）来预测右删失的时间事件结果。在多个公开生存基准和两个大规模ICU队列（MIMIC-IV和eICU）上的评估显示，该方法在C-index指标上优于传统深度生存模型（如DeepSurv），相对提升达1.4%-1.7%。这表明预训练表格表示与生存感知目标的结合为临床生存预测提供了实用且有效的替代方案。

论文表格基础模型生存分析临床决策

推荐理由：临床研究人员和医疗AI开发者终于有了一个无需从头训练就能做生存分析的方案——用表格基础模型加一个轻量头就能超越DeepSurv，做ICU预后预测的团队可以直接在MIMIC-IV和eICU上复现。

原文

6月9日

11:39

官方账号arXiv cs.LG@Tuan A. Vu, Harri Lähdesmäki, Julien Martinelli

精选

潜空间贝叶斯优化（LSBO）用于分子和蛋白质等结构化对象的设计，但现有上下文学习模型（如TabPFN）在LSBO中存在任务不匹配问题：它们预训练于标准回归任务，而LSBO中潜码到目标值的映射差异显著。研究者提出通过分子VAE的潜空间合成优化任务对表格基础模型进行持续预训练，并加入正则化项保持原始回归先验。在分子优化基准上，该模型表现强劲，验证了LSBO特定适配对上下文代理的重要性。这项工作为AI驱动的分子设计提供了更高效的优化方法。

论文贝叶斯优化潜空间优化分子设计

推荐理由：做分子设计或材料优化的团队终于有了适配LSBO的上下文学习代理——它解决了预训练任务与潜空间优化不匹配的痛点，直接提升分子优化效率，建议做AI制药或计算化学的开发者试试。

原文

6月8日

10:37

官方账号arXiv cs.LG@Abhijeet Praveen, Sareh Soleimani, Cormac Cureton, Aman Sidhu, Kintak Raymond Yu, Cristian Cojocaru, Narges Armanfard

大气等离子喷涂（APS）中，飞行粒子的温度和速度对涂层质量至关重要，但难以实时监测。该研究利用高速视频观测等离子体羽流，通过TabPFN、CNN等模型预测粒子特性。TabPFN在温度预测上表现稳定（R²=0.86），CNN在速度预测上更优（R²=0.81），而预训练CNN直接处理原始视频帧达到最佳效果（温度R²=0.90，速度R²=0.82）。结果表明，视频驱动的非侵入式诊断方法为APS实时过程监控提供了可扩展的解决方案。

论文大气等离子喷涂视频预测 TabPFN

推荐理由：做涂层工艺或工业过程监控的团队，终于有了不依赖昂贵传感器的实时诊断方案——用高速视频就能预测关键粒子参数，建议做APS工艺优化的点开看具体特征工程方法。

原文

5月27日

10:53

官方账号arXiv cs.LG@Oroel Ipas, Guillermo Gomez-Trenado, Rocío Romero-Zaliz, Isaac Triguero

精选

在低标注表格学习场景中，如何选择标注实例是关键挑战。对于TabPFN等表格基础模型，上下文选择直接影响预测性能。有监督实验表明，精心选择的标注集能显著优于随机选择。但冷启动场景（无标签时选择实例）研究不足。LUCoS方法利用无监督预训练网络的潜在几何结构选择代表性样本作为上下文，在67个数据集上平均AUC、ACC和F1排名第一。该方法通过覆盖度和表示空间的选择机制，有效避免了原始特征空间选择失效的问题。

论文表格基础模型无监督学习上下文选择

推荐理由：做表格数据标注或低资源学习的团队，LUCoS解决了冷启动下上下文选择的核心难题，无需标签就能显著提升模型效果，值得在TabPFN等模型上试试。

原文

5月18日

10:37

官方账号arXiv cs.LG@Fateme Golivand, Michael Skinner, Saurabh Mathur, Ameet Soni, Phillip Reeder, Kristian Kersting, Lakshmi Raman, Sriraam Natarajan

精选

该研究将儿科ECMO（体外膜肺氧合）中的临床决策建模为从轨迹中学习行动的问题，即模仿学习，且行动并非直接观测。研究采用基于Transformer的TabPFN模型，与XGBoost、MLP等传统基线在真实儿科ECMO数据上对比。结果显示TabPFN方法在预测临床行动上持续优于传统模型，可作为儿科ECMO决策支持的强基线。这项工作解决了儿科重症监护中数据稀缺和高度复杂性的挑战，为AI辅助临床决策提供了新思路。

论文模仿学习儿科ECMO 临床决策支持

推荐理由：儿科重症团队终于有了一个能处理数据稀缺和高复杂性的AI基线——TabPFN在ECMO决策建模上超越传统方法，做临床决策支持系统的研究者可以直接拿来对比或集成。

原文

5月12日

19:11

官方账号arXiv cs.LG@Marcin Kostrzewa, Sebastian Tomczak, Roman Furman, Anna Poberezhna, Michał Furgała, Oleksii Furman, Maciej Zięba

企业破产预测是高风险金融任务，面临严重类别不平衡和多时间跨度预测挑战，但现有公共数据集规模小且稀缺。新基准V4FinBench包含来自维谢格拉德集团四国（2006-2021）的超过100万条公司年度记录，涵盖131个特征、六种预测时间范围，并采用综合财务困境标准。参考评估显示，经过不平衡感知微调的TabPFN在长周期F1和ROC-AUC上达到或超越梯度提升；而Llama-3-8B在每个时间范围的ROC-AUC上均落后于梯度提升。在外部美国破产数据集上，V4FinBench微调的TabPFN优于原始版本，表明学到了可迁移的财务困境结构。该基准已开源，以支持更真实的金融预测方法评估。

论文表格基础模型金融预测基准评测

推荐理由：对于金融风控从业者，该基准提供了百万级真实财务数据及多时间范围评测框架，可有效检验表格型基础模型和LLM在不平衡场景下的预测能力。

原文