精选理由
这篇论文教你用小知识图谱提升小表格模型在专业领域的效果，比普通微调更靠谱，还揭示了持续微调的风险。
论文针对TabPFN和TabICL等纳米级表格基础模型，提出KnowsTFM方法，通过知识图谱的结构注意力先验和参数高效低秩更新进行微调。在数据稀缺、高维且分布偏移的专业领域，KnowsTFM相比原始变体取得显著提升，但在通用任务上增益微小。研究还发现，对前沿模型持续微调可能导致预训练知识及机制崩溃。
AI 翻译 · 中文
论文针对TabPFN和TabICL等纳米级表格基础模型，提出KnowsTFM方法，通过知识图谱的结构注意力先验和参数高效低秩更新进行微调。在数据稀缺、高维且分布偏移的专业领域，KnowsTFM相比原始变体取得显著提升，但在通用任务上增益微小。研究还发现，对前沿模型持续微调可能导致预训练知识及机制崩溃。
Tabular foundation models have advanced deep learning for tabular data by delivering strong default performance across many small and medium tasks. Yet in niche domains, where data is scarce, high-dimensional, and shifte…