11:13arXiv cs.LG@Boshko Koloski, Xiangjian Jiang, Senja Pollak, Blaž Škrlj, Mateja Jamnik, Nikola Simidjievski论文针对TabPFN和TabICL等纳米级表格基础模型,提出KnowsTFM方法,通过知识图谱的结构注意力先验和参数高效低秩更新进行微调。在数据稀缺、高维且分布偏移的专业领域,KnowsTFM相比原始变体取得显著提升,但在通用任务上增益微小。研究还发现,对前沿模型持续微调可能导致预训练知识及机制崩溃。论文KnowsTFMTabPFNTabICL微调知识图谱推荐理由:这篇论文教你用小知识图谱提升小表格模型在专业领域的效果,比普通微调更靠谱,还揭示了持续微调的风险。原文