Primary sourcearXiv cs.LG
View sourceEvent ·Multi-source
研究发现 LLM 可直接编程表格基础模型权重与缓存
arXiv 论文(编号 2611.20174)展示了 LLM 能在不做梯度优化的前提下,直接对表格基础模型(TFM)进行权重编程。实验使用 GPT-6 Astra,在三种设定下验证:一是从零初始化权重直接编程 nanoTabPFN,在 20 个 TabArena 数据集上取得平均 ROC AUC 0.849,接近预训练基线的 0.876;二是诊断并修复了预训练 TabPFN-3.5 中符号乘积回归的失败点,修复后仅带来 0.08% 的平均相对误差增加;三是通过编写 KV-cache 编辑程序改变 TabPFN-3.5 的预测行为,例如反转线性趋势、把正弦波转成近似方波,全程不改动模型权重。论文认为 LLM 驱动的编程可以补充基于梯度的优化方式,也为观察和干预 TFM 内部计算提供了新途径。
Current read
GPT-6 Astra 不训练就能把 nanoTabPFN 从零权重编到 ROC AUC 0.849,还能靠改 KV-cache 让 TabPFN-3.5 反转趋势。做表格模型或可解释性研究的人应该看看这篇,思路和微调完全是两条路。
6 sources57° AI heatLast updated 2026/11/15 18:25:19
Evidence
6 sourcesRelated source 1rohanpaul_ai
View sourceRelated source 2IT之家
View sourceRelated source 3Decoder
View sourceRelated source 4OpenAI
View sourceRelated source 5歸藏(guizang.ai)
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.