Event ·Official first-hand

Typed Decision Model 能否取代微调分类器?团队在 24 篇 ACL 论文上实测

一项发表于 arXiv 的研究(编号 2611.20191)用 TypeSafe 的 Typed Decision Model Jev 替换了 24 篇 ACL 论文中的任务分类器,保留每篇论文的数据切分、标签定义和评测指标,并借助 Cloudflare 的 Clef、Microsoft-Decision-1 和 OpenAI 的 GPT-6 Luna Decisions 交叉核验结果,最终形成包含 46 个英文测试集的 TDM-Gauntlet 基准。零样本提示下,Jev 直接在 46 个测试集中的 12 个上达到或超过原论文方法,主要集中在标签含义直白的单一判断任务;表现落后的场景多为原方法在自有标签上训练过、且标注约定未体现在标签名称中的情况。在给 500 条训练标签加验证集、不管理 GPU 的条件下,校准加 GEPA 风格提示优化能弥合与原论文方法差距的中位数 72%,约为现成 GEPA 效果的两倍,单次搜索成本中位数 1.66 美元。同一批标签下,RoBERTa 和 DeBERTa 等微调编码器弥合 59%,对开源模型 Qwen3.8-27B 做 LoRA 微调则达 97%。结论是微调仍是精度上限最高的方案,但标签语义清晰时零样本提示已够用,提示优化能覆盖大部分剩余差距。

Current read

做文本分类的朋友看过来:研究者拿 Jev 换掉了 24 篇 ACL 论文里的微调分类器,零样本就能赢下 12/46 个测试集。加上 500 条标注和提示优化(中位成本 1.66 美元)能追回 72% 差距,比 LoRA 微调 Qwen3.8-27B 的 97% 还差一截,但省掉了管 GPU 的麻烦。想快速上分类基线的团队可以直接抄这套流程。

11 sources41° AI heatLast updated 2026/11/15 18:44:24

Evidence

11 sources
Primary sourcearXiv: OpenAI
View source
Related source 1Sebastian Raschka
View source
Related source 2Xianbao Qian
View source
Related source 3TestingCatalog
View source
Related source 4Simon Willison’s Weblog
View source
Related source 6lmarena.ai
View source
Related source 7阿里云 Alibaba Cloud
View source
Related source 8Databricks
View source
Related source 10IT之家
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.