#解码确定性

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "解码确定性", newest first.
Nov 17
Chinese content微调能换来多少解码确定性?边际正则化抑制批处理导致的 token 翻转

一篇挺有意思的研究:贪心解码其实不是确定性的,同一 prompt 换个 batch 就可能输出不同 token。作者用 logit 边际正则化在 GSM8K 上把发散率从 53.8% 压到 38.1%,代价 1-3 个准确率点。做需要可复现输出的服务或评测的同学可以看看。

arXiv cs.AI@Charan Teja Nagisettygari, Siva Raja SindiramuttySource