7月15日
11:10
11:10官方账号arXiv cs.LG@Xiaoyu Li, Zheng Gao, Xiaoyan Feng, Jiaojiao Jiang, Yulei Sui, Jiankun Hu
该论文从信息论角度研究生成模型水印的取证能力,包括归属用户、提取载荷和定位编辑幸存部分。定义信息轮廓ν(t)=I(S;X_t|X<t)并证明检测由分布距离决定,归属和提取由信息总量决定。主要定理给出统计无失真方案下归属N个用户需Θ(log N/h)个token(h为熵率),提取ℓ位载荷需Θ(ℓ/h)。在GPT-2、Pythia-410M、Qwen2.5上的实验验证了理论常数。
推荐理由:这篇论文用信息论精确测量了水印取样的代价:归属N个用户需要多少个token,提取载荷需要多少,并在GPT-2等模型上验证了理论预测。