精选理由
做LLM评估的团队终于有了一个公平且高效的基准测试方案——只需微调极少量参数就能剥离格式干扰，直接测出模型真实知识水平。做预训练或模型选型的开发者值得一试，能省下大量后训练成本。
论文指出传统基准测试常因格式要求而低估基础模型的知识水平，因为基础模型缺乏后训练带来的格式遵循能力。作者提出软提示调优（soft-prompt tuning），仅优化10个软提示向量（约7B模型参数的0.0006%），在80步（约640样本）内即可让模型适应基准格式，从而准确反映其真实知识。实验覆盖7个模型和7个数据集，结果显示该方法显著优于零样本和少样本提示，甚至能提升后训练模型的格式合规性。软提示调优后的基础模型性能可更可靠地预测后训练模型的排名，为早期预训练策略选择提供低成本代理。
AI 翻译 · 中文
论文指出传统基准测试常因格式要求而低估基础模型的知识水平，因为基础模型缺乏后训练带来的格式遵循能力。作者提出软提示调优（soft-prompt tuning），仅优化10个软提示向量（约7B模型参数的0.0006%），在80步（约640样本）内即可让模型适应基准格式，从而准确反映其真实知识。实验覆盖7个模型和7个数据集，结果显示该方法显著优于零样本和少样本提示，甚至能提升后训练模型的格式合规性。软提示调优后的基础模型性能可更可靠地预测后训练模型的排名，为早期预训练策略选择提供低成本代理。
Benchmark scores often misrepresent a large language model's (LLM's) knowledge, because they rely, e.g., on the model's ability to follow specific formatting requirements. This especially penalizes base models that may k…