精选理由
写Prompt总感觉模型不听话?FaceMind的实验戳破了“高级词汇”的幻觉——用高频表达能让模型表现直接起飞,做Prompt工程或微调模型的开发者值得一试。
FaceMind团队通过100种语言和四大核心任务的实验发现,在语义不变的前提下,使用预训练语料中频率更高的表达方式,无论是Prompting还是Fine-tuning,模型表现都会显著提升。这一发现被称为Adam’s Law(文本频率定律),它补充了数据工程中“质量-规模-难度”铁三角缺失的第四维度:频率。高频表达不是简化,而是让模型在熟悉的概率空间里工作,效果更好。写Prompt时,应优先考虑模型在训练语料中见过的频率,而非追求文雅或专业。
AI 翻译 · 中文
FaceMind团队通过100种语言和四大核心任务的实验发现,在语义不变的前提下,使用预训练语料中频率更高的表达方式,无论是Prompting还是Fine-tuning,模型表现都会显著提升。这一发现被称为Adam’s Law(文本频率定律),它补充了数据工程中“质量-规模-难度”铁三角缺失的第四维度:频率。高频表达不是简化,而是让模型在熟悉的概率空间里工作,效果更好。写Prompt时,应优先考虑模型在训练语料中见过的频率,而非追求文雅或专业。
别特么给AI拽“高级词汇”“冷门词”了!! 大家还在拼命把Prompt写得文雅、专业、结构严密,以为这样模型就会更听话、输出更准,结果正好相反。 FaceMind团队用100种语言、四大核心任务的实验直接证明:语义完全不变的前提下,用预训练语料里出现频率更高的表达方式,不管是Prompting还是Fine-tuning,模型表现都会显著提升。 这就是Adam’s Law——文本频率定律。 它把当前数据工程的“质量-规模-难度”铁三角,直…
- 岚叔05-29 05:38原文