13:38岚叔@lufzzliz精选本文揭示大模型在生成低频词汇(如冷门人名)时表现不佳,并非小bug,而是底层偏好高频表达所致。作者串联了“马嘉祺”事件、Anthropic tokenizer调整以及FaceMind团队的SLoW和Adam's Law研究,指出频率是大模型数据工程的关键变量。FaceMind早于大众关注低频token退化问题,将其写成论文并落地产品场景。文章还解释了为何prompt并非越多越好,以及高频同义表达更稳定。最后介绍了FaceMind的动态弹幕产品,暗示其可能应用于世界杯等场景。AI模型大模型低频tokenFaceMindSLoW数据工程10 个信源在谈推荐理由:做AI应用或数据工程的团队,这篇把低频token退化讲透了——FaceMind的SLoW方法直接给出了解决方案,值得点开看看怎么从模型规律里建立产品差异。原文
13:08berryxia@berryxia精选FaceMind团队通过100种语言和四大核心任务的实验发现,在语义不变的前提下,使用预训练语料中频率更高的表达方式,无论是Prompting还是Fine-tuning,模型表现都会显著提升。这一发现被称为Adam’s Law(文本频率定律),它补充了数据工程中“质量-规模-难度”铁三角缺失的第四维度:频率。高频表达不是简化,而是让模型在熟悉的概率空间里工作,效果更好。写Prompt时,应优先考虑模型在训练语料中见过的频率,而非追求文雅或专业。技巧Prompt工程文本频率定律FaceMind模型优化数据工程1 个信源在谈推荐理由:写Prompt总感觉模型不听话?FaceMind的实验戳破了“高级词汇”的幻觉——用高频表达能让模型表现直接起飞,做Prompt工程或微调模型的开发者值得一试。原文
08:06Y Combinator@ycombinatorNetter.ai 是一家新创公司,旨在帮助企业重新掌控数据,使团队能够高精度地指导其活动。该公司为缺乏大量数据工程师的企业提供技术能力,解决其最复杂的数据挑战。该产品由 Y Combinator 支持,并已正式发布。AI产品数据管理企业工具Y Combinator数据工程创业公司推荐理由:对于数据团队资源有限、却面临复杂数据挑战的企业,Netter.ai 提供了一个无需庞大工程师团队即可实现数据精准管控的解决方案,值得关注。原文