AITOP
精选
过去 24 小时，从 840 条中筛出 51 条
全部模型产品行业论文技巧
标签：数据工程×
6月11日
15:28
15:23
15:07
6月1日
00:09
5月29日
13:38
13:38岚叔@lufzzliz
精选
本文揭示大模型在生成低频词汇（如冷门人名）时表现不佳，并非小bug，而是底层偏好高频表达所致。作者串联了“马嘉祺”事件、Anthropic tokenizer调整以及FaceMind团队的SLoW和Adam's Law研究，指出频率是大模型数据工程的关键变量。FaceMind早于大众关注低频token退化问题，将其写成论文并落地产品场景。文章还解释了为何prompt并非越多越好，以及高频同义表达更稳定。最后介绍了FaceMind的动态弹幕产品，暗示其可能应用于世界杯等场景。
AI模型大模型低频tokenFaceMindSLoW数据工程
推荐理由：做AI应用或数据工程的团队，这篇把低频token退化讲透了——FaceMind的SLoW方法直接给出了解决方案，值得点开看看怎么从模型规律里建立产品差异。
原文
13:08
13:08berryxia@berryxia
精选
FaceMind团队通过100种语言和四大核心任务的实验发现，在语义不变的前提下，使用预训练语料中频率更高的表达方式，无论是Prompting还是Fine-tuning，模型表现都会显著提升。这一发现被称为Adam’s Law（文本频率定律），它补充了数据工程中“质量-规模-难度”铁三角缺失的第四维度：频率。高频表达不是简化，而是让模型在熟悉的概率空间里工作，效果更好。写Prompt时，应优先考虑模型在训练语料中见过的频率，而非追求文雅或专业。
技巧Prompt工程文本频率定律FaceMind模型优化数据工程
推荐理由：写Prompt总感觉模型不听话？FaceMind的实验戳破了“高级词汇”的幻觉——用高频表达能让模型表现直接起飞，做Prompt工程或微调模型的开发者值得一试。
原文
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？
5月27日
10:30
10:30arXiv cs.AI@Yi Jing, Zao Dai, Jinwu Hu, Zijun Yao, Lei Hou, Juanzi Li, Xiaozhi Wang
精选
论文提出SAERL框架，利用稀疏自编码器（SAE）提取模型内部信号，用于强化学习（RL）后训练的数据工程。SAERL建模了数据的多样性、难度和质量三个内在属性，分别实现批次多样性控制、易到难课程排序和数据过滤。在Qwen2.5-Math-1.5B上，SAERL相比原始GRPO平均准确率提升3%，训练步数减少20%，且在不同模型规模和RL算法上表现一致。实验表明SAE可跨模型族和规模迁移，是一种轻量可复用的数据工程工具。
论文稀疏自编码器数据工程强化学习后训练可解释性
推荐理由：做LLM后训练数据工程的团队终于有了从模型内部获取信号的方法——SAERL用SAE直接指导数据排序和过滤，比依赖外部信号更高效，做RL训练优化的开发者值得一试。
原文