#pretraining data

这篇论文讲了一种真实的预训练数据投毒方式——通过论坛评论注入恶意内容，还给出了分析工具HalfLife，搞AI安全的值得看。

UltraX 搞了个新框架，用程序化编辑替代传统规则和LLM方式，既能细粒度编辑又保证效率，精炼预训练数据效果不错。

斯坦福这个SEFD数据集太实用了，152B token的金融预训练数据，跟Common Crawl几乎不重复，还自带财务预测和表格识别基准，搞金融NLP的可以省好多事。