Notion 用 Ray Data 替换 Spark，扩展面向数百万用户的 AI 搜索

Notion 为支持数百万用户的 AI 搜索，将嵌入生成管线从 Spark 迁移到 Anyscale 上的 Ray Data。工程师 Mickey Liu 分享了这次迁移的实践细节，新管线要在数 TB 级数据上生成 embeddings。迁移后 CPU 与 GPU 工作负载可整合到同一条数据管线中，不再需要在两套系统间拼接处理流程。这条管线是 Notion AI 搜索体验的基础设施，决定了嵌入生成的规模与效率。对其他需要在海量文档上批量生成 embeddings 的团队来说，这是一个可直接参考的架构选择案例。