Notion 用 Ray Data 替换 Spark，扩展面向数百万用户的 AI 搜索
Notion 的工程师讲了他们把嵌入生成从 Spark 换成 Ray Data 的真实原因：几 TB 数据、CPU 和 GPU 混跑一条管线。正在搭向量检索或 RAG 数据管线的后端工程师可以对照看看自己的架构。
Notion 为支持数百万用户的 AI 搜索，将嵌入生成管线从 Spark 迁移到 Anyscale 上的 Ray Data。
工程师 Mickey Liu 分享了这次迁移的实践细节，新管线要在数 TB 级数据上生成 embeddings。迁移后 CPU 与 GPU 工作负载可整合到同一条数据管线中，不再需要在两套系统间拼接处理流程。
这条管线是 Notion AI 搜索体验的基础设施，决定了嵌入生成的规模与效率。对其他需要在海量文档上批量生成 embeddings 的团队来说，这是一个可直接参考的架构选择案例。
@Notion is scaling AI search for millions of users.
Mickey Liu shares how moving from Spark to Ray Data on Anyscale helps generate embeddings across terabytes of data, with CPU and GPU workloads in one pipeline.
Watch: https://t.co/WOk33LA6Hx
This report is categorized under AITOP's "Industry" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Notion, Anyscale, Ray Data, 嵌入.
Source attribution: curated from Anyscale (@anyscalecompute). Cross-source corroboration: 6 independent sources have covered this development (including PyTorch, Claude, Akshay Kothari), confirming industry-wide signal strength.
