手把手教你用 AWS 原生服务搭无服务器文档处理流水线，冷启动配置、批跑模式、Schema 扩展都讲透了，适合想省云成本的开发者。
该方案将 ADE 提取能力封装进 Lambda 容器，由 S3 上传事件触发处理。架构使用 lambda/python:3.11 基底，构建 arm64 镜像推送到 ECR，Lambda 函数配置 300s 超时和 1024MB 内存。支持 Parse 和 Extract 两种模式，通过 payload 切换；Extract 模式使用 Pydantic schema 绑定解析后的 Markdown。单次批处理 11 份文档耗时 119 秒（10.8 秒/份），15 分钟超时内可处理约 80 份。Schema Registry 通过 EXTRACTION_SCHEMAS 字典实现类型扩展，handler 零修改。
Serverless 文档处理流水线（ADE + Lambda + S3） 把 ADE 提取能力装进 Lambda 容器，由 S3 上传事件触发——上传即处理，不传即沉默，纯 AWS 原生设施。 ...
Serverless 文档处理流水线（ADE + Lambda + S3） 把 ADE 提取能力装进 Lambda 容器，由 S3 上传事件触发——上传即处理，不传即沉默，纯 AWS 原生设施。 架构三段 · 镜像：lambda/python:3.11 基底 + 依赖 + handler. py + config. py。 · ECR：build 脚本构建 arm64 → 登录 → 建 repo → tag → push。同账号存镜像，IAM 窄、延迟低、生命周期托管。 · Lambda：deploy 脚本建 role → 挂 CloudWatch 写权限 → 创建/更新函数（容器 URI、300s 超时、1024MB、API key 与 bucket 名入环境变量）。 · 配置收敛到单个 .env，冷启动经 config. py 加载。 两模式（payload 切换） · Parse：返回层级 JSON，喂 RAG/检索。 · Extract：Pydantic schema 绑定解析后的 Markdown，返回校验字段，直接落库。 Batch 一等公民：单次调用处理整 prefix，带进度条与逐文档计时。基准 11 份/119s（10.8s/份），15 分钟超时内约 80 份/调用，更大按 prefix 拆。 两触发方式 · S3 事件：ObjectCreated → handler 取 key → 下载 → 处理 → 结果 JSON 写回输出前缀。覆盖被动到达常态。 · 直接调用：notebook 演示回填/批跑，含统计与 CSV 导出。 Schema Registry——关键伸缩点 EXTRACTION_SCHEMAS 字典：类型名 → Pydantic 类。新增文档类型 = 一个类 + 一条字典项，handler 零改动。对比硬编码要重建容器+全量重部署，registry 把变更降到单文件级。Field(description=...) 作为提取提示传给 ADE——schema 即规格说明。 审计 每个提取值回指产生它的 chunk，元数据与字段同落一份 JSON——审计随数据走，不靠外部日志拼接。CloudWatch 兜底运营侧调试。 LandingAI @LandingAI x.com/i/article/2074… 🔗 View Quoted Tweet 💬 0 🔄 0 ❤️ 0 👀 60 ⚡