Airbnb 用 Presidio 构建文本去标识流水线,替换敏感信息供模型训练
Airbnb 把训练数据里的姓名、地址换成 faker 生成的假值,既防泄露又不丢上下文。用 GLiNER 替代 spaCy 抓完整住址的思路很实用,做数据合规或训练流水线的工程师可以直接参考这套做法。
Airbnb 在训练模型前,用开源库 Presidio 对消息、评价和客服对话中的个人信息做去标识处理,将姓名、住址、支付信息替换成逼真的模拟数据,以减少真实信息副本和泄露风险。该系统被实现为共享机器学习工作流中的可复用步骤,使用方只需标注哪些字段含个人信息,处理后的数据集会打上去标识标记并进入模型注册表。
识别环节用模式匹配与 GLiNER 识别实体:默认 spaCy 会把城市、地标也标成地点,覆盖不到完整住址,因此姓名和地址改用可在推理时指定「街道地址」的 GLiNER,两类实体的精确率均有提升。替换阶段不用占位符,而是用 faker 生成自然假值,同一轮内同一真值始终对应同一假值,且不保存对照表;房源链接保留,电话保留国家码和区号,标识符用盐值哈希,64 位内部编号用保形加密。
评测按实体类型和语言分开衡量,优先保证召回以避免漏检泄露。评测显示电子邮件、信用卡和房源编号在英、西、法、德、日、波兰语上表现完整,姓名和地址在日语和波兰语上明显偏弱,总体评分 9/10。目前系统仅处理文本,其他介质的去标识工作已在进行。
Airbnb 用 Presidio 做文本去标识:把真实信息换成可训练的假数据 训练模型前,Airbnb 会先处理消息、评价和客服对话里的个人信息:按公司统一分类,把姓名、住址、支付信息等替换成尽量逼真的模拟数据,既减少真实信息的副本和泄露,也尽量保留训练价值。政策由 Privacy Architecture 团队会同法务、政策和工程制定,再落实为代码。 medium.com/airbnb-enginee… 做成共享训练步骤,不另建中心服务 他们以开源库 Presidio 为基础。它最初由 Microsoft 开发,现已交由社区治理,以 Python 包在调用进程内运行。但只有每条流水线都使用当前版本和合规配置,保护才会生效。因此它被做成共享机器学习工作流中的可复用步骤,使用方只需标明哪些字段含有个人信息。 处理后的数据集会打上去标识标记,进入模型注册表,用来把关生产部署,并记录所用版本和配置。训练前还会先过滤已选择退出的记录。 用模式匹配和 GLiNER 识别,再用假值填回 Analyzer 先标出疑似个人信息的片段和置信度,Anonymizer 再处理重叠并替换。有固定形态的标识,用正则加上下文词识别。多种编号都可能是一串数字,他们扩展了短语级匹配,让更具体的词组优先得分。 默认的 spaCy 会把城市、地标也标成地点,在他们的评测中往往覆盖不到带门牌号的完整住址。姓名和地点因此改用可在推理时指定「街道地址」的 GLiNER。团队写道,两类实体的精确率都有提升;GLiNER2 已接入评测,只有基准证明有增益时才会换上。语言按整条记录或区域元数据判断,不稳时改用更保守的配置。 替换不用占位符或空白,以免模型把「这里被删过」也学成一种模式,大多数类型用 faker 生成自然假值。同一轮内,假值由真实值和当次密钥生成,同一真值始终对应同一假值,跨次运行则不同,且不保存对照表。房源自身链接会保留,电话保留国家码和区号;结构化字段中,标识符用调用方提供的盐值做哈希,坐标按隐私团队设定的精度截断,64 位内部编号用保形加密,以便通过原来的结构校验。 质量按语言和类型分开衡量 衡量时看召回、精确和吞吐,并优先保证召回,因为漏检就是泄露。指标按实体类型和语言分开统计,评的是重叠处理之后真正输出的结果。新语言要有标注数据才会上线,已稳定的类型发版时不能回退。 他们给出的评测图显示:电子邮件、信用卡和房源编号在英、西、法、德、日、波兰语上表现完整,姓名和地址在英语、西班牙语、法语、德语上较好,在日语和波兰语上明显偏弱,总体评分为 9/10。目前仍只交付文本,其他介质的去标识已经开始做。 Airbnb Engineering @AirbnbEng How do you protect personal data while keeping AI training data useful? Airbnb built a system that detects and replaces sensitive information at scale, without losing the context models need to learn. Here’s how it works. 👇 medium.com/airbnb-enginee… x 🔗 View Quoted Tweet📊 3 ⚡
This report is categorized under AITOP's "Products" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Presidio, Airbnb, GLiNER, data masking.
Source attribution: curated from shao__meng (@shao__meng).