Airbnb 生产评测：微调 Gemma4-E2B 分类器对标前沿模型，成本约 1%

时延是关键优势：微调后的 Gemma4-E2B 中位时延约 35 毫秒、p99 约 85 毫秒，满足每分钟数千次调用、200 毫秒内出分的线上预算。对比之下，GPT-6.1 Sol 和 Claude Sonnet 5.5 即便少思考，中位时延也在 900 毫秒左右，p99 达数秒；Sol 在简明提示下精确率约 0.82、召回率约 0.96，偏向召回，与该任务高精确率的需求不匹配。

成本差距同样显著：按 2026 年 10 月公开标价，高流量下前沿 API 的费用是单卡自建的两个数量级，且计算已假设 71% 缓存命中率。测算显示流量低于每分钟 15 到 30 次时，Sonnet 5.5 和 Sol 才可能比专属 GPU 更便宜。

Airbnb 生产评测：微调小分类器对标前沿质量，高流量下成本约 1% @AirbnbEng 工程博客写了一项自家生产分类任务的对照：用内部框架 GLOWC 把开源小模型微调成分类器，再和开源基座、前沿 API 比质量、时延和费用。 airbnb.tech/ai-ml/frontier… 测的是什么、怎么比 场景不是开放问答，而是实时拦截：筛查内容是否违反「定价与支付透明度」政策。误报会拦下本可发布的内容，因此要高精度；线上每分钟调用达数千次，必须在 200 毫秒内给出可设阈值的分数。 对照模型是微调后的 Gemma4-E2B。评测用 1 万条按生产流量加权的留出样本。开源模型部署在单张 RTX Pro 6000 上，默认和对照共用大约 400 词的简明提示。质量看最高 F1：能打分的模型扫阈值取最佳结果，只输出是或否的模型则直接报判定的 F1。 质量、时延和「1%」比的是什么 未微调的开源模型虽然够快，质量明显偏低。GPT-6.1 Sol、Claude Sonnet 5.5 即使少思考，中位时延大约 900 毫秒，p99 可达数秒，远超预算。简明提示下，Sol 精确率大约 0.82、召回率大约 0.96，偏召回，而这项任务更怕误杀。 微调把 Gemma4-E2B 的 F1 从 0.563 提到 0.902，与最好的专有模型相当，中位时延大约 35 毫秒，p99 大约 85 毫秒。提示加长到大约 2700 词后，专有生成模型大约还能再涨 1 到 3 个点，但时延和费用更高；能赶上时延预算的模型，靠加长提示也补不上质量缺口。 「~1%」指每分钟数千次的高流量下，按 2026 年 10 月公开标价估算，简明提示的前沿 API 费用大约是单卡自建的两个数量级。计算还假设了 71% 的缓存命中率，高于实测，也不含议价折扣。更便宜的专有方案仍大约是单卡的近 5 倍，准确率还不如微调器。流量大约低于每分钟 15 到 30 次时，Sonnet 5.5 和 Sol 才可能比专属 GPU 更便宜。 Airbnb Engineering @AirbnbEng What if you could get frontier-level AI classification at 1% of the cost? Airbnb engineers fine-tuned a small language model to deliver comparable accuracy in under 100ms. Here’s how. 👇 airbnb.tech/ai-ml/frontier… A 🔗 View Quoted Tweet📊 5 ⚡

This report is categorized under AITOP's "How-to" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Gemma4-E2B, Airbnb, GLOWC, 微调.

Source attribution: curated from shao__meng (@shao__meng).