OpenAI 推出儿童性虐待内容检测工具,误标记减少 48%
OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护
OpenAI 做了个免费开放的 CSAM 图像检测分类器,误报比现有方案少 48%,NCMEC 参与了训练。ChatGPT 里搜相关内容还会被断 24 小时号。做内容审核或平台安全团队的值得看这套干预加检测的完整流程。
OpenAI 于 11 月 16 日宣布推出儿童性虐待内容(CSAM)检测工具,通过 API 向经过审核的机构免费开放。工具核心是一个全新图像分类器,用于识别虐待内容的视觉特征,并能对图像评分,帮助审核团队优先处理疑似最严重的案例。
该分类器在开发过程中获得美国国家失踪与受剥削儿童中心(NCMEC)支持,协助完成训练、评估和实际部署。相比现有保护措施,误标记图像数量减少 48%,被标记图像实际含性虐待内容的可能性约为原来的两倍。invideo AI 测试显示,每四个被标记案例中有一个最终导致封禁。
除了检测,该工具还带有干预功能:当用户在 ChatGPT 中试图寻找性虐待素材时,系统会中断操作、说明后果并引导求助,同时将账号暂时停用 24 小时,反复违规可能面临永封或被举报至有关部门。OpenAI 还与 Anthropic 和谷歌合作,委托 Tech Coalition 发布了一份应对 AI 系统中儿童性剥削披露的新指南。
OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护
IT之家 11 月 17 日消息,OpenAI 昨天宣布推出儿童性虐待内容(CSAM)检测工具。该产品可中断有害行为,同时提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。该工具将通过 OpenAI API,向经过审核的机构免费开放。 据介绍,OpenAI 已推出全新的图像分类器,用于检测潜在的儿童性虐待内容。该分类器会寻找虐待行为的视觉特征,帮助审核团队识别未曾见过的新图像,同时提供评分功能,帮助审核人员判断哪些图像可能需要优先处理。 美国国家失踪与受剥削儿童中心(NCMEC)在该工具的开发过程中提供支持,协助 OpenAI 完成训练、评估和实际部署工作。 同时该工具相比现有保护措施,可减少 48% 误标记图像数量。在标记的图像中,实际包含性虐待内容的可能性约为原来的两倍。invideo AI 测试显示,每四个被标记的案例中,就有一个最终被封禁。 此外,OpenAI 将在 ChatGPT 中新增产品警告。当用户试图寻找性虐待素材时,系统会中断相关操作、说明后果,并引导用户寻求帮助,以停止有害行为。一旦用户发出相关请求,他的 ChatGPT 账号将被暂时停用 24 小时,反复违规可能导致更长时间的封号, 最终永封或被举报至有关部门 。 OpenAI 已经与 Anthropic 和谷歌合作,共同委托制定一份关于如何应对 AI 系统中儿童性剥削与性侵害披露的新指南。该指南最近已由 Tech Coalition 发布,为开发者处理这些敏感情况提供了实用建议。
This report is categorized under AITOP's "Products" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include OpenAI, ChatGPT, Anthropic, AI safety.
Source attribution: curated from IT之家.