AITOP

内容审核

共 20 条相关 AI 资讯
8月13日
17:47
17:47官方一手arXiv: DeepSeek@Xucheng Yu, Emily Knox, Haohan Wang
一项基于40,800组问答的系统实验发现，主流大模型对受限书籍的拒绝率仅为0.07%。实验覆盖400本书、17种提示设计和六大前沿模型，包括Claude Sonnet 4.5、GPT-4o和DeepSeek-V3。模型差异体现在警告语言上，警告率提升8-15个百分点，犹豫标记提升2-5个百分点。提及性内容的频率是最强信号，差距达33-52个百分点。提示框架可让警告率差距变化最多19个百分点。
论文Claude Sonnet 4.5GPT-4oDeepSeek-V3
推荐理由：这篇论文用四万组问答测了六大模型，发现它们很少拒绝聊敏感书，但会用警告和犹豫来暗示，想了解内容审核现状可以看看。
原文
8月11日
21:59
8月5日
12:06
12:06IT之家（博客/媒体）
72°
Mistral AI 于 8 月 4 日发布 Shieldstral，这是一个 30 亿参数的开源内容审核模型，采用 Apache 2.0 许可证，已上线 Hugging Face。模型支持 12 种语言，可在单张 16GB GPU 上运行，官方称其内容安全性能媲美 7 倍规模的开放模型，并在多模态审核任务上达到 SOTA。与将伤害类别固化在权重中的防护模型不同，Shieldstral 把审核政策写入输入，通过 <Instruct>、<Query>、<Document> 三个字段将任务转化为二元问答。推理时只读取“是/否”两个词元的逻辑值并归一化为分数，以 0.5 为阈值输出判断，覆盖提示词分类、回答审核、拒答检测和毒性检测。
AI模型ShieldstralMistral内容审核
事件专题
推荐理由：Mistral出了30亿参数的开源审核模型，16GB显卡就能跑，审核规则可写进输入，适合做内容过滤。
原文
01:54
7月22日
19:49
19:49官方账号阿里云 Alibaba Cloud@alibaba_cloud
EaseMate AI利用阿里云的AIGC服务和LLM（包括Qwen模型）提升全球创新效率。结果实现实时内容审核准确率超过99.5%，API成本降低20%。该案例展示了阿里云AI平台的性能与安全平衡。
行业Alibaba CloudQwenEaseMate
推荐理由：阿里云晒出真实客户案例：EaseMate用他们AI服务，内容审核准到99.5%以上，还省了20%成本，做AI平台的人都该看看。
原文
15:03
7月19日
14:51
7月17日
01:17
7月15日
00:49
7月6日
23:27
6月25日
18:31
6月12日
09:15
09:15官方账号arXiv cs.AI@Dipto Das, Achhiya Sultana, Ankit Singh Chauhan, Saadia Binte Alam, Mohammad Shidujaman, Shion Guha, Sunandan Chakraborty, Syed Ishtiaque Ahmed
该论文针对LLM在内容审核中难以识别针对少数族裔（如孟加拉国印度教和查克马社区）的文化隐性歧视问题，提出Mod-Guide系统。研究通过社区合作构建文化敏感语料库，并利用检索增强生成（RAG）将少数群体视角融入审核流程。实验表明，RAG增强的审核响应在文化准确性上显著提升，且不同族群对审核结果的感知存在差异。这项工作为AI伦理和内容审核设计提供了修复性正义和解释学包容的新路径。
论文内容审核LLM少数族裔
推荐理由：内容审核系统常忽视文化隐性歧视，Mod-Guide通过RAG融入少数群体视角，做AI伦理或内容审核的团队值得关注其方法论。
原文
6月5日
05:15
05:15官方一手@OpenAIDevs@OpenAIDevs
OpenAI 宣布在 Responses API 和 Completions API 中新增内容审核分数功能。开发者现在可以在生成请求的同时获取审核信号，无需额外调用审核接口。这使得应用可以基于审核分数进行日志记录、路由、人工审核或直接拦截。该功能简化了内容安全流程，尤其适合需要实时内容过滤的 AI 应用。
AI产品OpenAI内容审核API
事件专题
推荐理由：做 AI 内容审核或安全过滤的开发者终于可以少写一个 API 调用——在生成回复的同时拿到审核分数，直接决定是放行还是拦截，建议试试这个集成方案。
原文
5月28日
12:50
12:50IT之家（博客/媒体）
YouTube 宣布对 AI 视频标注功能进行两项重要更新。首先，AI 标签将被移至更显眼的位置：长视频中位于播放器下方、描述栏上方；Shorts 短视频中则以覆盖层形式直接显示在视频上。其次，YouTube 将引入自动检测机制，当系统检测到明显的写实类 AI 使用迹象而创作者未主动披露时，将自动添加标签。创作者可在 YouTube Studio 中更新披露状态，但使用 YouTube 自有 AI 工具（如 Veo 或 Dream Screen）生成的内容，以及包含 C2PA 元数据表明为完全生成式 AI 的内容，标签将永久显示。
AI产品YouTubeAI 视频标注自动检测
推荐理由：YouTube 这次把 AI 标签放到了更显眼的位置，还加入了自动检测，做视频创作的创作者和平台运营者需要关注——这会影响内容审核流程和观众信任度，建议点开看看具体规则。
原文
10:38
5月26日
16:14
12:12
12:12官方一手arXiv: OpenAI@Jiwon Kim, Claire Wang, Taeung Yoon, Sabelle Huang, Koustuv Saha
精选
大型语言模型（LLM）越来越多地被用于情感支持和正式治疗场景，但像ChatGPT或Llama等模型内置的内容审核机制会阻止它们讨论敏感话题，这可能影响其作为治疗师的能力。本研究对OpenAI、Meta和Google的三种先进审核系统进行了算法审计，评估它们对真实治疗对话内容的标记程度。结果显示，这些系统过度标记了治疗中必要的敏感内容，揭示了LLM在扮演治疗师角色时面临的限制。这对设计用于心理健康的AI系统具有重要启示，表明当前审核机制可能阻碍有效的治疗对话。
论文LLM内容审核心理健康
事件专题
推荐理由：这项研究戳穿了AI治疗应用的核心矛盾——安全审核反而成了障碍，做心理健康AI产品、设计对话系统的团队值得细读，看完会对审核策略有新的思考。
原文
5月25日
13:05
5月19日
10:09
10:09官方账号arXiv cs.AI@Zoher Kachwala, Bao Tran Truong, Rasika Muralidharan, Haewoon Kwak, Jisun An, Filippo Menczer
精选
社交媒体正走向多元化，不同社区有各自的规则。研究者提出了PluRule基准，包含来自1989个Reddit社区的13371条规则违规案例，覆盖9种语言。测试发现，即使是GPT-5.2等先进模型，在识别违规内容时表现也仅略优于简单基线。增加模型规模和上下文信息带来的提升有限，而通用规则（如文明用语）更容易被检测。这表明，AI在多元社区的内容审核仍面临根本性挑战。
论文内容审核多元社区基准测试
推荐理由：内容审核从业者和社区运营团队会关心：现有AI模型在多元规则下表现堪忧，PluRule为评估和提升审核系统提供了关键基准，值得深入研究。
原文
5月11日
22:18