Mistral开源Shieldstral多模态审核模型,16GB GPU可运行
最强多模态内容审核开源 AI 模型:Mistral 推出 Shieldstral,单张 16GB GPU 可运行
Mistral出了30亿参数的开源审核模型,16GB显卡就能跑,审核规则可写进输入,适合做内容过滤。
Mistral AI 于 8 月 4 日发布 Shieldstral,这是一个 30 亿参数的开源内容审核模型,采用 Apache 2.
0 许可证,已上线 Hugging Face。模型支持 12 种语言,可在单张 16GB GPU 上运行,官方称其内容安全性能媲美 7 倍规模的开放模型,并在多模态审核任务上达到 SOTA。
与将伤害类别固化在权重中的防护模型不同,Shieldstral 把审核政策写入输入,通过 <Instruct>、<Query>、<Document> 三个字段将任务转化为二元问答。推理时只读取“是/否”两个词元的逻辑值并归一化为分数,以 0.
5 为阈值输出判断,覆盖提示词分类、回答审核、拒答检测和毒性检测。
最强多模态内容审核开源 AI 模型:Mistral 推出 Shieldstral,单张 16GB GPU 可运行
IT之家 8 月 5 日消息,Mistral AI 昨日(8 月 4 日)发布公告,宣布推出 Shieldstral 内容审核 AI 模型,总参数量为 3B(30 亿),采用开放权重,依据 Apache 2.0 许可证发布。 模型已上线 Hugging Face 平台,支持 12 种语言,可在单张 16GB GPU 上运行。Mistral 表示该模型在内容安全方面,性能媲美 7 倍规模的开放模型, 并且在多模态内容审核领域实现 SOTA。 IT之家注:SOTA 全称为 state-of-the-art,是指在特定人工智能任务或基准测试中表现最优秀、水平最先进的模型或算法集合,它会随着技术迭代和新研究的发布而不断变化。 Mistral 指出,多数防护模型会把伤害类别体系固化在模型权重中。产品更换使用场景后,开发者通常需要重新训练模型。 Shieldstral 则把审核政策放入输入内容:操作者可以写入一个“是或否”问题,再提供评估场景和严格程度说明,模型随后从单个输出词元中生成经过校准的安全分数。 模型把每项审核任务转化为二元问答,输入包含 3 个带标签字段: <Instruct>:说明评估场景和严格程度。 <Query>:提出单个“是或否”问题,例如“这段内容是否宣传身体暴力?” <Document>:提供待审核内容,可以是提示词、回答、提示词与回答组合,也可以是附带可选文本的图像。 推理时,模型只读取“是”和“否”两个词元的逻辑值,再通过 softmax 归一化为连续分数,并以 0.5 为阈值输出二元判断。该机制可覆盖提示词分类、回答审核、拒答检测和毒性检测。
This report is categorized under AITOP's "Models" desk, focusing on Europe's AI governance and technology ecosystem. Key entities and technical topics under continuous tracking include Shieldstral, Mistral, 内容审核, 多模态.
Source attribution: curated from IT之家. Cross-source corroboration: 4 independent sources have covered this development (including Mistral AI, Decoder, NVIDIA AI), confirming industry-wide signal strength.