精选理由
OpenAI搞了个新系统叫GPT-Red,让模型自己打自己来找出漏洞,专门防提示注入这类攻击,挺实用的。
OpenAI发布了GPT-Red,一个自动化红队测试系统。该系统采用自我对弈机制,让大模型相互对抗生成测试用例,以提升对提示注入等攻击的鲁棒性。GPT-Red旨在通过自动化的对抗训练,持续改进AI模型的安全性和对齐性。
原文 · OpenAI Blog
GPT-Red: Unlocking Self-Improvement for Robustness
Explore GPT-Red, OpenAI’s automated red teaming system that uses self-play to improve AI safety, alignment, and prompt injection robustness.