精选理由
做LLM隐私保护的团队终于有了一个无需改模型、不牺牲太多效用的实用方案——批量推理还能省成本，做API服务的开发者值得关注。
SharedRequest 是一种针对大语言模型（LLM）的隐私保护推理框架，通过将原始提示与噪声变体混合，并在批量级别进行语义分组，来隐藏敏感信息。该方法无需修改模型架构或访问模型参数，兼容任何LLM。实验表明，与差分隐私基线相比，SharedRequest 的效用提升超过20%，且共享提示机制使查询成本降低最多5倍。该框架解决了现有方法在效用、效率和兼容性上的权衡问题。
AI 翻译 · 中文
SharedRequest 是一种针对大语言模型（LLM）的隐私保护推理框架，通过将原始提示与噪声变体混合，并在批量级别进行语义分组，来隐藏敏感信息。该方法无需修改模型架构或访问模型参数，兼容任何LLM。实验表明，与差分隐私基线相比，SharedRequest 的效用提升超过20%，且共享提示机制使查询成本降低最多5倍。该框架解决了现有方法在效用、效率和兼容性上的权衡问题。
With the widespread deployment of public large language models (LLMs) such as ChatGPT, protecting user prompt privacy has become an increasingly critical issue. Existing privacy-preserving inference methods sacrifice eit…