Attack在人工智能领域指的是针对AI系统、模型和应用的各种安全威胁和恶意行为。随着AI技术的快速发展,针对AI的攻击方法也在不断演进,从传统的数据投毒到针对大语言模型的新型攻击手段,安全威胁日益复杂多样。
Attack 近期进展
当前焦点与观察点
随着AI应用范围扩大,攻击面也在不断增加。研究表明,Agent Memory Poisoning攻击已经能够突破内容筛查和来源排名的限制,这给AI系统的安全性带来了新的挑战。Utility Under Attack: Agent Memory Poisoning and the Limits of Content Screening and Provenance Ranking
DARWIN通过进化攻防框架实现了LLM安全评估与防护,这一方法代表了AI安全领域的前沿探索,通过模拟攻防过程来提升系统的鲁棒性。DARWIN:通过进化攻防框架实现LLM安全评估与防护
表格基础模型注意力层的隐私漏洞和高风险查询保护问题也引起了研究者关注,这表明数据安全问题不仅存在于文本模型中,在结构化数据处理领域同样存在风险。表格基础模型注意力层的隐私漏洞与高风险查询保护