Capture-the-Flag

general · First seen 2026-07-13 · Last seen 2026-11-18 · 3 mentions

Overview

Capture-the-Flag(夺旗赛,简称 CTF)是网络安全领域一种以解题夺旗为形式的攻防竞赛与评测范式,参赛者或 AI 系统需在目标环境中找出漏洞、提取隐藏的"旗标"来得分。随着大模型能力提升,CTF 正从人类竞赛扩展为衡量 AI 攻防能力的标准基准,成为 AI 安全评测的重要一环。

Capture-the-Flag 近期进展

  • Eight in Ten LLMs Leak System-Prompt Secrets: Nevan, an Agentic Capture-the-Flag Study:该研究将 CTF 形式应用于提示词安全,通过名为 Nevan 的智能体研究发现约 80% 的大语言模型会在攻击下泄露系统提示词,把夺旗赛思路引入了模型安全评测。
  • ScenarioForge: Resource-Grounded Generation and Execution Validation of Cyber Exercises:ScenarioForge 尝试用 AI 自动生成并执行验证网络演习场景,降低 CTF 题目制作的资源门槛,反映出竞赛内容生产正在走向自动化。
  • Third-party cyber evaluations involving OpenAI models:第三方机构围绕 OpenAI 模型开展网络安全能力评测,CTF 类任务在其中作为衡量模型攻击与防御水平的重要手段。
  • VEXAIoT: Autonomous IoT Vulnerability EXploitation using AI Agents:VEXAIoT 展示了 AI 智能体在物联网设备上的自主漏洞利用能力,其验证方式与 CTF 的旗标提取逻辑一脉相承。
  • 当前焦点与观察点

    当前围绕 Capture-the-Flag 的讨论集中在三个层面。其一是评测标准化:研究者希望把 CTF 任务固化为可复现的大模型安全基准,但题目难度、是否允许联网、旗标判定方式尚缺乏统一规范。其二是自动化出题:以 ScenarioForge 为代表的工作试图让 AI 生成并验证演习场景,这既降低了成本,也带来了题目质量与真实性的质疑。其三是安全边界:Neval 等研究揭示多数模型可被诱导泄露系统提示词,而 AI 智能体自主利用 IoT 漏洞的能力又引发了对"双刃剑"效应的担忧——同一套 CTF 能力既可用于防御训练,也可能被滥用。后续值得观察的是主流实验室是否会把第三方 CTF 评测纳入正式的安全报告,以及自动化题库能否形成行业公认的标准。

    Coverage

    4 on file