7月30日
09:17
09:17官方账号arXiv cs.LG@Petr Simecek, Elnaz Babayeva, Jiri Balhar, Michal Bida, Michal Buran, Vaclav Cadek, Luigino Camastra, Tomas Dulka, Michal Janocko, Tomas Klohna, Pavel Kohout, Ondrej Kokes, Adam Krivka, Jakub Kubik, Patrik Mada, Igor Morgenstern, Marek Pavelka, Joshua Rogers, Petr Stastny, Jan Tattermusch, Dmitrijs Trizna, Martin Votruba, Guido Vranken, Jakub Zikl, Evelina Gabasova, Stanislav Fort
论文提出HoF-Bench基准,由AISLE发现的95个真实CVE组成,覆盖8个开源仓库。在严格协议下,一个最小化LLM分析器重新发现了65个CVE(68%)。10个检测骨干包括5个开源模型(21B-284B参数)和5个专有小模型,均无前沿模型参与。基准提供7,600条模型-CVE通过记录,用于比较漏洞扫描器的可靠性。数据集已在Hugging Face发布。
推荐理由:想看开源模型能不能真挖漏洞?这个基准用95个真实CVE测了10种模型,最弱的也能找回68%,数据很实在。