Prompt Injection in Automated Résumé Screening with LLMs: Single and Multi-Injection Settings

Prompt Injection in Automated Résumé Screening with Large Language Models: Single and Multi-Injection Settings

精选理由

想知道你的简历能不能骗过AI筛选?这篇论文用数据告诉你提示注入在什么时候有效、什么时候没用,还能看出公平隐患,做招聘和求职的都该看看。

AI 摘要

该论文研究了在LLM自动简历筛选中的提示注入攻击,定义为不引入新资质但旨在影响LLM评分的微妙自我推销文本。实验表明,当候选人质量同质且只有少数人注入时,提示注入能可靠提高排名;但随着注入人数增多,效果迅速减弱,广泛操控时失效。在候选人质量异质场景下,提示注入平均效果较弱,但偶尔能让低质量候选人超越高质量候选人,引发公平性担忧。论文代码已公开在GitHub。

AI 翻译 · 中文

该论文研究了在LLM自动简历筛选中的提示注入攻击,定义为不引入新资质但旨在影响LLM评分的微妙自我推销文本。实验表明,当候选人质量同质且只有少数人注入时,提示注入能可靠提高排名;但随着注入人数增多,效果迅速减弱,广泛操控时失效。在候选人质量异质场景下,提示注入平均效果较弱,但偶尔能让低质量候选人超越高质量候选人,引发公平性担忧。论文代码已公开在GitHub。

arXiv cs.AILarge language models (LLMs) are increasingly used to screen and rank job applicants, creating incentives for candidates to strategically manipulate algorithmic hiring systems. We study prompt injection in automated résu