11:03
官方账号arXiv cs.AI@Yu Ran, Wentao Zhao, Xin Zhang, Yi Pan
推荐理由：研究者发现GUI模型把坐标当数字token生成时容易被攻击，MissClick在OS-Atlas和UGround上能把点击位置带偏，成功率比现有攻击高出几十个百分点。
UGround
共 1 条相关 AI 资讯
8月5日
11:03
GUI视觉定位模型将屏幕坐标生成为数字token序列，再解析为数值执行点击。MissClick针对坐标的数字位权结构提出两种攻击目标：MissClick-U最大化软坐标位移实现无目标干扰，MissClick-T最小化按位加权的目标数字损失实现定向劫持。在OS-Atlas和UGround的桌面、网页与移动端基准上，MissClick-U的无目标攻击成功率达75.07%和72.93%，较现有攻击分别提升16.62和30.72个百分点。MissClick-T的目标攻击成功率达44.86%和62.67%，分别提升31.73和47.06个百分点。实验表明软坐标位移最适合无目标攻击，而按位加权的目标数字优化最适合定向攻击。