Event ·Multi-source

VLM 小目标识别研究:何时缩放、何时切图最有效

一项 arXiv 研究(编号 2611.22709)测量了来自四家厂商的 7 个视觉语言模型在大图上的小细节识别能力。测试发现,一张 8000×6000 的无人机照片中宽 20 像素的汽车,到达 Claude 时只剩约 6 像素宽,而 OpenAI 默认设置会直接拒绝这张照片。在 7680×4320 照片上,模型能读到一半正确率的文本尺寸从 6 像素以下升至预测的 10 到 13 像素。 把照片切成最多 9 块图块(tiles)能大幅挽回细节:Claude 和 Gemini 的准确率提升 11.1 到 14.5 个百分点,GPT-6.1 Sol 因避免了拒绝,从 50.7% 升到 83.7%。两步缩放——先让模型指出需要查看的区域——在 Gemini 上持平或超过切图,在 Claude 上差距 2.5 个百分点以内,且只消耗切图约 40% 的图像 token。失败模式也有差异:细节丢失时,Gemini 在 43% 到 48% 的情况下给出自信的错误答案,Claude 只有 5% 到 9%。 基于细节尺寸的预检查会漏掉 Claude 和 Gemini 上切图的大部分收益,而 Claude 自身的不确定回复是可靠触发条件:仅在模型回答不确定后再切图,效果与总是切图相差 1.4 个百分点以内,token 消耗降到 62% 到 70%。团队据此总结了 5 条 Agent 缩放规则,并公开了视力表测试、全部模型答案和代码。

Current read

做 Agent 或处理卫星图、无人机图的人真的该看这篇。它用具体数字告诉你各家 VLM 丢细节的程度,还给出省 token 的切图触发策略,比无脑切九宫格省 30% 以上成本。

11 sources46° AI heatLast updated 2026/11/17 12:50:14

Evidence

11 sources
Primary sourcearXiv cs.AI
View source
Related source 1Yuchen Jin
View source
Related source 2Simon Willison’s Weblog
View source
Related source 3lmarena.ai
View source
Related source 4阿里云 Alibaba Cloud
View source
Related source 5Perplexity
View source
Related source 6TestingCatalog
View source
Related source 7Aravind Srinivas
View source
Related source 8Artificial Analysis
View source
Related source 9PolymarketMoney
View source
Related source 10Amjad Masad
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.