视觉基础模型相关 AI 资讯

7月8日

11:07

官方一手marktechpost@Asif Razzaq

精选

蚂蚁集团旗下Robbyant团队开源了LingBot-Vision，一个1B参数的边界中心视觉基础模型。该模型使用掩码边界建模（Masked Boundary Modeling），将图像边界作为原生训练信号。在密集空间感知任务中，1B骨干网络匹配或超越更大规模的模型。LingBot-Vision还作为初始化权重用于LingBot-Depth 2.0深度估计模型。

推荐理由：蚂蚁Robbyant开源了1B参数的视觉模型LingBot-Vision，聚焦边界感知，能直接初始化深度模型，性能不输更大模型。

原文

7月7日

07:02

elvis@omarsar0

精选

LingBot-Vision 作为视觉基础模型开源发布，其配套的 LingBot-Depth 2.0 在 150M 规模上训练，将深度估计误差降低一半，并在 12/16 个基准测试中达到领先水平。该模型专门解决了玻璃、镜面、透明物体等传统深度相机的难点。团队同时开源了这两项成果。

AI模型 LingBot-Vision LingBot-Depth 深度估计开源模型视觉基础模型

推荐理由：想做机器人深度估计？LingBot 团队开源了视觉基础模型和深度模型，误差直接减半，还拿下了12个基准的第一。

原文

6月30日

13:53

官方账号arXiv cs.AI@Yuhong Deng, Yuyao Liu, David Hsu

GROW^2提出一种层次化功能定位方法，将物体部件作为抽象层分割语义和几何过程。语义层利用VLM（如GPT-4V）分析任务指令并选择合适工具及关键部件；几何层通过视觉基础模型（如SAM）从单张RGB-D图像定位精确3D区域。在功能预测基准上，GROW^2优于现有基线方法，并实现对开集物体的零样本泛化。仿真和真实机器人工具使用实验均验证了其有效性，例如用盘子代替刀切蛋糕。

论文 GROW^2 VLM 视觉基础模型机器人工具使用

推荐理由：这篇论文教机器人像人类一样用盘子切蛋糕，不受工具原始功能限制。用VLM选工具、SAM定位，零样本效果比现有方法好。

原文

6月26日

10:40

官方账号arXiv cs.LG@Nathanaël Jacquier, Maria Vakalopoulou, Mahdi S. Hosseini

这篇论文提出两种可与Top-k稀疏自编码器架构兼容的稀疏正则化方法：对未选中单元的L1惩罚和尺度不变的L1/L2比率惩罚。在2个数据集、3个视觉基础模型和多种k值下，两种正则化均一致改善单语义性而不降低重构质量。L1/L2惩罚进一步将信息集中到更少潜在单元中，使重构对推理时k的选择更具鲁棒性，并提升小预算线性探测性能。核心发现是硬性架构稀疏性与软性稀疏正则化互补而非互斥。

论文 Top-k SAE 稀疏自编码器可解释性视觉基础模型正则化

推荐理由：这篇论文给Top-k稀疏自编码器加了两种正则化方法，能让模型更可解释而且重构质量不降，值得做可解释性的人看看。

原文

6月4日

10:41

官方账号arXiv cs.AI@Elouan Gardès, Seung Eun Yi, Kartik Ahuja, Théo Moutakanni, Huy V. Vo, Piotr Bojanowski, Wolfgang M. Pernice, Loïc Landrieu, Camille Couprie

论文提出一种无标签方法 FINO，利用元数据（如拍摄条件、地理位置等）以自监督方式将通用视觉基础模型适配到专业科学领域。该方法结合自监督学习与灵活的元数据引导，能处理离散和连续元数据，保留有用信息并抑制噪声。在亚细胞荧光显微镜、地球观测、野生动物监测和医学影像等多个领域，FINO 超越了标准无监督域适应和全监督适应方法，甚至超过了高度专业化的领域特定模型。该方法无需任务标签进行骨干网络适配，仅需轻量级分类头进行监督，解决了科学领域标签稀缺和模型泛化性下降的问题。

论文视觉基础模型无监督域适应元数据科学图像自监督学习

推荐理由：科学图像分析团队终于有了不用手动标注就能适配大模型的方法——FINO 用已有的元数据就能提升效果，做显微镜、卫星或医学影像的开发者可以直接试试。

原文

5月14日

13:27

官方账号arXiv cs.AI@Jonathan A. Diller, Fernando Cladera, Camillo J. Taylor, Vijay Kumar

精选

传统无人机自主搜索依赖几何覆盖模式，忽略目标语义，在大规模环境中效率低下。LMPath 提出一种新流程：给定地理围栏和目标描述，先用生成式语言模型判断目标可能出现的区域，再用视觉基础模型对卫星图像分割，形成语义探索先验。基于该先验，可生成多种无人机路径，如最小化预期搜索时间、在有限航程内最大化发现概率，或缩小搜索范围到最可能区域。真实无人机和仿真实验表明，LMPath 生成的路径在搜索任务中显著优于传统规划方法。

论文无人机语义搜索路径规划语言模型视觉基础模型

推荐理由：无人机搜索终于有了语义理解能力——LMPath 用语言模型和视觉模型替代纯几何覆盖，做搜救、巡检、环境监测的团队可以直接参考，实测效率提升明显。

原文