精选理由
做深度估计或3D视觉的团队,边界飞点问题终于有了一个轻量且有效的解决方案——MDA几乎不增加计算成本就能大幅提升边界质量,值得在现有模型上试试。
深度估计中的“飞点”问题一直难以解决:在物体边界处,模型常会在前景与背景之间的空白区域预测出虚假的3D点。研究团队发现,根本原因在于传统模型为每个像素只分配一个深度假设,而边界像素实际对应两个表面,单一假设被迫取中间值,导致飞点。他们提出MDA(混合密度表示法),让模型为每个像素预测多个深度假设及其概率,边界处不同假设可对齐不同表面,解码时从中选择而非取中间值。该方法在不同骨干网络上均显著改善边界重建,几乎消除飞点伪影,且计算开销极小。此外,MDA还能自然扩展到透明物体(预测多个深度层)和天空区域(分离无限远天空与有限深度区域),生成无飞点的天际线。
AI 翻译 · 中文
深度估计中的“飞点”问题一直难以解决:在物体边界处,模型常会在前景与背景之间的空白区域预测出虚假的3D点。研究团队发现,根本原因在于传统模型为每个像素只分配一个深度假设,而边界像素实际对应两个表面,单一假设被迫取中间值,导致飞点。他们提出MDA(混合密度表示法),让模型为每个像素预测多个深度假设及其概率,边界处不同假设可对齐不同表面,解码时从中选择而非取中间值。该方法在不同骨干网络上均显著改善边界重建,几乎消除飞点伪影,且计算开销极小。此外,MDA还能自然扩展到透明物体(预测多个深度层)和天空区域(分离无限远天空与有限深度区域),生成无飞点的天际线。
Despite advances in depth estimation, flying points remain a persistent failure mode: near object boundaries, depth estimators often predict spurious 3D points in the empty space between foreground and background surface…