来源：计算机视觉工坊

在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf、代码链接

添加微信：dddvisiona，备注：三维点云，拉你入群。文末附行业细分群

本文提出了一种全新的高效方法，用于处理大规模3D点云的全景分割任务。该方法通过将任务重新定义为可扩展的图聚类问题，极大地简化了训练过程，避免了资源密集型的实例匹配步骤。我们的公式还能轻松适应超点范式，进一步提高了模型的效率。作者的模型，SuperCluster，在室内扫描数据集和大规模移动映射基准上取得了新的全景分割性能最先进的成绩。具体表现为在S3DIS Area 5上达到了50.1 PQ（+7.8），在ScanNetV2上达到了58.7 PQ（+25.2），同时在KITTI-360和DALES上实现了首次最先进的性能。令人印象深刻的是，作者的模型仅使用了209k参数，比最佳竞争方法小30多倍，并且训练速度提高了15倍。这一成就为处理大规模3D点云的全景分割任务提供了一种更为高效的方法。

读者理解：

这篇文章介绍了一种名为SuperCluster的全新方法，专注于解决大规模3D点云全景分割的问题。作者通过将这一任务重新定义为可扩展的图聚类问题，成功避免了当前全景分割方法中一些计算密集的步骤。文章主要的创新点包括可扩展图聚类、本地监督和仅超点分割三个方面。

首先，通过将全景分割任务看作是一个可扩展的图聚类问题，SuperCluster方法有效地将点云分割为具有相容语义的相邻点群，同时强调了对象结构的一致性。这种图聚类的方法有望更高效地处理大规模的3D点云，提高全景分割的性能。

其次，通过本地监督，SuperCluster方法利用神经网络预测图聚类问题的参数，并通过本地辅助任务进行监督，避免了与真实实例匹配的计算密集步骤。这使得训练过程更加高效，加速了模型的训练速度。

最后，SuperCluster方法还可以轻松推广到基于超点的方法，通过将相邻具有相似局部几何和颜色的点分组成超点，从而降低了计算和内存需求，使其能够处理更大规模的3D点云。

总体来说，SuperCluster通过结合图聚类和本地监督的方法，以及对超点的适应，为大规模3D点云的全景分割任务提供了一种高效且可扩展的解决方案，同时取得了在多个基准数据集上的最先进性能。这一方法对于推动大规模3D扫描领域全景方法的研究具有积极意义。

1 引言

本文提出了Super-Cluster，一种针对大规模3D全景分割任务的新方法。相对于现有方法，我们的模型通过将任务视为可扩展的图聚类问题，采用本地监督和仅超点分割的方法，实现了显著的资源效率、速度和可扩展性提升。在两个室内扫描数据集上，Super-Cluster取得了新的全景分割最先进水平，同时在两个大规模基准上也取得了首次全景最先进水平。超过30倍小的参数数量使得Super-Cluster在速度和资源消耗方面具有显著的优势。这一成就为大规模3D全景分割任务提供了一种更为高效的方法。

2 方法

本文提出了一种针对大规模3D点云的全景分割任务的方法，名为Super-Cluster。该方法主要包括三个方面的创新：

• 可扩展图聚类：将全景分割任务视为一个可扩展的图聚类问题。通过与相邻点的兼容类别和对象预测进行分组，形成了一个由点组成的图。通过图优化问题，将点云分割成具有相容语义的相邻点群，同时强调了对象结构的一致性。

• 本地监督：使用神经网络预测图聚类问题的参数，并通过本地辅助任务进行监督，包括点级和边级目标。这使得训练过程更加高效，避免了与真实实例匹配的计算密集步骤。

• 仅超点分割：方法可以轻松推广到基于超点的方法，通过将相邻具有相似局部几何和颜色的点分组成超点，从而提高了可扩展性。通过减少计算和内存需求，能够处理更大规模的3D点云。

总体贡献：

• 在两个室内扫描数据集上，Super-Cluster显著提高了全景分割的性能，分别达到了50.1 PQ (+7.8)和58.7 PQ (+25.2)。

• Super-Cluster模型仅包含209k可训练参数，性能超过30倍大的网络。推断速度快，训练速度提高了15倍。

• 通过将方法推广到基于超点的方法，大大减少了计算和内存需求，使其能够处理更大规模的3D点云。

这一方法通过图聚类和本地监督的结合，以及对超点的适应，为大规模3D点云的全景分割任务提供了一种高效且可扩展的解决方案。

3 总结

本文引入了SuperCluster方法，通过重新定义3D全景分割任务为可扩展图聚类问题，成功避免了当前全景分割方法中一些计算密集的步骤。在多个基准数据集上，SuperCluster模型取得了最先进的性能，具有更小的规模、更强的可扩展性和更易训练的优势。这一成果有望推动未来在大规模3D扫描领域开发全景方法的研究。

下载

在公众号「计算机视觉工坊」后台，回复「3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。

3D视觉方向交流群成立啦

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。