0%

weak_and_self_supervision

1.弱监督

1.1弱监督分类

  1. 不完全监督

    标签只标注一部分

  2. 不确切监督

    粗标注,或者跨label的标注

  3. 不精确监督

    标签中有错误标签

只针对上述的两种做简单介绍

1.2不完全监督

使用少量的标签进行监督训练。局限于单模态的监督训练

3D点云语义分割

​ 1.Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning

​ To avoid extensive annotation, we assume very few labels of point clouds are given (e.g., 1% or fewer), and each category has at least one labeled point. 2D images are without any annotations.

3D Box

​ 2.SS3D: Sparsely-Supervised 3D Object Detection from Point Cloud

​ 主要实现办法是用高置信度迭代挖掘正实例和背景,进一步使用生成的这些数据来训练3D detector。

1.3不确切监督

单模态

Scene-level监督3D Box

​ 1.3D Spatial Recognition without Spatially Labeled 3D

​ 仅使用scene-level tag进行监督。什么是scene-level的tag?仅表示这个场景下是否存在该类别,不知道在哪、有几个等其他额外信息。

Box监督mask(语义信息)

​ 2.BoxInst: High-Performance Instance Segmentation with Box Annotations

​ 由GT Box来监督生成图片的mask。

​ 作者设计两个loss来监督mask的生成,其中有启发的是使用了相邻像素的颜色相似度。

多模态交互

2D的标签(mask、gt)来监督3D的task

​ 3.FGR: Frustum-Aware Geometric Reasoning for Weakly Supervised 3D Vehicle Detection 2021

​ 4.MAP-Gen: An Automated 3D-Box Annotation Flow with Multimodal Attention Point Generator 2022

2.自监督

自动为数据产生标签

  1. Pre-training来挖掘数据的关系,然后再用于训练网络进行目标检测等。

  2. 多视图的数据增强,然后捕获其中的不变性(BOX的几何不变性)一致性损失函数设计。可能基于点,基于proposal,基于voxel等等。

​ 1.ProposalContrast: Unsupervised Pre-training for LiDAR-based 3D Object Detection

  1. 自监督训练——mask掉一部分点然后去训练网络学习内部关系 voxel-mae、mae。

​ 2.Voxel-MAE: Masked Autoencoders for Pre-training Large-scale Point Clouds

​ 用Unmasked Voxel来输入Encoder,然后非对称的Decoder来预测Voxel是否被占用(二分类问题),Masked和Unmasked的GT都是1,使用交叉熵来计算 loss

  1. 多模态的自监督—2d box和3d box之间。

正在加载今日诗词....