具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

在本发明公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本申请实施例中，如图1所示的深度图的补全方法，由电子设备执行，可用于室外场景的深度图补全，包括如下步骤。

步骤101：获取稀疏深度图，以及稀疏深度图对应的彩色图。

步骤102：将稀疏深度图和对应的彩色图输入深度图补全模型，得到补全后的稠密深度图；其中，深度图补全模型是基于训练数据集中的各稀疏深度样本图对应的半稠密深度样本图进行监督训练后得到的模型。

本申请实施例中，基于半稠密深度样本图监督训练深度图补全模型，不需要人工标注稠密深度图，大大减少了成本。利用稀疏深度图对应的彩色图，将稀疏深度图补全得到稠密深度图，使得稠密深度图可以用于后续的自动驾驶、无人机等室外场景的应用，使得低成本雷达替代价格昂贵的高质量雷达成为可能，大大降低成本。

目前，常用的获取稠密深度图的方法是：根据已有的稠密深度图进行降质处理，通常经过随机采样方法获取稀疏的深度图，将稀疏深度图输入神经网络提取特征，并使用原始的稠密深度图作为监督信号。通过这种完全有监督训练的方式，对稀疏深度图进行补全得到稠密深度图。然而，该方式存在以下问题：

1、随机采样模拟稀疏深度图的样式和激光雷达获取的稀疏深度图有一定差别。因为传感器的采样取决于其机械构造，而人工进行降质处理获取的稀疏深度图往往有很强的随机性，无法模拟出雷达采样得到的稀疏深度图。

2、在现实的室外场景中，稠密的深度图通过雷达往往是获取不到的，倘若进行手工标注则会耗费大量的时间和资源。

3、将深度图补全简化为了底层视觉增强问题，忽略了场景图可利用的其它特征信息和视觉系统的几何结构信息。且对于原始数据集的要求较高，需要预先准备稠密深度图，这也限制了该算法的应用和推广。

基于此，本实施例中提供了一种深度图的补全方法，基于半稠密深度样本图训练深度图补全模型，不需要人工标注稠密深度图，大大减少了成本。利用稀疏深度图对应的彩色图，将稀疏深度图补全得到稠密深度图，使得稠密深度图可以用于后续的自动驾驶、无人机等室外场景的应用，使得低成本雷达替代价格昂贵的高质量雷达成为可能，大大降低成本。其中，半稠密深度图(semi-dense depth map)是介于稀疏深度图和稠密深度图之间的深度图，即有少量深度值缺失的深度图。稠密深度图是指几乎所有的点的深度信息都被计算出来的图。稀疏深度图是指有大量的点的深度信息空缺的图。即稀疏深度图中有效恢复深度的区域＜半稠密深度图中有效恢复深度的区域＜稠密深度图中有效恢复深度的区域。

在一个实施例中，稀疏深度样本图对应的半稠密深度样本图是根据稀疏深度样本图对应的彩色图获得的。具体地，针对室外场景的采样，激光雷达由于采样方式和远距离场景的限制导致无法获取到稠密深度图，其采样得到的稀疏深度图中能有效恢复深度的区域占整个场景的30％-60％，相较于逐像素恢复的稠密深度图来说，稀疏深度图有很大比例的深度值缺失。因此，需要针对场景图构建半稠密深度图数据集。半稠密深度图可以通过彩色图获得。由于场景中出现遮挡，或者，场景中出现无纹理区域或重复纹理等情况，比如天空、光滑的桌面、水面等，找不到特征点，或者，场景图本身的质量，比如过暗或者过亮，导致部分像素点无法计算深度值，得到半稠密深度图，但是半稠密深度图中被计算出来的点是逐点匹配出来的，深度值是可信的，可用于监督训练。本实施例中，可以使用SGM或者其它的深度恢复算法，对彩色图进行深度解算，得到半稠密(semi-dense depth)深度图。

在一个实施例中，深度图补全模型包括预训练的第一特征提取子模型、预训练的第二特征提取子模型和融合子模型；将稀疏深度图和对应的彩色图输入深度图补全模型，得到补全后的稠密深度图，包括：将稀疏深度图输入第一特征提取子模型，得到第一特征图；其中，第一特征提取子模型包括第一残差金字塔模块和第一金字塔池化模块；将稀疏深度图对应的彩色图输入预训练的第二特征提取子模型，得到第二特征图；其中，第二特征提取子模型包括第二残差金字塔模块和第二金字塔池化模块；将第一特征图和第二特征图输入融合子模型，得到稠密深度图；其中，融合子模型用于对第一特征图和第二特征图进行拼接操作，得到融合对应的彩色图的空间特征信息和稀疏深度图的特征信息的融合特征图；根据融合特征图，得到稠密深度图。具体地，稀疏深度图经过第一残差金字塔模块后，分辨率逐渐降低，在经过第二金字塔池化模块后，和第二特征提取子模型中第二金字塔池化模块的输出结果进行通道维度的拼接操作，得到一组融合了彩色图和稀疏深度图特征信息的融合特征图。融合特征图融合了深度图的特征信息和彩色图的空间特征信息，基于融合特征图获取稠密深度图，使得稠密深度图更准确。

在一个实施例中，深度图补全模型示意图如图2所示。训练过程中，将稀疏深度样本图输入第一特征提取子模型201，将彩色样本图输入第二特征提取子模型202，基于第一特征提取子模型201的输出和第二特征提取子模型202的输出预测稠密深度图。在此过程中，使用半稠密深度图进行监督学习。在训练阶段，第二特征提取子模型针对最终预测输出的稠密深度图和半稠密深度图之间的损失函数(L_D)定义为：

公式a：

其中，N表示样本总量，表示半稠密深度图，Cⁱ表示输入的彩色图，表示稀疏深度图，表示深度图补全模型预测的稠密深度图。H为Huber损失，其定义如下：

公式b：

其中，y表示半稠密深度图，y*表示预测的稠密深度图。

在一个实施例中，获取稀疏深度图的特征信息，以及稀疏深度图对应的彩色图的空间特征信息，包括：将稀疏深度图输入预训练的第一特征提取子模型，得到第一特征图；其中，第一特征提取子模型包括第一残差金字塔模块和第一金字塔池化模块；将稀疏深度图对应的彩色图输入预训练的第二特征提取子模型，得到第二特征图；其中，第二特征提取子模型包括第二残差金字塔模块和第二金字塔池化模块。

以下对使用第二残差金字塔模块和第二金字塔池化模块构建第二特征提取子模型进行举例说明。

彩色图送入第二特征提取子模型中，第二特征提取子模型包括两条支路，第一条支路包括预训练的图像分类模块，图像分类模块可以采用残差网络(Resnet101)模型，第二条支路包括第二残差金字塔模块(虚线框内)和第二金字塔池化模块(Pyramid PoolingModule，PPM)。第一条支路中，对于神经网络来说，浅层卷积层提取的特征更加全局化，随着层数的不断加深，提取到的信息更能反映图像中的局部特征表达。本实施例中使用Resnet101模型。Resnet101模型是基于大型数据集训练的图像分类模块。在训练第二特征提取子模型之前，Resnet101模型是提前训练好的且模型参数固定保持不变的模型。当彩色图被送入Resnet101模型时，进行前向传导，不涉及模型参数更新。第二条支路中，包括由第二残差单元(Res block)组成的第二残差金字塔模块和第二金字塔池化模块。彩色图经过每一组第二残差单元后，尺寸减半。本实施例中，以第二残差金字塔模块包括级联的三组第二残差单元为例进行举例。对于级联的三组第二残差单元，其特征图的尺寸分别为原始图像分辨率的1/2、1/4和1/8。由于残差网络独特的跳跃连接设计有益于神经网络的梯度传导和模型收敛，本实施例中，基于残差网络的基本单元构建第一残差金字塔模块和第二残差金字塔模块，可以有效利用图像的多尺度信息，使得特征利用更充分。

针对深度补全的任务，为更好地利用彩色图的空间特征信息，使用第二金字塔池化模块。针对第二金字塔池化模块，第二金字塔池化模块的输入数据首先经过池化层(POOLING)得到三组不同尺度的特征图，在各自的分支内进行卷积处理，之后经过上采样处理得到相同尺度的特征图，最后进行通道维度的拼接操作得到输出。第二金字塔池化模块经过不同尺度的POOLING操作以及后续的卷积和拼接操作，可以很好的保留彩色图的全局上下文信息，增强特征的表征能力。

需要说明的是，本领域技术人员可以理解，第一特征提取子模型与第二特征提取子模型的结构相似，本实施例不再赘述。

需要说明的是，本领域技术人员可以理解，第一残差金字塔模块和第二残差金字塔模块中的残差单元的个数可以根据需要设置，本实施例不做限制。

在一个实施例中，第二特征提取子模型还包括图像分类模块，第二特征提取子模型的训练过程包括：将各彩色样本图分别输入图像分类模块，得到各彩色样本图的彩色特征图；将各彩色样本图的彩色特征图作为彩色样本图的监督数据；基于感知损失，使用各彩色样本图和各彩色样本图的监督数据，训练第二特征提取子模型。

具体地，为使提取到的彩色图的特征表达能力足够强，引入了感知损失的操作。对于第一条支路中Resnet101模型提取的彩色图特征，将特征图抽取出来。对于第二条支路中第二残差金字塔模块，输出最后一组第二残差单元之后的特征图，使用感知损失对两组特征图进行特征层面的对比，以此来监督残差金字塔模块的特征提取能力。本实施例中，感知损失可以是求解特征图像素级别的欧氏距离，感知损失的函数定义可以是：

公式c：

其中，C表示被抽取来计算感知损失的特征图的通道数，H表示被抽取来计算感知损失的特征图的高，W表示被抽取来计算感知损失的特征图的宽度，表示第二残差金字塔模块中的第i个第二残差单元的特征图，表示Resnet101模型的第j层的特征图，x表示输入的彩色图。

需要说明的是，本领域技术人员可以理解，本实施例中引入的Resnet101模型在模型训练阶段会用到，在模型测试或验证阶段，彩色图送入第二特征提取模型中的第二条支路即可，无需使用第一支路。

在一个实施例中，第一残差金字塔模块包括T个依次连接的第一残差单元，第二残差金字塔子模块包括T个依次连接的第二残差单元；第一残差金字塔模块中，第i+1个第一残差单元的输入数据为第i个第一残差单元的输出数据和第i个第二残差单元的输出数据拼接得到的数据；其中，T为大于1的正整数，i为小于T的正整数。为了有效利用彩色图的全局和局部特征信息，本实施例中，添加了从第二特征提取子模型中的第二残差金字塔模块到第一特征提取子模型中第一残差金字塔模块的跳跃级联操作。具体地，将第二残差金字塔模块中的第二残差单元的特征图送给第一残差金字塔模块中的第一残差单元，并进行通道维度的拼接操作(Concatenation，简称Concat)。

在一个实施例中，根据融合特征图，得到稠密深度图，包括：获取第一残差金字塔模块中每个第一残差单元的输出数据；基于每个第一残差单元的输出数据，获取稀疏深度图的置信度表征图；根据融合特征图和置信度表征图，得到稠密深度图。具体地，对于室外场景的稀疏深度图，由于其缺失了很多深度值，导致深度图中可利用的信息非常低。此外，稀疏深度图中包含很多噪声点，对深度图补全非常不利，尤其是传统的插值方法中对于噪声点的深度值补全经常出现较大的偏差。为了更加准确的判断深度值点的可靠性和提高深度值补全的准确性，本实施例中，计算场景区域逐像素的可信度，得到稀疏深度图的置信度表征图，再融合特征图和置信度表征图，得到稠密深度图。

值得一提的是，针对场景中逐像素点的置信度计算，得到置信度表征图，基于置信度表征图得到稠密深度图，可以减小噪点的影响，对逐像素点的可靠性评估增强了深度补全的准确性。

可选择的，融合子模型包括第一处理模块；基于每个第一残差单元的输出数据，获取稀疏深度图的置信度表征图，包括：将每个第一残差单元的输出数据输入第一处理模块，得到置信度表征图；其中，第一处理模块对每个第一残差单元的输出数据依次进行上采样处理、拼接处理和卷积处理，并通过逻辑回归处理得到置信度表征图。

可选择的，融合子模型还包括第二处理模块、卷积模块和点乘模块；根据融合特征图和置信度表征图，得到稠密深度图，包括：将融合特征图输入卷积模块；将卷积模块中各卷积层的中间输出输入第二处理模块，得到融合输出图；其中，第二处理模块用于对卷积模块中各卷积层的中间输出进行依次进行上采样处理、拼接处理和卷积处理，得到融合输出图；将融合输出图和置信度表征图输入点乘模块，得到稠密深度图；其中，点乘模块用于对融合输出图和置信度表征图进行点乘处理，得到稠密深度图。

具体地，本实施例中，深度图补全模型的示意图如图3所示。深度图补全模型包括第一特征提取子模型301、第二特征提取子模型302和融合子模型303。将稀疏深度图输入第一特征提取子模型301，将彩色图输入第二特征提取子模型302。第一特征提取子模型301包括第一残差金字塔模块3011和第一金字塔池化模块3012，第二特征提取子模型302包括第二残差金字塔模块3021、第二金字塔池化模块3022和图像分类模块3023，图像分类模块3023输出的彩色特征图3041和第二残差金字塔模块3021输出的预测特征图3042计算感知损失，以对第二特征提取子模块302进行监督训练。融合子模型303包括拼接模块3031、卷积模块3032、第一处理模块3033、第二处理模块3034和点乘模块3035。拼接模块3031对第一特征图和第二特征图进行拼接，得到的拼接图3043。卷积模块3032对拼接图3043进行卷积操作。第一处理模块3033对第一残差金字塔模块3011的每一组第一残差单元的中间输出进行上采样、拼接和卷积处理，并使用Softmax逻辑回归出和原始的稀疏深度图相同分辨率的置信度表征图3044(confidence map)。同样的，第二处理模块3034对卷积模块3032中的堆叠卷积层的中间输出进行上采样、拼接和卷积处理，得到融合输出图。点乘模块3035对融合输出图和置信度表征图3044进行点乘处理，从而得到最终预测的稠密深度图3045(densedepth)。其中，融合输出图和置信度表征图的点乘处理的计算公式如下：

公式d：D_out＝D_p(i,j)*e^C(i,j)

其中，C(i,j)表示置信度表征图，D_p(i,j)表示融合输出图，D_out表示最终计算的稠密深度图。公式d进行的是逐像素点的乘法运算，(i,j)表示该像素点的坐标位置。

需要说明的是，本领域技术人员可以理解，本实施例提及的深度图的补全方法适用于室外场景的稀疏深度图补全，也可以将其用于室内场景或其它深度图结果较为稀疏的情况，具有一定的可迁移性。

以上各实施例可以相互结合相互引用，例如下面是各实施例结合后的例子，然并不以此为限；各实施例在不矛盾的前提下可以任意结合成为一个新的实施例。

在一个实施例中，如图4所示为由电子设备端执行的深度图的补全方法，包括如下步骤。

步骤401：获取稀疏深度图，以及稀疏深度图对应的彩色图。

步骤402：将稀疏深度图输入第一特征提取子模型，得到第一特征图。其中，第一特征提取子模型包括第一残差金字塔模块和第一金字塔池化模块。

步骤403：将稀疏深度图对应的彩色图输入预训练的第二特征提取子模型，得到第二特征图。其中，第二特征提取子模型包括第二残差金字塔模块和第二金字塔池化模块。

步骤404：将第一特征图和第二特征图输入融合子模型，得到稠密深度图。其中，融合子模型用于对第一特征图和第二特征图进行拼接操作，得到融合对应的彩色图的空间特征信息和稀疏深度图的特征信息的融合特征图；根据融合特征图，得到稠密深度图。其中，第一特征提取子模型、第二特征提取子模型和融合子模型基于训练数据集中的各稀疏深度样本图对应的半稠密深度样本图进行监督训练。稀疏深度样本图对应的半稠密深度样本图是根据稀疏深度样本图对应的彩色图获得的。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本申请实施例还提供一种电子设备，如图5所示，包括：至少一个处理器501；以及与所述至少一个处理器501通信连接的存储器502；其中，所述存储器存储有可被所述至少一个处理器501执行的指令，所述指令被所述至少一个处理器501执行，以使所述至少一个处理器501能够执行上述方法实施例。

其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。

处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。

本申请实施例还提供一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。