具体实施方式

下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

实施例：图1示出了本发明实施例的基于不可见投影二维码的室内定位方法的实现流程图。参照图1，以无人机的室内定位为例对本发明实施例的基于不可见投影二维码的定位方法进行详细的说明，本发明实施例的基于不可见投影二维码的室内定位方法包括以下步骤：

获取融合有二维码图像信息的用于展示无人机任务场景的目标视频，所述目标视频由多组图像按照相应的顺序合并而成，每组图像中的各个图像按照相应的顺序排列，每组图像中的各个图像之间的明暗分布变化规律对应于所述二维码图像信息，所述目标视频的帧率大于预定的人眼可识别的图像亮度最大变化频率；

在将所述目标视频投影至室内的预定地面区域的过程中，待定位的无人机获取每组图像中的各个图像之间的明暗分布变化规律，根据所述明暗分布变化规律获取对应的二维码图像，并根据所述二维码图像获取自身的位置信息。

进一步地，本发明实施例中，所述获取融合有二维码图像信息的用于展示无人机任务场景的目标视频包括：

提取能够展示无人机任务场景的原始视频的每帧图像；

对提取到的每帧图像进行预定的操作以获取所述多组图像；

根据预定的合并顺序对所述多组图像进行合并以获取所述目标视频，所述目标视频与所述原始视频等时长。

再进一步地，本发明实施例中，所述预定的操作包括：

根据预定的所述目标视频的分辨率对待操作的目标帧图像的尺寸进行调整；

对尺寸调整后的目标帧图像进行色域转换；

对色域转换后的目标帧图像进行预定次数的复制，以获取一组待亮度调整的图像；

根据所述二维码图像信息对所述一组待亮度调整的图像中的各个图像的相应位置的亮度进行相应的调整，并对亮度调整后的各个图像进行色域逆转换，以获取相应的用于合成所述目标视频的一组图像。

再进一步地，本发明实施例中，所述对尺寸调整后的目标帧图像进行色域转换具体为：将尺寸调整后的目标帧图像自RGB色域转换至CIELAB色域；

所述一组待亮度调整的图像包含两个色域转换后的目标帧图像；

所述根据所述二维码图像信息对所述一组待亮度调整的图像中的各个图像的相应位置的亮度进行相应的调整包括：

根据所述二维码图像信息获取每个图像的各个位置所隐藏的信息；

根据获取的每个图像的各个位置所隐藏的信息，采用曼彻斯特编码的方式对每个图像的相应位置的原始像素增加或者减去预定的光强。

再进一步地，本发明实施例中，所述待定位的无人机获取每组图像中的各个图像之间的明暗分布变化规律，根据所述明暗分布变化规律获取对应的二维码图像，并根据所述二维码图像获取自身的位置信息包括：

所述无人机的机载摄像头依次获取每组图像中的各个图像；

所述无人机的机载计算机根据获取的每组图像中的各个图像获取各个图像之间的明暗分布变化规律，

根据所述明暗分布变化规律获取对应的二维码图像，

根据所述二维码图像获取二维码角点的像素坐标和二维码的id，

根据所述二维码的id和预获取的二维码地图信息获取二维码角点的世界坐标，

根据所述二维码角点的像素坐标、所述二维码角点的世界坐标和预获取的机载摄像头参数矩阵获取所述无人机相对于二维码地图坐标系的位置信息。

再进一步地，本发明实施例中，所述机载计算机基于解码算法获取所述二维码角点的像素坐标和所述二维码角点的世界坐标；

所述解码算法包括：

将获取的当前帧图像F^now自RGB色域转换至CIELAB色域，并提取相应的亮度通道图像

将亮度通道图像与预获取的上一帧图像F^pre对应的亮度通道图像对齐，并将对齐后的亮度通道图像与亮度通道图像作差，得到新图像F_b；

对新图像F_b进行图像预处理以获取二维码图像；

对所述二维码图像进行检测以获取所述二维码角点的像素坐标和所述二维码的id；

根据所述二维码的id和所述二维码地图信息获取所述二维码角点的世界坐标。

再进一步地，本发明实施例中，所述将亮度通道图像与预获取的上一帧图像F^pre对应的亮度通道图像对齐采用基于采样的图像对齐方法所实现；

所述基于采样的图像对齐方法具体为：

将亮度通道图像和亮度通道图像分别沿横轴等间距取N列，得到像素列T_i ^now(i＝1,...,N)和像素列T_i ^pre(i＝1,...,N)；

若亮度通道图像与亮度通道图像之间的纵向位移的像素数为m_y，则将亮度通道图像与亮度通道图像对齐时需要调整的最佳纵向位移的像素数需满足：

上式中，b为预定的最大像素偏移量，h为亮度通道图像和亮度通道图像的高度，T_i ^pre(0:h-m_y)和T_i ^pre(-m_y:h)分别表示的第i个像素列T_i ^pre的第0到第h-m_y-1个像素和第-m_y到第h-1个像素，T_i ^now(m_y:h)和T_i ^now(0:h+m_y)分别表示的第i个像素列T_i ^now的第m_y到第h-1个像素和第0到第h+m_y-1个像素。

最佳横向位移的像素数与纵向位移的计算方法类似。

再进一步地，本发明实施例中，所述图像预处理包括依次进行的归一化环节、中值滤波环节、阈值化环节、形态学开运算环节和形态学闭运算环节；

所述归一化环节用于将新图像F_b的亮度范围限定到0-255；

所述中值滤波环节用于去除新图像F_b的噪点；

所述阈值化环节用于将噪点去除后的新图像F_b转换为二值化黑白图像；

所述形态学开运算环节用于去除所述二值化黑白图像的噪点；

所述形态学闭运算环节用于将噪点去除后的二值化黑白图像的外边界连接起来，以获取二维码图像。

再进一步地，本发明实施例中，所述对所述二维码图像进行检测以获取所述二维码角点的像素坐标和所述二维码的id基于预定的二维码检测工具包实现。

再进一步地，本发明实施例中，所述机载计算机根据所述二维码角点的像素坐标、所述二维码角点的世界坐标和预获取的机载摄像头参数矩阵进行位姿解算，以获取所述无人机相对于二维码地图坐标系的位置信息；

所述位姿解算基于OpenCV软件实现。

具体地，本发明实施例中，对于色域转换的步骤，虽然根据文献材料记载，将图像自RGB转换至CIELAB色域是最好的，但转换到其他色域进行亮度调整也可以达到相似的效果。对于输入输出的视频帧率和机载摄像头的帧率，需要根据原始视频和硬件条件进行调整。如投影仪支持120fps的刷新率，那么输出的视频帧率就要达到120fps。对于图像预处理，可能存在不同的处理步骤和顺序能达到相同的效果。虽然实验表明由二维码获得的姿态信息误差过大，但或许通过滤波等操作也可以减小误差，重新利用姿态信息。

本发明实施例的基于不可见投影二维码的室内定位方法将二维码图案通过亮度的高速变化融入到原视频内容中以生成新视频。当投影仪向地面投射亮度快速变化的新视频时，由于视觉暂留效应，人眼只能看见低频的原始视频内容，而无人机上的高频摄像头可以通过帧间差分(对相邻两帧作差)的方式捕捉到二维码标记，进而估计自身的位姿。本发明实施例的基于不可见投影二维码的室内定位方法能够低成本、高精度(5cm以内)地实现无人机的室内定位，而且能够通过投影的画面对无人机的任务场景进行生动的展示，因此适用于博物馆和学校等场所的无人机教学与展示中。

图2示出了本发明实施例的基于不可见投影二维码的室内定位方法的实现系统的原理示意图。参照图2，本发明实施例的基于不可见投影二维码的室内定位方法的实现系统分为发送端和接收端两部分。在发送端，个人计算机(PC)首先经过编码算法将二维码图像信息嵌入视频中，最终由投影仪向地面投影。投射的画面包括原始画面和高频闪烁的标记物，由于人眼的视觉暂留效应，观察者只能看到原始画面，而无人机上的高速摄像头可以拍到二维码标记物信息，进而在接收端进行处理。在接收端，机载计算机首先通过解码算法获得二维码角点的2维平面坐标和3维世界坐标，接着结合相机标定获得的相机参数进行姿态估计，最终得到位置信息用于无人机定位。这里的相机指机载摄像头的相机。

以下对本发明实施例的基于不可见投影二维码的室内定位方法的实现系统的工作原理进行更为详细的说明：

发送端：

发送端主要涉及编码算法。编码指的是利用人眼视觉系统的闪烁混合特性，将二维码图像信息以光强变化的形式隐藏在一段高帧率显示的视频中的过程。闪烁混合特性指的是，对于频率在40-50Hz以上的高速光强变化，人眼只会接收到平均亮度。现有的激光投影仪大多均具有48Hz以上，最高达120Hz的垂直刷新率，为视觉隐藏算法提供了硬件基础。

输入：原始视频V_i，二维码图像M，光强变化范围ΔL，输出视频的分辨率w×h。

步骤1：从帧率为30fps的原视频V_i中获得一帧，调整尺寸为w×h并匹配投影仪。

步骤2：色域转换，将图像从RGB色域转换到CIELAB色域，以进行亮度调整。

人眼对不同颜色的亮度变化的敏感程度是不同的，因此编码时应尽量确保不同颜色以相同的视觉感受进行亮度的增减。有研究表明与RGB，HSL和YUV等色彩空间相比，采用CIELAB色彩空间进行亮度调整最符合人眼视觉特性。CIELAB是一种观感均一的空间，主要分为L,a,b三个通道，其中L是亮度通道,a和b代表颜色。在该色彩空间进行的亮度调整可以均匀地分配到RGB通道上，使人眼认为不同的颜色产生了相同的亮度调整。因此，编码算法首先将RGB图像转化到CIELAB色彩空间，接着在L通道进行亮度调整，最后转换到RGB色彩空间进行投影显示。

步骤3：复制当前帧，得到一组相同的图像。

步骤4：对这组图像，根据二维码图像M相应位置的像素信息进行亮度的增减。

编码的原理如图3。根据每个图像位置隐藏的信息，对相应位置的原始像素增加或减去光强ΔL进行信息调制。隐藏的信息分为0和1两种，编码方式类似，只是相位不同。对于bit 0，编码方式为LOW-HIGH，而bit 1为HIGH-LOW。这种编码方式被称为曼彻斯特编码，可以确保图像一直处于高速闪烁中，降低二维码的可见性。在原始图像中增加或减去的光强ΔL是根据投影仪亮度与环境亮度测试的，在二维码可以被解码的前提下，应该尽可能降低ΔL以降低可见性。

步骤5：色域转换，将这组图像从CIELAB色域转换到RGB色域。

步骤6：合并处理过的图像，生成一段60fps的新视频。

虽然本发明实施例按照输入30fps，输出60fps的设置举例，但该算法适用于任何输出帧率是输入帧率的整数倍的情况。

接收端：

接收端主要包括解码算法和位姿解算两个环节。解码算法负责从机载摄像头(120fps)拍摄的视频中识别二维码，获取二维码角点的像素坐标和二维码id，并结合二维码地图信息得到世界坐标。位姿解算则根据像素坐标，世界坐标和相机参数得到无人机相对于地图坐标系的位置与姿态。由于姿态误差较大，只取得位置信息作为定位结果。

解码算法部分

输入：从相机获取的一帧RGB图像F^now；上一帧的亮度通道图像二维码地图C_map。

步骤1：将图像F^now从RGB色域转换到CIELAB色域，并提取亮度通道

步骤2：对齐当前图像与上一帧图像，以消除无人机位移带来的抖动。

由于摄像头拍摄的帧率很高(120fps)，同时显示内容的变化频率远低于视频的刷新频率，理论上只要将存在亮度变化的相邻两帧的亮度通道作差，即可得到包含二维码的画面。然而，由于无人机的运动，作差后的图像在画面纹理的交界处存在因位移产生的明亮边缘。这些边缘可能将二维码拦腰截断，严重影响检测效果。因此，需要将两帧画面进行上下左右平移，尽可能消除边缘。由于平移的距离很小，对定位精度的影响可以不作考虑。

综合计算速度与对齐准确性，本算法采用基于采样的图像对齐方法。对于w×h大小的图像，若要在纵向对齐，则在上一帧和这一帧分别沿横轴等间距取N列,得到像素列T_i ^pre(i＝1,...,N)和T_i ^now(i＝1,...,N)。假设纵向位移的像素数为m_y，则对齐时的需满足：

上式中，b为预定的最大像素偏移量，h为亮度通道图像和亮度通道图像的高度，T_i ^pre(0:h-m_y)和T_i ^pre(-m_y:h)分别表示的第i个像素列T_i ^pre的第0到第h-m_y-1个像素和第-m_y到第h-1个像素，T_i ^now(m_y:h)和T_i ^now(0:h+m_y)分别表示的第i个像素列的第m_y到第h-1个像素和第0到第h+m_y-1个像素。沿横轴对齐的方法与此类似。综合考虑速度与估计精度，可以选N＝3。

步骤3：将对齐后的图像作差，得到新图像F_b。

步骤4：保存当前的亮度图为以便解算下一帧时使用。

步骤5：图像预处理，包括归一化，中值滤波，阈值化，形态学开运算，形态学闭运算。

归一化用来将亮度范围限定到0-255，中值滤波可以去除噪点，阈值化将图像变为二值化黑白图像，形态学开运算继续去除小的噪点，形态学闭运算将二维码的外边界连接起来，以待检测。

在这些步骤中，最关键的是为阈值化操作选择阈值。只有合理的阈值才能提取出二维码形状。由于机体移动造成的边缘常常一黑一白成对存在，且二维码的黑白像素可以看作面积几乎相同，选择整个图像的中位数作为阈值。

步骤6：二维码检测，获取二维码角点的像素坐标和id。这里可以使用很多已有的开源工具包，比如AprilTag 3，ArUco，OpenCV等。

步骤7：根据二维码的id，结合二维码地图C_map，计算二维码角点的世界坐标。

位姿解算部分

步骤8：根据二维码角点的像素坐标、世界坐标和相机矩阵进行位姿解算。解算过程属于求解PnP问题，可以采用OpenCV自带的方法，如IPPE，EPNP等。

至此，接收端的机载计算机便得到了自身相对于投影二维码坐标系的位置信息。经实验验证精度可达到5cm以内。

以下对本发明实施例的基于不可见投影二维码的室内定位方法的有益效果进行详细说明：

如表1所示，若与其他室内定位方式进行对比：与动作捕捉系统(Motion CaptureSystem)相比，动捕的成本很高，而本发明实施例的方法的成本较低，只需要投影仪的费用，同时本发明实施例的方法的定位精度(5cm以内)可以满足大部分室内无人机飞行任务的需要。与超宽带定位(Ultra-Wide Band，UWB)相比，本发明实施例的方法精度相似，但本发明实施例的方法高度定位更精确，且提供了场景可视化的可能，具有更好的展示效果；同时本发明实施例的方法不依赖电磁信号，抗电磁干扰能力强。低成本和较高精度是由基于二维码的定位技术决定的，而场景可视化是通过投影仪和二维码隐藏技术共同实现的。

表1常见定位方式效果对比

若与传统的二维码定位方式进行对比：传统的二维码定位方式是将全部二维码打印出来，贴到地面上进行定位，布置与维护较为繁琐。同时，二维码呈现的黑白色块非常影响观众的视觉感受，无法进行场景可视化。而本发明实施例的方法将二维码通过投影仪投射出来，场景布置简单，且无需维护，只要使用时打开投影仪即可。同时，本发明实施例的方法通过视觉暂留效应将二维码隐藏到快速闪烁的视频画面中，不影响观众对投影画面的观感，极大提升了室内无人机飞行场景的可视化效果。

若与增强现实室内无人机平台进行对比：这些平台通常采用动作捕捉系统+投影仪、UWB+投影仪的方案。与这些方案对比，本发明实施例的方法只需要投影仪作为外部设备，成本更低；且本发明实施例的方法采用的坐标系是投影画面坐标系，省去了一次坐标系对齐的过程，操作更为简单。

本发明实施例的基于不可见投影二维码的室内定位方法的定位结果如图4所示，统计结果如表2。可以看到本发明实施例的方法和UWB的定位精度相似，误差在2～4cm，X轴和Y轴定位精度要高于Z轴。

表2本发明实施例的方法的统计结果

本发明实施例的基于不可见投影二维码的室内定位方法，只需要最小的硬件支出(一个投影仪)以降低硬件成本，同时可以提供室内飞行任务所需的位置定位精度，且不影响观众的观看感受；引入计算机视觉领域的屏幕-摄像头通讯(Screen-CameraCommunication)技术，利用人眼视觉特性，将观众不希望看到的二维码信息隐藏在高频闪烁的画面中，在不影响视觉效果的同时完成定位任务；在不加滤波的情况下可以实现2～4cm的定位精度，满足大多数室内机器人任务的位置定位需求。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。