阅读说明：本技术 可移动平台的控制方法、装置、设备及存储介质 (Control method, device and equipment of movable platform and storage medium ) 是由 周游 刘洁 陆正茂 于 2019-07-01 设计创作，主要内容包括：本发明实施例提供一种可移动平台的控制方法、装置、设备及存储介质。本发明实施例通过获取当前时刻拍摄装置在目标区域中拍摄的第一图像,并从多个历史图像中确定与第一图像匹配的第二图像,根据第一图像和第二图像,确定当前时刻可移动平台所处的第一位置点相对于拍摄装置在拍摄第二图像时可移动平台所处的第二位置点的位置信息,根据该第一位置点相对于该第二位置点的位置信息,可确定出该第一位置点相对于该可移动平台在历史时间在该目标区域中移动的历史轨迹的位置信息,根据该历史轨迹可实现对该无人机的定位,从而可提高对该可移动平台的定位精度。(The embodiment of the invention provides a method, a device, equipment and a storage medium for controlling a movable platform. According to the embodiment of the invention, the first image shot by the shooting device at the current moment in the target area is obtained, the second image matched with the first image is determined from the plurality of historical images, the position information of the first position point of the movable platform at the current moment relative to the second position point of the movable platform when the shooting device shoots the second image is determined according to the first image and the second image, the position information of the first position point relative to the historical track of the movable platform moving in the target area at the historical time can be determined according to the position information of the first position point relative to the second position point, and the positioning of the unmanned aerial vehicle can be realized according to the historical track, so that the positioning accuracy of the movable platform can be improved.)

可移动平台的控制方法、装置、设备及存储介质

技术领域

本发明实施例涉及控制技术领域，尤其涉及一种可移动平台的控制方法、装置、设备及存储介质。

背景技术

现有技术中可移动平台例如无人机、可移动机器人等已经被应用在了很多领域。在可移动平台移动的过程中，需要对该可移动平台进行定位，通常采用全球定位系统(Global Positioning System，GPS)对该可移动平台进行定位。

但是，采用GPS对该可移动平台进行定位时存在一定的误差，或者，该可移动平台所在的区域可能没有GPS信号，从而很难精确该可移动平台的定位信息，导致可移动平台不能实现导航。

发明内容

本发明实施例提供一种可移动平台的控制方法、装置、设备及存储介质，以实现不依赖于GPS的导航。

本发明实施例的第一方面是提供一种可移动平台的控制方法，该方法包括：

获取当前时刻所述拍摄装置在目标区域中拍摄的第一图像；

确定多个历史图像中与所述第一图像匹配的第二图像，所述多个历史图像是历史时间内所述可移动平台在所述目标区域中移动时所述拍摄装置拍摄的；

根据所述第一图像和所述第二图像，确定当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息；

根据当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息，控制所述可移动平台在所述目标区域中移动。

本发明实施例的第二方面是提供一种可移动平台的控制方法，该方法包括：

获取用户对至少一个控件的选择操作，所述至少一个控件中每个控件用于控制可移动平台完成一项任务；

根据所述用户对控制终端显示的至少一个控件的选择顺序，生成控制指令流；

将所述控制指令流发送给所述可移动平台，以使所述可移动平台根据所述控制指令流和多个历史图像执行所述至少一个控件对应的任务，所述多个历史图像是历史时间内所述可移动平台在所述目标区域中移动时所述可移动平台上搭载的拍摄装置拍摄的。

本发明实施例的第三方面是提供一种可移动平台的控制装置，包括：存储器和处理器；

所述存储器用于存储程序代码；

所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获取当前时刻所述拍摄装置在目标区域中拍摄的第一图像；

确定多个历史图像中与所述第一图像匹配的第二图像，所述多个历史图像是历史时间内所述可移动平台在所述目标区域中移动时所述拍摄装置拍摄的；

根据所述第一图像和所述第二图像，确定当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息；

根据当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息，控制所述可移动平台在所述目标区域中移动。

本发明实施例的第四方面是提供一种可移动平台，包括：

机身；

动力系统，安装在所述机身，用于提供动力；

拍摄装置，安装在所述机身，用于拍摄图像；以及

如第三方面所述的控制装置。

本发明实施例的第五方面是提供一种控制终端，包括：显示组件、存储器、处理器和通讯接口；

其中，所述显示组件用于显示控件；

所述存储器用于存储程序代码；

所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获取用户对所述显示组件显示的至少一个控件的选择操作，所述至少一个控件中每个控件用于控制可移动平台完成一项任务；

根据所述用户对至少一个控件的选择顺序，生成控制指令流；

通过所述通讯接口将所述控制指令流发送给所述可移动平台，以使所述可移动平台根据所述控制指令流和多个历史图像执行所述至少一个控件对应的任务，所述多个历史图像是历史时间内所述可移动平台在所述目标区域中移动时所述可移动平台上搭载的拍摄装置拍摄的。

本发明实施例的第六方面是提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面或第二方面所述的方法。

本实施例提供的可移动平台的控制方法、装置、设备及存储介质，通过获取当前时刻拍摄装置在目标区域中拍摄的第一图像，并从多个历史图像中确定与第一图像匹配的第二图像，根据第一图像和第二图像，确定当前时刻可移动平台所处的第一位置点相对于拍摄装置在拍摄第二图像时可移动平台所处的第二位置点的位置信息，根据该第一位置点相对于该第二位置点的位置信息，可确定出该第一位置点相对于该可移动平台在历史时间在该目标区域中移动的历史轨迹的位置信息，根据该历史轨迹可实现对该无人机的定位，从而可提高对该可移动平台的定位精度，实现不依赖于GPS的导航。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种无人机的示意图；

图2为本发明实施例提供的可移动平台的控制方法的流程图；

图3为本发明实施例提供的一种历史轨迹的示意图；

图4为本发明实施例提供的另一种历史轨迹的示意图；

图5为本发明实施例提供的三维点和特征点的示意图；

图6为本发明另一实施例提供的可移动平台的控制方法的流程图；

图7为本发明实施例提供的一种无人机飞行轨迹的示意图；

图8为本发明实施例提供的另一种无人机飞行轨迹的示意图；

图9为本发明另一实施例提供的可移动平台的控制方法的流程图；

图10为本发明实施例提供的一种对无人机的编程实现示意图；

图11为本发明实施例提供的可移动平台的控制装置的结构图；

图12为本发明另一实施例提供的控制终端的结构图。

附图标记：

11：主相机； 12：前视双目系统； 50：目标物体；

51：第一图像； 52：第二图像； 110：控制装置；

111：存储器； 112：处理器； 120：控制终端；

121：显示组件； 122：存储器； 123：处理器；

124：通讯接口。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

本发明实施例提供一种可移动平台的控制方法。可选的，所述可移动平台包括如下至少一种：可移动机器人、无人机。本实施例以无人机为例进行示意性说明。如图1所示，无人机包括主相机11和前视双目系统12。无人机上的拍摄装置具体可以是如图1所示的主相机11。可以理解，此处只是示意性说明，并不限定无人机搭载的相机的个数、以及无人机可搭载的其他类型的感知系统。

图2为本发明实施例提供的可移动平台的控制方法的流程图。本实施例方法的执行主体可以是可移动平台中的控制装置，该控制装置可以是对该可移动平台进行移动控制的控制装置。在本实施例中，所述可移动平台包括拍摄装置，该拍摄装置可以是相机、摄像机、摄像头等。另外，在其他实施例中，本实施例方法的执行主体也可以是该可移动平台对应的控制终端，例如遥控器、平板电脑、智能手机等。

如图2所示，本实施例中的方法，可以包括：

步骤S201、获取当前时刻所述拍摄装置在目标区域中拍摄的第一图像。

在本实施例中，无人机可以在目标区域中飞行，该目标区域可以是家里，也可以是公园，此处以家里为例进行示意性说明。

可选的，所述获取当前时刻所述拍摄装置在目标区域中拍摄的第一图像之前，所述方法可以包括：根据所述历史时间内所述可移动平台在所述目标区域内移动过程中所述可移动平台的位置信息和/或姿态信息，确定所述历史时间内所述可移动平台在所述目标区域中移动的历史轨迹。

如图3所示，目标区域包括客厅、厨房、次卧、主卧、阳台、书房和厕所等。在历史时间内，用户可以手持无人机依次走过客厅、厨房、次卧、主卧、阳台、书房和厕所，或者，用户可以通过无人机的遥控器控制该无人机在该目标区域内飞行，并依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所。在无人机依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所的过程中，可通过无人机上的全球定位系统(Global Positioning System，GPS)、视觉里程计(Visual Odometry，VO)或视觉-惯性里程计(Visual-Inertial Odometry，VIO)实时记录无人机的位置信息。可以理解，当该目标区域内无GPS信号时，可通过VO或VIO实时记录无人机的位置信息。

另外，该无人机上还可以设置有惯性测量单元(Inertial neasurement unit，IMU)，IMU可用于检测无人机的姿态。根据无人机实时的位置信息和/或姿态，可确定无人机依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所的飞行轨迹，此处，可以将该飞行轨迹记为历史轨迹。

可选的，所述确定所述历史时间内所述可移动平台在所述目标区域中移动的历史轨迹之后，所述方法还包括：确定所述历史轨迹中的多个兴趣点。可选的，所述可移动平台在所述兴趣点原地旋转一周；或者所述可移动平台在所述兴趣点发生震动；或者当所述可移动平台位于所述兴趣点时，所述可移动平台上的预设按钮被触发。

例如，在无人机依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所的过程中，用户还可以对该历史轨迹中的兴趣点进行标记，如图3所示，点A、点B、点C、点D、点E、点F、点G分别为该历史轨迹中的兴趣点。

作为一种可能的方式，无人机可以在兴趣点原地旋转一周即360度，也就是说，当无人机在某一点原地旋转一周时，无人机可将该点记录为兴趣点。可选的，当无人机在兴趣点原地旋转一周的同时，该无人机上的主相机还可以拍摄周围的环境。可选的，所述多个历史图像包括所述可移动平台在所述兴趣点原地旋转一周时所述拍摄装置拍摄的图像。也就是说，主相机拍摄的多个历史图像包括该无人机在各个兴趣点时该主相机拍摄的图像，另外，该主相机不限于仅在兴趣点拍摄周围的环境，当该无人机不在兴趣点时，该主相机也可以拍摄周围的环境。因此，该主相机拍摄的多个历史图像不仅可以包括该主相机在兴趣点拍摄的图像，也可以包括该主相机在历史轨迹上除兴趣点之外的其他轨迹点拍摄的图像。

作为另一种可能的方式，如果是用户手持该无人机依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所，则当无人机经过兴趣点时，用户可以轻微晃动该无人机，使得该无人机在兴趣点产生震动。也就是说，当无人机在某一点产生震动时，无人机可将该点记录为兴趣点。

作为再一种可能的方式，当无人机经过兴趣点时，该用户还可以点击该无人机上的某个预设按钮，或点击该无人机的遥控器上的某个预设按钮。也就是说，当该预设按钮被触发例如被点击时，该无人机所在的地点即为兴趣点。

此外，在无人机依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所的过程中，无人机上的主相机可以定时拍摄图像，以记录无人机周围和下方的环境。此处，将无人机依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所的过程中，主相机拍摄的图像记为历史图像。在该主相机拍摄每个历史图像时，该无人机上的前视双目系统可用于计算每个历史图像的深度信息。同时，无人机上的GPS、VO或VIO可记录该主相机拍摄每个历史图像时无人机的位置信息。也就是说，该主相机拍摄的每个历史图像分别对应有深度信息、以及该主相机拍摄该历史图像时该无人机的位置信息。

由于长时间的累积，导致VO或VIO输出的无人机的位置信息会产生漂移，即越来越偏离真实值，因此，需要对该无人机的历史轨迹进行修正。由于无人机在进出房间时实际经过了同一个地方即房间门，因此，可以通过回环检测(Loop Closure)算法对该历史轨迹进行修正，修正后的历史轨迹如图4所示。另外，在本实施例中，以该目标区域的某个点为坐标原点，建立一个三维坐标系。例如图4所示，以该目标区域的左下角为坐标原点，从该坐标原点指向北的方向为该三维坐标系的X轴方向，从该坐标原点指向东的方向为该三维坐标系的Y轴方向，经过该坐标原点垂直于X轴和Y轴的方向为该三维坐标系的Z轴方向(未示出)，此处，将该三维坐标系记为预设坐标系。可以理解，该历史轨迹上的每个点在该三维坐标系中均对应有一个三维坐标，由于图4所示为俯视图，因此，高度信息未示出，但本实施例并不限定该历史轨迹上每个点的高度。例如，主卧中的兴趣点D在北向(X轴)5米、东向(Y轴)8米处。

可选的，所述获取当前时刻所述拍摄装置在目标区域中拍摄的第一图像，包括：控制所述可移动平台在当前时刻从所述多个兴趣点中的一个兴趣点起飞；获取所述可移动平台在所述兴趣点原地旋转一周时所述拍摄装置拍摄的第一图像。

在记录完无人机的历史轨迹和兴趣点之后，该无人机在下次重新上电使用时，用户可以将该无人机放在该目标区域内的任何一个地方，具体的，该用户可以将该无人机放在该目标区域内的某个兴趣点，例如点A。当前时刻该无人机从点A起飞，起飞后，该无人机可通过主相机对周围环境进行拍摄，此处，将该主相机在当前时刻拍摄的图像记为第一图像。

步骤S202、确定多个历史图像中与所述第一图像匹配的第二图像，所述多个历史图像是历史时间内所述可移动平台在所述目标区域中移动时所述拍摄装置拍摄的。

由于不同时刻无人机的姿态不同，或者，不同时刻无人机上的主相机的姿态不同，导致无人机在不同时刻主相机拍摄的图像可能会不同。例如，无人机在历史时间依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所的过程中，主相机在兴趣点A拍摄的历史图像和当前时刻主相机在兴趣点A拍摄的第一图像可能不同，因此，可以从该主相机拍摄的多个历史图像中确定出与该第一图像最为匹配的第二图像。另外，在其他实施例中，当前时刻无人机的起飞点可能不是准确的兴趣点A，例如，起飞点可能在兴趣点A的附近或周围。

可选的，所述确定多个历史图像中与所述第一图像匹配的第二图像，包括：根据所述多个历史图像中每个历史图像的特征点、以及所述第一图像的特征点，确定多个历史图像中与所述第一图像匹配的第二图像，所述第一图像的特征点和所述第二图像的特征点匹配。

例如，采用特定提取算法，如尺度不变特征变换(Scale-invariant featuretransform，SIFT)算法、加速稳健特征(Speeded up robust features，SURF)算法、ORB(Oriented FAST and rotated BRIEF)算法等，检测每个历史图像的特征点、以及所述第一图像的特征点。进一步，对所述第一图像的特征点和每个历史图像的特征点进行匹配，从多个历史图像中确定出与所述第一图像匹配度最大的第二图像。可以理解，所述第一图像的特征点和所述第二图像的特征点的匹配度最大。

步骤S203、根据所述第一图像和所述第二图像，确定当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息。

如图5所示，50表示目标区域中的目标物体，51表示无人机的主相机在当前时刻拍摄的第一图像，52表示无人机的主相机拍摄的多个历史图像中与该第一图像匹配的第二图像。点H、点I、点J分别为目标物体50上的三维点，目标物体50上的三维点可映射到第一图像51和第二图像52中。例如，点h1、点j1、点i1表示第一图像51中的特征点，点h1与点H对应，点j1与点J对应，点i1与点I对应。点h2、点j2、点i2表示第二图像52中的特征点，点h2与点H对应，点j2与点J对应，点i2与点I对应。可以理解的是，目标物体51上的同一个三维点在不同图像中的映射点在对应的图像中的位置可能不同，例如，点H在第一图像51中的映射点即点h1在第一图像51中的位置和点H在第二图像52中的映射点即点h2在该第二图像52中的位置不同。

根据世界坐标系和像素平面坐标系的转换关系，可得到目标物体50上的三维点在世界坐标系中的三维坐标(x_w，y_w，z_w)与该三维点在第二图像52中的映射点在该第二图像52中的位置信息例如像素坐标(μ，ν)的关系，该关系具体如下公式(1)所示：

其中，z_c表示该三维点在相机坐标系Z轴上的坐标，此处，该相机坐标系是主相机在拍摄第二图像52时该主相机的相机坐标系，即z_c表示该第二图像52的深度信息。K表示主相机的内参，R表示该相机坐标系相对于世界坐标系的旋转矩阵，T表示该相机坐标系相对于世界坐标系的平移矩阵。在本实施例中，主相机的内参K为已知量。可选的，该世界坐标系具体可以是上述的预设坐标系。根据主相机在拍摄该第二图像52时，该主相机的姿态和该主相机在该预设坐标系中的三维坐标，可确定出主相机在拍摄该第二图像52时的相机坐标系。进一步，根据该相机坐标系和该预设坐标系，可计算出该相机坐标系相对于该预设坐标系的旋转矩阵R，以及该相机坐标系相对于该预设坐标系的平移矩阵T。进一步，根据K、(μ，ν)、z_c、R和T可计算出目标物体50上的三维点在世界坐标系中的三维坐标(x_w，y_w，z_w)。

可以理解，主相机在拍摄第一图像51时该主相机在该预设坐标系中的三维坐标和主相机在拍摄第二图像52时该主相机在该预设坐标系中的三维坐标可能不同，或者，主相机在拍摄第一图像51时该主相机的姿态和该主相机在拍摄第二图像52时该主相机的姿态不同，因此，主相机在拍摄第一图像51时该主相机的相机坐标系和主相机在拍摄第二图像52时该主相机的相机坐标系可能是不同的。

在本实施例中，可以假定目标物体50在该预设坐标系中是固定的，进一步根据第一图像51的深度信息、目标物体50上的三维点在第一图像51中的映射点在该第一图像51中的位置信息例如像素坐标、主相机的内参K、以及目标物体50上的三维点在世界坐标系中的三维坐标(x_w，y_w，z_w)，采用与公式(1)相同的原理，可计算出主相机在拍摄第一图像51时该主相机的相机坐标系相对于该预设坐标系的旋转矩阵和平移矩阵。进一步，根据主相机在拍摄第一图像51时该主相机的相机坐标系相对于该预设坐标系的平移矩阵，以及主相机在拍摄第二图像52时该主相机的相机坐标系相对于该预设坐标系的平移矩阵，可确定主相机在拍摄第一图像51时该主相机的相机坐标系相对于主相机在拍摄第二图像52时该主相机的相机坐标系的平移矩阵。

假设同一时刻，主相机在该预设坐标系中的位置信息与该无人机在该预设坐标系中的位置信息一致，则根据主相机在拍摄第一图像51时该主相机的相机坐标系相对于主相机在拍摄第二图像52时该主相机的相机坐标系的平移矩阵，可确定出当前时刻即主相机拍摄第一图像51时该无人机所处的第一位置点相对于该主相机在拍摄该第二图像52时该无人机所处的第二位置点的位置信息。

或者，当主相机在无人机上的安装位置固定时，在同一时刻，根据主相机在该预设坐标系中的位置信息可确定出该无人机在该预设坐标系中的位置信息。根据主相机在拍摄第一图像51时该主相机的相机坐标系相对于主相机在拍摄第二图像52时该主相机的相机坐标系的平移矩阵，可确定出当前时刻主相机所处的位置相对于该主相机在拍摄该第二图像52时该主相机所处的位置的位移，进一步，根据该位移，可确定出当前时刻即主相机拍摄第一图像51时该无人机所处的第一位置点相对于该主相机在拍摄该第二图像52时该无人机所处的第二位置点的位置信息。

步骤S204、根据当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息，控制所述可移动平台在所述目标区域中移动。

在本实施例中，由于该主相机在拍摄该第二图像52时该无人机所处的第二位置点是历史轨迹上的轨迹点，因此，该主相机在拍摄该第二图像52时该无人机在该预设坐标系中的三维坐标是已知的。因此，根据当前时刻即主相机拍摄第一图像51时该无人机所处的第一位置点相对于该主相机在拍摄该第二图像52时该无人机所处的第二位置点的位置信息，以及该主相机在拍摄该第二图像52时该无人机在该预设坐标系中的三维坐标，可确定出该主相机在拍摄该第一图像51时该无人机在该预设坐标系中的三维坐标，即确定出了该无人机在当前时刻起飞时，起飞点在该预设坐标系中的位置信息，即实现了对该无人机的定位。进一步，可以根据该无人机在当前时刻起飞时，起飞点在该预设坐标系中的位置信息，控制该无人机在该目标区域中飞行。例如图4所示，各个兴趣点在该预设坐标系中的位置信息已知，因此，根据该无人机在当前时刻起飞时，起飞点在该预设坐标系中的位置信息，以及各个兴趣点在该预设坐标系中的位置信息，可控制该无人机在该目标区域中飞行，使得该无人机经过该多个兴趣点中的至少一个兴趣点。

本实施例通过获取当前时刻拍摄装置在目标区域中拍摄的第一图像，并从多个历史图像中确定与第一图像匹配的第二图像，根据第一图像和第二图像，确定当前时刻可移动平台所处的第一位置点相对于拍摄装置在拍摄第二图像时可移动平台所处的第二位置点的位置信息，根据该第一位置点相对于该第二位置点的位置信息，可确定出该第一位置点相对于该可移动平台在历史时间在该目标区域中移动的历史轨迹的位置信息，根据该历史轨迹可实现对该无人机的定位，从而可提高对该可移动平台的定位精度。

本发明实施例提供一种可移动平台的控制方法。图6为本发明另一实施例提供的可移动平台的控制方法的流程图。如图6所示，在上述实施例的基础上，所述根据当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息，控制所述可移动平台在所述目标区域中移动，可以包括：

步骤S601、根据当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息，确定所述第一位置点在预设坐标系中的位置信息，所述预设坐标系是所述历史轨迹所在的坐标系。

可选的，所述根据当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息，确定所述第一位置点在预设坐标系中的位置信息，包括：根据当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息，以及所述第二位置点在所述预设坐标系中的位置信息，确定所述第一位置点在所述预设坐标系中的位置信息。

由于该主相机在拍摄该第二图像52时该无人机所处的第二位置点是历史轨迹上的轨迹点，因此，该主相机在拍摄该第二图像52时该无人机在该预设坐标系中的三维坐标是已知的。因此，根据当前时刻即主相机拍摄第一图像51时该无人机所处的第一位置点相对于该主相机在拍摄该第二图像52时该无人机所处的第二位置点的位置信息，以及该主相机在拍摄该第二图像52时该无人机在该预设坐标系中的三维坐标，可确定出该主相机在拍摄该第一图像51时该无人机所处的第一位置点在该预设坐标系中的三维坐标。

步骤S602、根据所述第一位置点在所述预设坐标系中的位置信息，控制所述可移动平台在所述目标区域中移动。

在一种可能的方式中，所述根据所述第一位置点在所述预设坐标系中的位置信息，控制所述可移动平台在所述目标区域中移动，包括：根据所述第一位置点在所述预设坐标系中的位置信息，以及用户从所述多个兴趣点中选择的至少一个目标兴趣点，控制所述可移动平台从所述第一位置点开始移动并经过所述至少一个目标兴趣点。

如图4所示，当无人机依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所后，无人机可以对各个兴趣点进行标注，例如，将各个兴趣点依次标注为ABCDEFG，另外，用户还可以对各个兴趣点进行命名，例如，将兴趣点A命名为客厅，将兴趣点B命名为厨房等。当无人机下次重新上电使用时，用户可以从该多个兴趣点中选择部分兴趣点，此处将用户从该多个兴趣点中选择出的部分兴趣点记为目标兴趣点。例如，用户可以从ABCDEFG这7个兴趣点中选择4个兴趣点，例如ADGE。当无人机从兴趣点A起飞时，该无人机可从兴趣点A开始自主飞行，并经过兴趣点DGE，在自主飞行的过程中，该无人机可通过其搭载的探测设备进行避障。

在另一种可能的方式中，所述根据所述第一位置点在所述预设坐标系中的位置信息，控制所述可移动平台在所述目标区域中移动，包括：根据所述第一位置点在所述预设坐标系中的位置信息，确定所述历史轨迹中距离所述第一位置点最近的轨迹点；控制所述可移动平台从所述第一位置点移动到所述轨迹点；当所述可移动平台位于所述轨迹点时，根据用户从所述多个兴趣点中选择的至少一个目标兴趣点，控制所述可移动平台移动，以使所述可移动平台经过所述至少一个目标兴趣点。

例如，无人机从兴趣点A附近起飞，此处将无人机起飞时的起飞点记为第一位置点。但是，该第一位置点可能并不在历史轨迹上，也就是说，该无人机起飞时的起飞点与历史轨迹之间还存在一定的偏差，此时，可根据该第一位置点在该预设坐标系中的位置信息，以及该历史轨迹中的各个轨迹点在该预设坐标系中的位置信息，确定该历史轨迹中距离该第一位置点最近的轨迹点，并控制该无人机从该第一位置点飞行到该最近的轨迹点。当该无人机位于该最近的轨迹点时，可根据该历史轨迹控制该无人机飞行，使得该无人机经过用户选择的部分兴趣点。

可选的，所述控制所述可移动平台移动，以使所述可移动平台经过所述至少一个目标兴趣点，包括：控制所述可移动平台按照所述历史轨迹的至少部分轨迹移动，所述部分轨迹包括所述至少一个目标兴趣点，以使所述可移动平台经过所述至少一个目标兴趣点。

如图7所示，用户可以从ABCDEFG这7个兴趣点中选择4个兴趣点，例如ADGE，控制该无人机在起飞后经过ADGE的一种可实现方式是：无人机从起飞点飞到历史轨迹中距离该起飞点最近的轨迹点，并从该轨迹点开始沿着该历史轨迹飞行，使得该无人机可依次经过兴趣点ABCDEFG，从而使得该无人机可以经过兴趣点ADGE，即控制无人机经过兴趣点ADGE是通过控制该无人机依次经过兴趣点ABCDEFG来实现的。

在其他实施例中，控制该无人机在起飞后经过ADGE的另一种可实现方式是：如图8所示，无人机从起飞点飞到历史轨迹中距离该起飞点最近的轨迹点，并从该轨迹点开始沿着该历史轨迹经过兴趣点A飞到厨房的门口，再从厨房的门口沿着该历史轨迹飞到次卧的门口，再从次卧的门口沿着该历史轨迹依次经过兴趣点D、兴趣点G和兴趣点E。可选的，该无人机还可以从兴趣点E飞到书房的门口，进一步飞到厕所的门口，最后从厕所的门口返回到客厅中的某一个点，例如距离起飞点最近的轨迹点。

在又一种可能的方式中，所述根据所述第一位置点在所述预设坐标系中的位置信息，控制所述可移动平台在所述目标区域中移动，包括：根据所述第一位置点在所述预设坐标系中的位置信息，控制所述可移动平台从所述第一位置点移动到所述第二位置点；当所述可移动平台位于所述第二位置点时，根据用户从所述多个兴趣点中选择的至少一个目标兴趣点，控制所述可移动平台移动，以使所述可移动平台经过所述至少一个目标兴趣点。

例如，无人机从兴趣点A附近起飞，此处将无人机起飞时的起飞点记为第一位置点。但是，该第一位置点可能并不在历史轨迹上，也就是说，该无人机起飞时的起飞点与历史轨迹之间还存在一定的偏差。此时，可根据该第一位置点在该预设坐标系中的位置信息，控制该无人机从该第一位置点飞行到第二位置点，该第二位置点即为上述实施例所述的主相机在拍摄第二图像时该无人机所处的位置点，该第二位置点是历史轨迹上的轨迹点。当该无人机位于该第二位置点时，根据用户选择的部分兴趣点，控制无人机飞行，使得该无人机经过该部分兴趣点。此处，控制无人机经过该部分兴趣点的方法同理于图7和图8所示的方法，此处不再赘述。

可选地，所述控制方法还包括：接收控制终端发送的控制指令流，其中，所述控制指令流是控制终端通过获取用户对控制终端显示的至少一个控件的选择操作生成的，所述至少一个控件中每个控件用于控制可移动平台完成一项任务，根据所述控制指令流和所述多个历史图像执行所述至少一个控件对应的任务。其中，通过这种方式可移动平台基于历史图像来实现导航来执行用户指示的任务。这里的具体解释请参见图9提供的控制方法的详细说明部分，在这里先不赘述。

本实施例通过无人机的起飞点和历史轨迹之间的偏差，控制无人机从起飞点飞行到该历史轨迹上的轨迹点，并从该轨迹点开始沿着历史轨迹飞行，使得该无人机可经过部分兴趣点，提高了对无人机的控制灵活性。

本发明实施例提供一种可移动平台的控制方法。图9为本发明另一实施例提供的可移动平台的控制方法的流程图。如图9所示，本实施例中的方法，可以包括：

步骤S901、获取用户对控制终端显示的至少一个控件的选择操作，所述至少一个控件中每个控件用于控制可移动平台完成一项任务。

在本实施例中，无人机对应的控制终端，例如遥控器、平板电脑、智能手机等设备可显示有至少一个控件，每个控件用于控制无人机完成一项任务，例如，起飞、录像、去主卧、拍照、去阳台、悬停、全景拍摄等分别为不同的任务。

用户可以对该至少一个控件中的部分控件或全部控件进行选择操作，此处不限定具体的选择操作，例如可以是拖动、点击、框选等。以遥控器为例该遥控器可包括显示组件，该显示组件用于显示多个不同的控件，另外，该显示组件具体可以是触摸屏，该触摸屏可以感知用户在该触摸屏上的操作，使得遥控器可以根据用户的选择操作，确定用户选择的至少一个控件，以及用户选择至少一个控件的先后顺序。

步骤S902、根据所述用户对至少一个控件的选择顺序，生成控制指令流。

如图10所示，遥控器可根据该用户对至少一个控件的选择顺序，生成控制指令流。

步骤S903、将所述控制指令流发送给所述可移动平台，以使所述可移动平台根据所述控制指令流和多个历史图像执行所述至少一个控件对应的任务，所述多个历史图像是历史时间内所述可移动平台在所述目标区域中移动时所述可移动平台上搭载的拍摄装置拍摄的。

具体的，该遥控器可以将该控制指令流发送给该无人机，使得该无人机根据该控制指令流和多个历史图像执行所述至少一个控件对应的任务。

该目标区域具体以如上所述的家里为例，在历史时间内，该遥控器可控制该无人机在家里依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所等地方。或者，用户可以手持该无人机在家里移动，使得该无人机依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所等地方。在该历史时间内，当该无人机依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所等地方时，该无人机搭载的拍摄装置可拍摄多个历史图像。

由于每个控件用于控制无人机完成一项任务，例如，起飞、录像、去主卧、拍照、去阳台、悬停、全景拍摄等分别为不同的任务。因此，一个控件可对应一个控制指令，因此，该控制指令流可以是用户选择的至少一个控件对应的至少一个控制指令构成的集合。可以理解的是，所述至少一个控件包括用于控制可移动平台移动至目标区域中的目标位置的控件。所述目标位置可以为如前所述的厨房、阳台或次卧等。所述至少一个控件包括用于控制可移动平台移动执行拍摄的控件。

当该无人机接收到该控制指令流时，根据该控制指令流和该多个历史图像执行所述至少一个控件对应的任务。具体的，当该无人机在执行该至少一个控件对应的任务时，该无人机可根据当前时刻拍摄装置拍摄的当前图像，从多个历史图像中确定出与该当前图像匹配的历史图像，并根据该拍照装置拍摄该历史图像时该无人机的历史位置，确定该无人机的当前位置。进一步，该无人机根据当前位置执行该至少一个控件对应的任务。

可选的，所述获取用户对控制终端显示的至少一个控件的选择操作之前，还包括：在所述历史时间内控制所述可移动平台在目标区域中移动，以使所述可移动平台获取由所述可移动平台上搭载的拍摄装置拍摄的所述多个历史图像。例如，在用户对该遥控器显示的控件进行选择操作之前，该遥控器可以预先控制该无人机在历史时间依次飞过客厅、厨房、次卧、主卧、阳台、书房和厕所，并在无人机依次飞过客厅、厨房、次卧、主卧、阳台、书房和厕所的过程中，该无人机可获取由该无人机的拍照装置拍摄的多个历史图像，具体方法与上述实施例所述的方法一致，此处不再赘述。

可选的，所述历史时间内所述可移动平台在所述目标区域中移动的历史轨迹包括多个兴趣点，所述至少一个控件用于控制所述可移动平台移动到所述多个兴趣点中的至少一个兴趣点。

例如，在该历史时间内无人机依次经过客厅、厨房、次卧、主卧、阳台、书房和厕所的过程形成历史轨迹，用户还可以对该历史轨迹中的兴趣点进行标记，如图3所示，点A、点B、点C、点D、点E、点F、点G分别为该历史轨迹中的兴趣点，具体标记过程与上述实施例所述的标记过程一致，此处不再赘述。

当前时刻用户可通过对控件的选择，以确定需要无人机在当前时刻从起飞点起飞后经过的部分兴趣点，例如，当前时刻用户可以只选择兴趣点A、兴趣点C、兴趣点E这几个兴趣点对应的控件，进一步，该遥控器根据用户对兴趣点A、兴趣点C、兴趣点E分别对应的控件的选择操作，生成控制指令流，并将该控制指令流发送给该无人机，使得该无人机根据该控制指令流和该多个历史图像，依次飞行经过兴趣点A、兴趣点C、兴趣点E。

本实施例通过获取用户对至少一个控件的选择操作，根据所述用户对至少一个控件的选择顺序，生成控制指令流，并将该控制指令流发送给可移动平台，使得该可移动平台根据该控制指令流和多个历史图像执行该至少一个控件对应的任务，实现了对该可移动平台的编程，在编程控制过程中，该可移动平台可根据当前时刻拍摄的当前图像，从多个历史图像中确定出与该当前图像匹配的历史图像，并根据该可移动平台上的拍照装置拍摄该历史图像时该可移动平台的历史位置，确定该可移动平台的当前位置，实现了该可移动平台的精准定位，使得该可移动平台在较为复杂的环境下可以自动移动。

本发明实施例提供一种可移动平台的控制装置。图11为本发明实施例提供的可移动平台的控制装置的结构图，如图11所示，该控制装置110包括：存储器111和处理器112；所述存储器111用于存储程序代码；所述处理器112，调用所述程序代码，当程序代码被执行时，用于执行以下操作：获取当前时刻所述拍摄装置在目标区域中拍摄的第一图像；确定多个历史图像中与所述第一图像匹配的第二图像，所述多个历史图像是历史时间内所述可移动平台在所述目标区域中移动时所述拍摄装置拍摄的；根据所述第一图像和所述第二图像，确定当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息；根据当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息，控制所述可移动平台在所述目标区域中移动。

可选的，所述处理器112在获取当前时刻所述拍摄装置在目标区域中拍摄的第一图像之前，还用于：根据所述历史时间内所述可移动平台在所述目标区域内移动过程中所述可移动平台的位置信息和/或姿态信息，确定所述历史时间内所述可移动平台在所述目标区域中移动的历史轨迹。

可选的，所述处理器112确定所述历史时间内所述可移动平台在所述目标区域中移动的历史轨迹之后，还用于：确定所述历史轨迹中的多个兴趣点。

可选的，所述可移动平台在所述兴趣点原地旋转一周；或者所述可移动平台在所述兴趣点发生震动；或者当所述可移动平台位于所述兴趣点时，所述可移动平台上的预设按钮被触发。

可选的，所述多个历史图像包括所述可移动平台在所述兴趣点原地旋转一周时所述拍摄装置拍摄的图像。

可选的，所述处理器112获取当前时刻所述拍摄装置在目标区域中拍摄的第一图像时，具体用于：控制所述可移动平台在当前时刻从所述多个兴趣点中的一个兴趣点起飞；获取所述可移动平台在所述兴趣点原地旋转一周时所述拍摄装置拍摄的第一图像。

可选的，所述处理器112根据当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息，控制所述可移动平台在所述目标区域中移动时，具体用于：根据当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息，确定所述第一位置点在预设坐标系中的位置信息，所述预设坐标系是所述历史轨迹所在的坐标系；根据所述第一位置点在所述预设坐标系中的位置信息，控制所述可移动平台在所述目标区域中移动。

可选的，所述处理器112根据当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息，确定所述第一位置点在预设坐标系中的位置信息时，具体用于：根据当前时刻所述可移动平台所处的第一位置点相对于所述拍摄装置在拍摄所述第二图像时所述可移动平台所处的第二位置点的位置信息，以及所述第二位置点在所述预设坐标系中的位置信息，确定所述第一位置点在所述预设坐标系中的位置信息。

可选的，所述处理器112根据所述第一位置点在所述预设坐标系中的位置信息，控制所述可移动平台在所述目标区域中移动时，具体用于：根据所述第一位置点在所述预设坐标系中的位置信息，以及用户从所述多个兴趣点中选择的至少一个目标兴趣点，控制所述可移动平台从所述第一位置点开始移动并经过所述至少一个目标兴趣点。

可选的，所述处理器112根据所述第一位置点在所述预设坐标系中的位置信息，控制所述可移动平台在所述目标区域中移动时，具体用于：根据所述第一位置点在所述预设坐标系中的位置信息，确定所述历史轨迹中距离所述第一位置点最近的轨迹点；控制所述可移动平台从所述第一位置点移动到所述轨迹点；当所述可移动平台位于所述轨迹点时，根据用户从所述多个兴趣点中选择的至少一个目标兴趣点，控制所述可移动平台移动，以使所述可移动平台经过所述至少一个目标兴趣点。

可选的，所述处理器112根据所述第一位置点在所述预设坐标系中的位置信息，控制所述可移动平台在所述目标区域中移动时，具体用于：根据所述第一位置点在所述预设坐标系中的位置信息，控制所述可移动平台从所述第一位置点移动到所述第二位置点；当所述可移动平台位于所述第二位置点时，根据用户从所述多个兴趣点中选择的至少一个目标兴趣点，控制所述可移动平台移动，以使所述可移动平台经过所述至少一个目标兴趣点。

可选的，所述处理器112控制所述可移动平台移动，以使所述可移动平台经过所述至少一个目标兴趣点时，具体用于：控制所述可移动平台按照所述历史轨迹的至少部分轨迹移动，所述部分轨迹包括所述至少一个目标兴趣点，以使所述可移动平台经过所述至少一个目标兴趣点。

可选的，所述处理器112确定多个历史图像中与所述第一图像匹配的第二图像时，具体用于：根据所述多个历史图像中每个历史图像的特征点、以及所述第一图像的特征点，确定多个历史图像中与所述第一图像匹配的第二图像，所述第一图像的特征点和所述第二图像的特征点匹配。

本发明实施例提供的控制装置的具体原理和实现方式均与上述实施例类似，此处不再赘述。

本实施例通过获取当前时刻拍摄装置在目标区域中拍摄的第一图像，并从多个历史图像中确定与第一图像匹配的第二图像，根据第一图像和第二图像，确定当前时刻可移动平台所处的第一位置点相对于拍摄装置在拍摄第二图像时可移动平台所处的第二位置点的位置信息，根据该第一位置点相对于该第二位置点的位置信息，可确定出该第一位置点相对于该可移动平台在历史时间在该目标区域中移动的历史轨迹的位置信息，根据该历史轨迹可实现对该无人机的定位，从而可提高对该可移动平台的定位精度。

本发明实施例提供一种可移动平台。该可移动平台包括：机身、动力系统、拍摄装置以及如上述实施例所述的控制装置。其中，动力系统安装在所述机身，用于提供动力；拍摄装置安装在所述机身，用于拍摄图像；控制装置的原理和实现方式与上述实施例所述的一致，此处不再赘述。可选的，该可移动平台包括如下至少一种：可移动机器人、无人机。

本发明实施例还提供一种控制终端，该控制终端可以是该可移动平台对应的遥控器、平板电脑或智能手机，该控制终端可用于控制该可移动平台。图12为本发明另一实施例提供的控制终端的结构图；如图12所示，该控制终端120包括：显示组件121、存储器122、处理器123和通讯接口124；其中，所述显示组件121用于显示控件；所述存储器122用于存储程序代码；所述处理器123，调用所述程序代码，当程序代码被执行时，用于执行以下操作：获取用户对显示组件121显示的至少一个控件的选择操作，所述至少一个控件中每个控件用于控制可移动平台完成一项任务；根据所述用户对至少一个控件的选择顺序，生成控制指令流；通过通讯接口124将所述控制指令流发送给所述可移动平台，以使所述可移动平台根据所述控制指令流和多个历史图像在目标区域中移动，所述多个历史图像是历史时间内所述可移动平台在所述目标区域中移动时所述可移动平台上搭载的拍摄装置拍摄的。

可选的，所述处理器123在获取用户对所述显示组件显示的至少一个控件的选择操作之前，还用于：在所述历史时间内控制所述可移动平台在目标区域中移动，以使所述可移动平台获取由所述可移动平台上搭载的拍摄装置拍摄的所述多个历史图像。

可选的，所述历史时间内所述可移动平台在所述目标区域中移动的历史轨迹包括多个兴趣点；所述至少一个控件用于控制所述可移动平台移动到所述多个兴趣点中的至少一个兴趣点。

本发明实施例提供的控制终端的具体原理和实现方式均与上述实施例类似，此处不再赘述。

本实施例通过获取用户对至少一个控件的选择操作，根据所述用户对至少一个控件的选择顺序，生成控制指令流，并将该控制指令流发送给可移动平台，使得该可移动平台根据该控制指令流和多个历史图像执行该至少一个控件对应的任务，实现了对该可移动平台的编程，在编程控制过程中，该可移动平台可根据当前时刻拍摄的当前图像，从多个历史图像中确定出与该当前图像匹配的历史图像，并根据该可移动平台上的拍照装置拍摄该历史图像时该可移动平台的历史位置，确定该可移动平台的当前位置，实现了该可移动平台的精准定位，使得该可移动平台在较为复杂的环境下可以自动移动。

另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的可移动平台的控制方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。