目标跟踪方法和装置、存储介质及电子装置
阅读说明：本技术 目标跟踪方法和装置、存储介质及电子装置 (Target tracking method and device, storage medium and electronic device ) 是由 王林源 马子昂 卢维 于 2020-06-02 设计创作，主要内容包括：本发明公开了一种目标跟踪方法和装置、存储介质及电子装置。其中,该方法包括：获取目标对象的目标高度,其中,目标对象为机器人当前跟踪的跟踪对象,目标高度用于表示目标对象的实际高度；根据目标高度确定机器人与目标对象之间的当前距离,其中,当前距离用于表示机器人与目标对象之间当前的实际距离；根据当前距离确定机器人跟踪目标对象的目标跟踪距离,以及根据目标高度确定机器人与目标对象之间的目标夹角；根据目标跟踪距离和目标夹角跟踪目标对象,其中,目标跟踪距离为预先设定的机器人与目标对象的之间的跟踪距离。采用上述技术方案,解决了相关技术中,存在无法灵活的实现对任意给定的目标进行任意指定距离的跟随的问题。(The invention discloses a target tracking method and device, a storage medium and an electronic device. Wherein, the method comprises the following steps: acquiring a target height of a target object, wherein the target object is a tracking object currently tracked by the robot, and the target height is used for representing the actual height of the target object; determining a current distance between the robot and the target object according to the target height, wherein the current distance is used for representing a current actual distance between the robot and the target object; determining a target tracking distance of the robot for tracking the target object according to the current distance, and determining a target included angle between the robot and the target object according to the target height; and tracking the target object according to the target tracking distance and the target included angle, wherein the target tracking distance is the preset tracking distance between the robot and the target object. By adopting the technical scheme, the problem that the following of any given target at any specified distance cannot be flexibly realized in the related technology is solved.)
技术领域
本发明涉及计算机领域，具体而言，涉及一种目标跟踪方法和装置、存储介质及电子装置。
背景技术
目前，随着机器人在仓储物流，厂区安全巡查等工业应用日益广泛，机器人平台的智能化需求日渐显著。在机器人平台组队前进，机器人追踪移动目标等业务场景，需要机器人具备跟随目标的能力。
由于跟随目标是任意给定且目标的移动是随机的，受平台算力限制，需要保证部署在机器人平台的跟随算法执行效率足够高，存在无法灵活的实现对任意给定的目标进行任意指定距离的跟随。
因此，针对相关技术中，存在无法灵活的实现对任意给定的目标进行任意指定距离的跟随的问题，尚未提出有效的技术方案。
发明内容
本发明实施例提供了一种目标跟踪方法和装置、存储介质及电子装置，以至少解决相关技术中，存在无法灵活的实现对任意给定的目标进行任意指定距离的跟随的技术问题。
根据本发明实施例的一个方面，提供了一种目标跟踪方法，包括：获取目标对象的目标高度，其中，目标对象为机器人当前跟踪的跟踪对象，目标高度用于表示目标对象的实际高度；根据目标高度确定机器人与目标对象之间的当前距离，其中，当前距离用于表示机器人与目标对象之间当前的实际距离；根据当前距离确定机器人跟踪目标对象的目标跟踪距离，以及根据目标高度确定机器人与目标对象之间的目标夹角；根据目标跟踪距离和目标夹角跟踪目标对象，其中，目标跟踪距离为预先设定的机器人与目标对象的之间的跟踪距离。
根据本发明实施例的另一方面，还提供了一种目标跟踪装置，包括：第一获取单元，用于获取目标对象的目标高度，其中，目标对象为机器人当前跟踪的跟踪对象，目标高度用于表示目标对象的实际高度；第一确定单元，用于根据目标高度确定机器人与目标对象之间的当前距离，其中，当前距离用于表示机器人与目标对象之间当前的实际距离；第二确定单元，用于根据当前距离确定机器人跟踪目标对象的目标跟踪距离，以及根据目标高度确定机器人与目标对象之间的目标夹角；跟踪单元，用于根据目标跟踪距离和目标夹角跟踪目标对象，其中，目标跟踪距离为预先设定的机器人与目标对象的之间的跟踪距离。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标跟踪方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的目标跟踪方法。
在本发明实施例中，首先，获取机器人当前跟踪的目标对象，获取表示该目标对象的实际高度的目标高度，根据目标高度确定机器人和目标对象两者之间的当前距离，然后，根据该当前距离确定机器人跟踪该目标对象的目标跟踪距离，并根据目标高度确定机器人和目标对象之间的目标夹角，使机器人按照目标跟踪距离和目标夹角跟踪该目标对象。达到了可以使机器人根据目标跟踪距离和目标夹角灵活跟踪目标对象的技术效果，进而解决了相关技术中，存在无法灵活的实现对任意给定的目标进行任意指定距离的跟随的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种目标跟踪方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的目标跟踪方法的流程示意图；
图3是根据本发明实施例的一种可选的目标高度的示意图；
图4是根据本发明实施例的一种可选的目标角度的示意图；
图5是根据本发明实施例的另一种可选的目标跟踪方法的流程示意图；
图6是根据本发明实施例的一种可选的目标跟踪算法的流程示意图；
图7是根据本发明实施例的一种可选的目标跟踪装置的结构示意图；
图8是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种目标跟踪方法。可选地，上述目标跟踪方法可以但不限于应用于如图1所示的应用环境中。如图1所示，终端设备102获取目标对象的目标高度，其中，目标对象为机器人当前跟踪的跟踪对象，目标高度用于表示目标对象的实际高度，并将该目标高度通过网络发送给服务器104。服务器104接收到目标高度之后，根据目标高度确定机器人与目标对象之间的当前距离，其中，当前距离用于表示机器人与目标对象之间的实际距离；根据当前距离确定机器人跟踪目标对象的目标跟踪距离，以及根据目标高度确定机器人与目标对象之间的目标夹角。服务器106通过网络104将目标跟踪距离和目标高度发送给终端设备102，终端设备102在接收到目标跟踪距离和目标高度之后，根据目标跟踪距离和目标夹角跟踪目标对象，其中，目标跟踪距离为预先设定的机器人与目标对象的之间的跟踪距离。以上仅为一种示例，本申请实施例在此不作限定。
或者，在终端设备102获取目标对象的目标高度，其中，目标对象为机器人当前跟踪的跟踪对象，目标高度用于表示目标对象的实际高度；根据目标高度确定机器人与目标对象之间的当前距离，其中，当前距离用于表示机器人与目标对象之间的实际距离；根据当前距离确定机器人跟踪目标对象的目标跟踪距离，以及根据目标高度确定机器人与目标对象之间的目标夹角；根据目标跟踪距离和目标夹角跟踪目标对象，其中，目标跟踪距离为预先设定的机器人与目标对象的之间的跟踪距离。以上仅为一种示例，本实施例对此不做任何限定。
可选地，在本实施例中，上述终端设备可以包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile InternetDevices，移动互联网设备)、PAD、台式电脑等。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。上述只是一种示例，本实施例对此不做任何限定。
可选地，在本实施例中，作为一种可选的实施方式，该方法可以由服务器执行，也可以由终端设备执行，或者由服务器和终端设备共同执行，本实施例中，以由终端设备(例如，上述终端设备102)执行为例进行说明。如图2所示，上述目标跟踪方法的流程可以包括步骤：
步骤S202，获取目标对象的目标高度，其中，目标对象为机器人当前跟踪的跟踪对象，目标高度用于表示目标对象的实际高度；
步骤S204，根据目标高度确定机器人与目标对象之间的当前距离，其中，当前距离用于表示机器人与目标对象之间的实际距离；
步骤S206，根据当前距离确定机器人跟踪目标对象的目标跟踪距离，以及根据目标高度确定机器人与目标对象之间的目标夹角；
步骤S208，根据目标跟踪距离和目标夹角跟踪目标对象，其中，目标跟踪距离为预先设定的机器人与目标对象的之间的跟踪距离。
可选地，上述目标跟踪方法可以但不限于机器人在仓储物流，厂区安全巡查等工业应用的场景中。
通过本实施例，首先，获取机器人当前跟踪的目标对象，获取表示该目标对象的实际高度的目标高度，根据目标高度确定机器人和目标对象两者之间的当前距离，然后，根据该当前距离确定机器人跟踪该目标对象的目标跟踪距离，并根据目标高度确定机器人和目标对象之间的目标夹角，使机器人按照目标跟踪距离和目标夹角跟踪该目标对象。达到了可以使机器人根据目标跟踪距离和目标夹角灵活跟踪目标对象的技术效果，进而解决了相关技术中，存在无法灵活的实现对任意给定的目标进行任意指定距离的跟随的技术问题。
在一种可选的实施例中，获取目标对象的目标高度，包括：在目标对象的目标高度已知的情况下，获取预先存储的目标高度；或者在目标对象的目标高度未知的情况下，获取包含目标对象的前一帧图像和当前帧图像，以及获取机器人在产生前一帧图像和当前帧图像的第一时间间隔内的第一移动距离；根据第一移动距离、目标对象在前一帧图像中的第一像素高度、目标对象在当前帧图像中的第二像素高度和机器人的图像采集设备的焦距确定目标对象的目标高度。
可选地，如果目标对象的目标高度已知，且预先存储于机器人系统中，可以直接获取到该目标高度。或者
如果对于机器人目标对象的目标高度是未知的情况下，可以获取包含该目标对象的前一帧图像和当前帧图像，并获取机器人在产生这两帧图像的时刻的第一时间间隔内的第一移动距离，然后根据第一移动距离、目标对象在前一帧图像中的第一像素高度、目标对象在当前帧图像中的第二像素高度、机器人上安装的图像采集设备(如单目摄像机)的焦距来确定目标对象的目标高度。
在一种可选的实施例中，根据第一移动距离、目标对象在前一帧图像中的第一像素高度、目标对象在当前帧图像中的第二像素高度和机器人的图像采集设备的焦距确定目标对象的目标高度，包括：将第一移动距离、第一像素高度与第二像素高度之间的乘积确定为第一数值，以及将焦距与第二像素高度和第一像素高度之间的差值的乘积确定为第二数值，将第一数值与第二数值之间的比值确定为目标高度。
可选地，假设机器人两帧图像间的第一移动距离为l、前一帧图像中目标对象的第一像素高度为v0、当前帧图像中目标对象的第二像素高度为vt，机器人上安装的相机的焦距f已知，则目标对象和机器人平台相机间的起始距离x0、跟随过程中的目标与机器人平台间距离xt和跟随目标高度h的计算方法如下：
如图3所示，由图像与真实环境间的相似三角形比例关系和两帧图像间机器人运动距离差可以得到以下公式：进而可以得到目标高度其中，lv0vt为上述第一数值，(vt-v0)f为上述第二数值。
在一种可选的实施例中，根据目标高度确定机器人与目标对象之间的当前距离，包括：将目标高度和焦距的乘积与第二像素高度之间的比值确定为当前距离。
可选地，在目标高度h提前已知的情况下，机器人和目标间的当前距离计算方法还可以为：
在一种可选的实施例中，方法还包括：将第一移动距离与第一像素高度之间的乘积确定第三数值，将第三数值与第二像素高度和第一像素高度之间的差值的比值确定为当前距离。
可选地，当前帧目标对象和机器人平台间距离(即当前距离)起始目标位置和机器人平台间距离其中，lvt为上述第三数值。
在一种可选的实施例中，根据目标高度确定机器人与目标对象之间的目标夹角，包括：在下一帧图像与当前帧图像的第二时间间隔内机器人与目标对象之间的目标跟踪距离发生变化、且目标对象存在横向移动的情况下，获取目标对象在下一帧图像中的第三像素高度；将目标高度和焦距的乘积与第三像素高度的比值确定为机器人与目标对象之间的第一距离，以及将目标高度和焦距的乘积与第二像素高度的比值确定为机器人与目标对象之间的第二距离，其中，第一距离为机器人与目标对象在获取下一帧图像的第一拍摄方向上的距离，第二距离为机器人与目标对象在获取当前帧图像的第二拍摄方向上的距离；根据第一距离、第二距离、第二像素高度和目标比例系数确定目标夹角，其中，目标比例系数为目标对象在图像中的像素坐标与目标对象的真实距离之间的比例系数。
可选地，当目标对象在图像平面内横向移动时，机器人平台应该跟随转过相应的角度。假设机器人和目标对象之间的距离发生变化，且目标对象存在横向移动，根据针孔相机的小孔成像原理，机器人平台到目标间夹角关系如图4所示。
目标高度h可以通过上述步骤计算得到，利用目标高度在图像中的像素高度vt和vt+1(对应于上述第三像素高度)，可以估计目标对象和机器人平台距离lt(该lt和上述xt的含义相同)和lt+1之间的关系：
将t+1帧的目标对象映射到t帧图像中，由图4针孔相机成像特点应当满足比例关系：
其中，lt+1为上述第一距离，lt为上述第二距离，上述ut和u_(t+1)为目标对象的横向坐标，k为像素坐标到真实距离的比例系，k(对应于上述目标比例关系)满足
由此，机器人与目标对象间的夹角变化为：
其中，α为上述目标夹角。
在一种可选的实施例中，根据当前距离确定机器人跟踪目标对象的目标跟踪距离，包括：在当前距离与目标跟踪距离的差值大于预设阈值、且当前距离小于目标跟踪距离的情况下，降低机器人的移动速度，以使当前距离与目标跟踪距离之间的差值小于或等于预设阈值；或者在当前距离与目标跟踪距离的差值大于预设阈值、且当前距离大于目标跟踪距离的情况下，提高机器人的移动速度，以使当前距离与目标跟踪距离之间的差值小于或等于预设阈值。
在一种可选的实施例中，根据目标跟踪距离和目标夹角跟踪目标对象，包括：在机器人对目标对象进行跟踪的过程中，保持机器人和目标对象之间的距离为目标跟踪距离、且保持目标夹角小于或等于第一预设角度。
可选地，通过以上步骤可以得到机器人到跟随目标对象的真实位姿关系。机器人在跟踪过程中，可以保持目标对象和机器人平台间夹角角度(对应于上述目标夹角)为零，并且保持机器人和目标对象之间的间距为固定距离(如上述目标跟踪距离)。其中，该目标跟踪距离可以为预先指定的跟踪距离。
在一种可选的实施例中，上述方法还包括：获取目标对象的第i-1帧图像、对目标对象进行采样的采样框的第一像素高度和第一像素宽度、目标对象在第i-1帧图像中的初始位置坐标；对第i-1帧图像进行图像特征提取，得到第i-1帧图像的第一特征向量；根据第一特征向量、第一像素高度、第一像素宽度和初始位置坐标训练分类器参数，其中，初始位置坐标为第i-1帧图像中目标对象的中心像素坐标，前一帧图像包括第i-1帧图像，i为自然数；以第一像素高度和第一像素宽度对应的采样框在初始坐标位置对目标对象进行采样，得到第i帧图像，对第i-1帧图像和第i帧图像进行极对数转换，确定目标对象在第i-1帧图像和第i帧图像中的尺度变化的尺度差和旋转角度，其中，尺度差用于表示目标对象在第i-1帧图像和第i帧图像中大小的变化，旋转角度用于表示目标对象在同一参考方向上在第i-1帧图像和第i帧图像中的角度变化，当前帧图像包括第i帧图像；获取第i帧图像中目标对象的当前坐标位置；对第i帧图像进行图像特征提取，得到第i帧图像的第二特征向量，根据第一像素高度、第一像素宽度、尺度差和旋转角度确定目标对象在第i帧图像中的第二像素高度和第二像素宽度，其中，当前位置坐标为第i帧图像中目标对象的中心像素坐标；根据第二特征向量、当前位置坐标、第二像素高度和第二像素宽度训练并更新分类器参数，以使图像采集设备按照当前位置坐标、第二像素高度和第二像素宽度对第i+1帧图像进行采样，其中，第i+1帧图像包括下一帧图像。
可选地，当目标对象移动时，机器人平台可以利用相机进行图像信息采集，通过目标跟踪算法进行目标对象在图像上的位姿估计，包括像素位置估计和目标倾斜角度(对应于上述旋转角度)估计，得到目标对象在图像上的位置信息之后，可以通过上述步骤得到目标和机器人平台间的当前距离、目标夹角。
需要说明的是，可以通过预先训练好分类器的方式来实现对目标对象的跟踪；还可以通过根据获取到的第i帧图像训练分类器，并更新分类器的参数，在获取到第i+1帧图像时，继续使用第i+1帧的图像来继续训练分类器，通过在线不断更新分类器的方式来实现对目标对象的跟踪。
通过这种不断更新分类器的方式，可以实时的更新目标对象的位置以及目标对象的旋转角度，提高了目标对象跟踪的准确率。
在一种可选的实施例中，在确定目标对象在第i-1帧图像和第i帧图像中的尺度变化的尺度差和旋转角度之后，方法还包括：在机器人对目标对象进行跟踪的过程中，在旋转角度大于或等于第二预设角度的情况下，停止机器人对目标对象的跟踪。
可选地，根据得到目标倾斜角度(对应于上述旋转角度)进行跟随目标对象的安全状态判断。通过指定安全角度范围，当跟踪目标在图像平面内倾斜角度超过限制，则机器人平台停止跟随。此外，当目标对象跟踪失败、目标完全移出图像或机器人平台遇障时，同样使机器人平台停止。
下面结合可选示例对人脸检测方法的流程进行说明，如图5所示，该方法可以包括以下步骤：
步骤S501，对机器人上安装的相机进行标定，确定相机内参焦距f和光心像素位置，在之后的图像处理过程，保证将相机光心调整到图像中心。校正机器人平台里程计或加速度计，在初始化阶段用来估计机器人平台的位移距离。
步骤S502，通过检测算法或人为指定的方法确定跟随目标(对应于上述目标对象)，并对跟随目标进行初始化，包括确定跟踪目标框和计算目标高度。指定机器人平台与跟随目标间的期望距离，结合跟随目标高度，确定目标与图像中目标像素间的对应关系。
可选地，假设机器人两帧图像间(前一帧图像和当前帧图像)的第一移动距离为l、前一帧图像中跟随目标的目标像素高度(对应于上述第一像素高度)为v0、当前帧跟随目标第二像素高度vt和相机焦距f已知，则目标和机器人平台相机间的起始距离x0、跟随过程中的目标与机器人平台间距离xt和跟随目标高度h的计算方法如下：
如图3所示，由图像与真实环境间的相似三角形比例关系和两帧图像间机器人运动距离差可以得到以下公式：进而可以得到目标高度当前目标对象和机器人平台间距离起始目标位置和机器人平台间距离
当目标高度h提前已知的情况下，机器人和目标间的当前距离计算方法还可以为：
确定相机像素和实际环境间的对应变换关系后，可以推测目标对象在图像平面内横向移动时，机器人平台应该跟随转过的角度。通常假设图像采集频率很高，机器人和目标间距离没有变化，只有横向移动。如果目标横向移动伴随距离变化，根据针孔相机的小孔成像原理，机器人平台到目标间夹角关系如图4所示。
目标高度h可以通过上述步骤计算得到，利用目标高度在图像中的像素高度vt和vt-1(对应于上述第三像素高度)，可以估计目标对象和机器人平台距离lt和lt-1之间的关系：
将t+1帧的目标对象映射到t帧图像中，由图4针孔相机成像特点应当满足比例关系：其中，lt+1为上述第一距离，lt为上述第二距离。
由此，机器人与目标对象间的夹角变化为：其中，α为上述目标夹角。
通过以上步骤可以得到机器人到跟随目标对象的真实位姿关系。机器人在跟踪过程中，可以保持目标对象和机器人平台间夹角角度(对应于上述目标夹角)为零，并且保持机器人和目标对象之间的间距为固定距离(如上述目标跟踪距离)。其中，该目标跟踪距离可以为预先指定的跟踪距离。
步骤S503，当目标对象移动时，机器人平台可以利用相机进行图像信息采集，通过目标跟踪算法(如跟踪算法KSCFrot)进行目标对象在图像上的位姿估计，包括像素位置估计和目标倾斜角度(对应于上述旋转角度)估计，得到目标对象在图像上的位置信息之后，可以通过上述步骤得到目标和机器人平台间的当前距离、目标夹角。
步骤S504，根据步骤S503中得到的目标倾斜角度(对应于上述旋转角度)进行跟随目标对象的安全状态判断。通过指定安全角度范围，当跟踪目标在图像平面内倾斜角度超过限制，则机器人平台停止跟随。此外，当目标对象跟踪失败、目标完全移出图像或机器人平台遇障时，同样使机器人平台停止。否者进入步骤S505。
步骤S505，判断机器人平台是否到达指定位置，如果没有则通过调整机器人平台，使得机器人到目标对象的距离和夹角与期望条件吻合。在到达新位置后，再次执行步骤S503。
可选地，对于上述步骤S503中的目标跟踪算法(如跟踪算法KSCFrot)的原理和流程如下：首先利用跟踪分类器进行跟踪目标像素坐标位置估计，再进行尺度和角度估计，最后对跟踪分类器以新位置和大小进行更新，如图6所示，具体过程如下所示：
步骤1，KSCFrot位置估计过程：
给定包含跟踪目标对象的图片，目标对象的宽、高和初始位置坐标。以目标对象中心为原点，以目标对象宽和高的2.5倍大小进行采样，得到基样本，将基样本图像块经过循环位移形成一组初始训练样本xi。
利用训练样本进行跟踪目标对象和背景二分类器的训练，需要对训练样本进行处理。一般对样本图像块进行特征提取，可以将像素信息映射到非线性空间，可以有利于支持向量机对目标对象分类。定义图像映射到非线性空间操作为映射方法可以是提取Hog特征、统计颜色特征或通过神经网络提取特征等。可理解，以上仅为一种示例，本实施例在此不作任何限定。
支持向量机分类器训练样本标注过程为，首先以采样图像块大小建立幅值为1的二维高斯响应pi，进一步将标注分为三类，通过设立两个标注阀值，高斯响应大于上边界阀值θu的标注为1，小于下边界阀值θl的定义为-1，其他标注定义为0。训练分类器使得输出结果和标注误差最小。
其中，y为输出结果。
分类器w定义为对偶参数α和特征向量的组合，将分类器中特征向量和图像特征向量进行组合得到核矩阵，
分类器的优化目标函数为：
s.t.e≥0 (3)
其中C为调节系数。
分类器参数满足：
将循环矩阵生成的每一个样本xi和分类器{w，b}或{α，b}进行相关计算后，可以得到对应响应结果为pi。在得到结果后通过逆傅里叶变换变回时域，可以更加直观的展示结果。以生成样本的循环顺序对响应结果进行排列，查找最大响应位置并与标准的高斯响应最大位置进行比较，以此判断跟踪目标移动距离。此时目标在图像上的宽度和高度保持不变。
max(pi)→u，v (6)
步骤2，尺度和角度估计过程:
在得到初步的位置估计后，对目标尺度和角度变化进行估计。流程为在初步目标位置以上一帧或初始帧基样本相同宽和高进行取样。对基样本进行循环生成一组尺度和角度训练样本，将样本的笛卡尔坐标转换为极对数坐标。通过极对数转换logpolar(·)，可以使得角度和尺度的变化成线性变化。假设模板为I0，当前帧目标图像为I1。两个图像块x中心像素(u0，v0)为原点，将笛卡尔坐标u/v装换为极角坐标s/θ。
其中，r是笛卡尔坐标下参考方向。
对训练样本进行特征提取Φ(·)，将训练样本特征向量和跟踪模板hρ在非线性特征空间进行相位相关估计，将得到结果按照生成样本的循环顺序进行排列，取最大响应结果的坐标信息。因为极角坐标系的坐标代表长度和角度，因此最大响应的坐标可以用来确定跟踪目标与模板之间的尺度差和角度差。对由步骤1过程得到的跟踪目标对象的图像，在初步笛卡尔位置坐标处，进行尺寸缩放。同时对得到的角度差进行累计，从而确定与跟踪目标起始状态之间的角度变化。最终得到跟踪目标的笛卡尔坐标位置和倾斜角度估计。
max(hρΦ)→s′，θ′ (10)
步骤4，模板更新：
在新位置以新尺寸用步骤1中的方法重新进行训练样本采集，并计算分类器参数。对下一张图像以当前帧得到的位置和大小进行采样，进行新一轮目标跟踪计算。
通过本实施例，首先通过相机(如单目工业相机)利用目标跟踪算法进行目标位姿估计，包括目标图像位置和平面内旋转角度估计；其次，通过相机内参和目标尺寸并结合平面图像到真实环境的转换关系，推算机器人平台的跟随距离和朝向；最后，调整机器人位姿使得跟随目标位于相机前方固定距离处，同时通过估计的旋转角度来确保机器人平台的运行安全。以支持向量机跟踪算法KSCF为基础，通过引入极对数坐标进行跟踪目标尺度和角度估计，设计了新跟踪算法KSCFrot，使其能够估计跟踪目标旋转的情况。达到了借助于单目视觉传感器，实现机器人平台对任意给定目标按指定距离进行跟随，同时可以对跟随目标倾斜或侧翻的异常状态进行安全判断，提高了机器人对目标对象跟踪的灵活性，通过旋转角度的估计，提高了机器人的安全性。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的又一方面，还提供了一种目标跟踪装置，如图7所示，该装置包括：
第一获取单元702，用于获取目标对象的目标高度，其中，目标对象为机器人当前跟踪的跟踪对象，目标高度用于表示目标对象的实际高度；
第一确定单元704，用于根据目标高度确定机器人与目标对象之间的当前距离，其中，当前距离用于表示机器人与目标对象之间当前的实际距离；
第二确定单元706，用于根据当前距离确定机器人跟踪目标对象的目标跟踪距离，以及根据目标高度确定机器人与目标对象之间的目标夹角；
跟踪单元708，用于根据目标跟踪距离和目标夹角跟踪目标对象，其中，目标跟踪距离为预先设定的机器人与目标对象的之间的跟踪距离。
可选地，第一获取单元702可以用于执行步骤S202，第一确定单元704可以用于执行步骤S204，第二确定单元706可以用于执行步骤S206，跟踪单元708可以用于执行步骤S208。
通过本实施例，首先，获取机器人当前跟踪的目标对象，获取表示该目标对象的实际高度的目标高度，根据目标高度确定机器人和目标对象两者之间的当前距离，然后，根据该当前距离确定机器人跟踪该目标对象的目标跟踪距离，并根据目标高度确定机器人和目标对象之间的目标夹角，使机器人按照目标跟踪距离和目标夹角跟踪该目标对象。达到了可以使机器人根据目标跟踪距离和目标夹角灵活跟踪目标对象的技术效果，进而解决了相关技术中，存在无法灵活的实现对任意给定的目标进行任意指定距离的跟随的技术问题。
作为一种可选的技术方案，上述第一获取单元，包括：第一获取模块，用于在目标对象的目标高度已知的情况下，获取预先存储的目标高度；或者第二获取模块，用于在目标对象的目标高度未知的情况下，获取包含目标对象的前一帧图像和当前帧图像，以及获取机器人在产生前一帧图像和当前帧图像的第一时间间隔内的第一移动距离；第一确定模块，用于根据第一移动距离、目标对象在前一帧图像中的第一像素高度、目标对象在当前帧图像中的第二像素高度和机器人的图像采集设备的焦距确定目标对象的目标高度。
作为一种可选的技术方案，上述第一确定模块，还用于将第一移动距离、第一像素高度与第二像素高度之间的乘积确定为第一数值，以及将焦距与第二像素高度和第一像素高度之间的差值的乘积确定为第二数值，将第一数值与第二数值之间的比值确定为目标高度。
作为一种可选的技术方案，上述第一确定单元，还用于将目标高度和焦距的乘积与第二像素高度之间的比值确定为当前距离。
作为一种可选的技术方案，上述装置还包括：第三确定单元，用于将第一移动距离与第一像素高度之间的乘积确定第三数值，将第三数值与第二像素高度和第一像素高度之间的差值的比值确定为当前距离。
作为一种可选的技术方案，上述第二确定单元，第三获取模块，用于在下一帧图像与当前帧图像的第二时间间隔内机器人与目标对象之间的目标跟踪距离发生变化、且目标对象存在横向移动的情况下，获取目标对象在下一帧图像中的第三像素高度；第二确定模块，用于将目标高度和焦距的乘积与第三像素高度的比值确定为机器人与目标对象之间的第一距离，以及将目标高度和焦距的乘积与第二像素高度的比值确定为机器人与目标对象之间的第二距离，其中，第一距离为机器人与目标对象在获取下一帧图像的第一拍摄方向上的距离，第二距离为机器人与目标对象在获取当前帧图像的第二拍摄方向上的距离；第三确定模块，用于根据第一距离、第二距离、第二像素高度和目标比例系数确定目标夹角，其中，目标比例系数为目标对象在图像中的像素坐标与目标对象的真实距离之间的比例系数。
作为一种可选的技术方案，上述第二确定单元，包括：第一处理模块，用于在当前距离与目标跟踪距离的差值大于预设阈值、且当前距离小于目标跟踪距离的情况下，降低机器人的移动速度，以使当前距离与目标跟踪距离之间的差值小于或等于预设阈值；或者第二处理模块，用于在当前距离与目标跟踪距离的差值大于预设阈值、且当前距离大于目标跟踪距离的情况下，提高机器人的移动速度，以使当前距离与目标跟踪距离之间的差值小于或等于预设阈值。
作为一种可选的技术方案，上述跟踪单元，还用于在机器人对目标对象进行跟踪的过程中，保持机器人和目标对象之间的距离为目标跟踪距离、且保持目标夹角小于或等于第一预设角度。
作为一种可选的技术方案，上述装置还包括：第一处理单元，用于获取目标对象的第i-1帧图像、对目标对象进行采样的采样框的第一像素高度和第一像素宽度、目标对象在第i-1帧图像中的初始位置坐标；对第i-1帧图像进行图像特征提取，得到第i-1帧图像的第一特征向量；根据第一特征向量、第一像素高度、第一像素宽度和初始位置坐标训练分类器参数，其中，初始位置坐标为第i-1帧图像中所述目标对象的中心像素坐标，前一帧图像包括第i-1帧图像，i为自然数；第二处理单元，用于以第一像素高度和第一像素宽度对应的采样框在初始坐标位置对目标对象进行采样，得到第i帧图像，对第i-1帧图像和第i帧图像进行极对数转换，确定目标对象在第i-1帧图像和第i帧图像中的尺度变化的尺度差和旋转角度，其中，尺度差用于表示目标对象在第i-1帧图像和第i帧图像中大小的变化，旋转角度用于表示目标对象在同一参考方向上在第i-1帧图像和第i帧图像中的角度变化，当前帧图像包括第i帧图像；第三处理单元，用于获取第i帧图像中所述目标对象的当前坐标位置；对第i帧图像进行图像特征提取，得到第i帧图像的第二特征向量，根据第一像素高度、第一像素宽度、尺度差和旋转角度确定目标对象在第i帧图像中的第二像素高度和第二像素宽度，其中，当前位置坐标为第i帧图像中所述目标对象的中心像素坐标；第四处理单元，用于根据第二特征向量、当前位置坐标、第二像素高度和第二像素宽度训练并更新分类器参数，以使图像采集设备按照当前位置坐标、第二像素高度和第二像素宽度对第i+1帧图像进行采样，其中，第i+1帧图像包括下一帧图像。
作为一种可选的技术方案，上述装置还包括：第五处理单元，用于在确定目标对象在第i-1帧图像和第i帧图像中的尺度变化的尺度差和旋转角度之后，在机器人对目标对象进行跟踪的过程中，在旋转角度大于或等于第二预设角度的情况下，停止机器人对目标对象的跟踪。
根据本发明的实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取目标对象的目标高度，其中，目标对象为机器人当前跟踪的跟踪对象，目标高度用于表示目标对象的实际高度；
S2，根据目标高度确定机器人与目标对象之间的当前距离，其中，当前距离用于表示机器人与目标对象之间当前的实际距离；
S3，根据当前距离确定机器人跟踪目标对象的目标跟踪距离，以及根据目标高度确定机器人与目标对象之间的目标夹角；
S4，根据目标跟踪距离和目标夹角跟踪目标对象，其中，目标跟踪距离为预先设定的机器人与目标对象的之间的跟踪距离。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取器)、磁盘或光盘等。
根据本发明实施例的又一个方面，还提供了一种用于实施上述目标跟踪方法的电子装置，如图8所示，该电子装置包括存储器802和处理器804，该存储器802中存储有计算机程序，该处理器804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取目标对象的目标高度，其中，目标对象为机器人当前跟踪的跟踪对象，目标高度用于表示目标对象的实际高度；
S2，根据目标高度确定机器人与目标对象之间的当前距离，其中，当前距离用于表示机器人与目标对象之间当前的实际距离；
S3，根据当前距离确定机器人跟踪目标对象的目标跟踪距离，以及根据目标高度确定机器人与目标对象之间的目标夹角；
S4，根据目标跟踪距离和目标夹角跟踪目标对象，其中，目标跟踪距离为预先设定的机器人与目标对象的之间的跟踪距离。
可选地，本领域普通技术人员可以理解，图8所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图8其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图8中所示更多或者更少的组件(如网络接口等)，或者具有与图8所示不同的配置。
其中，存储器802可用于存储软件程序以及模块，如本发明实施例中的目标跟踪方法和装置对应的程序指令/模块，处理器804通过运行存储在存储器802内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的目标跟踪方法。存储器802可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器802可进一步包括相对于处理器804远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器802具体可以但不限于用于存储目标对象的目标高度等信息。作为一种示例，如图8所示，上述存储器802中可以但不限于包括上述目标跟踪装置中的第一获取单元702、第一确定单元704、第二确定单元706、跟踪单元708。此外，还可以包括但不限于上述目标跟踪装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置806包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置806为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子装置还包括：显示器808和连接总线810，用于连接上述电子装置中的各个模块部件。
在其他实施例中，上述终端或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种稳定性高的雷达