具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种专业名词，但除非特别说明，这些专业名词不受这些术语限制。这些术语仅用于将一个专业名词与另一个专业名词区分。举例来说，在不脱离本申请的范围的情况下，第三预设阈值与第四预设阈值可以相同可以不同。

拍摄系统中通常会存在IMU(Inertial Measurement Unit，惯性测量单元)及视觉系统。比如，用于实现定位导航的设备，其上搭载有拍摄系统。其中，需要通过拍摄系统中的视觉系统对周围环境进行拍照，还需要通过拍摄系统的中的IMU对设备姿态进行求解。也即，实现定位导航等其它功能是需要建立在视觉系统与IMU之间的相关参数能够被精确确定的前提下的。因此，需要对拍摄系统进行标定，以确定视觉系统与IMU之间的相关参数。

在相关技术中，在对拍摄系统进行标定时，一般仅仅标定视觉系统与IMU之间的时延，或者在采用标定板视频的前提下同时标定时延和旋转外参，或者采用b样条对齐的方式进行时延粗标定，或者构建残差方程以进行迭代优化的方式，来对旋转外参及时延同时进行标定。由于实际实施过程中，若标定视频帧的时间戳间隔较大或采用非标定板视频时，则上述标定方法容易失效，且标定方法得到的标定结果也不够准确，容易出现失误。

针对上述相关技术中存在的问题，本发明实施例提供了一种拍摄系统标定方法，该方法可以应用于类似服务器等处理设备中，处理设备还可以但不限于是各种个人计算机及笔记本电脑等。需要说明的是，本申请各实施例中提及的“多个”等的数量均指代“至少两个”的数量，比如，“多个”指“至少两个”。

在对本申请的具体实施方式进行说明之前，先对本申请的主要应用场景进行说明。本申请中的拍摄系统标定方法主要应用于拍摄系统标定的场景，该拍摄系统可以是由视觉系统与惯性测量单元一起构成的。拍摄系统可以为相机等拍摄设备，本发明实施例对此不作具体限定。以拍摄系统为相机为例，视觉系统即为相机中的成像模块，而惯性测量单元可以同样设置于相机中。结合上述实施例的内容，在一个实施例中，参见图1，提供了一种拍摄系统标定方法。以该方法应用于终端，且执行主体为终端为例进行说明，该方法包括如下步骤：

101、根据视觉系统与惯性测量单元之间的旋转误差，确定时延的参考值；

102、根据时延的参考值，对视觉系统与惯性测量单元之间的旋转外参进行标定，视觉系统与惯性测量单元耦合在同一拍摄系统中，旋转误差是基于标定视频所确定的，标定视频是拍摄系统在旋转下拍摄得到的，旋转误差用于表示基于视觉系统所确定的旋转状态与基于惯性测量单元所确定的旋转状态之间的不一致程度。

在执行上述步骤101之前，拍摄系统的内参及畸变参数可以预先标定好，并由拍摄系统在处于旋转状态下拍摄得到标定视频。需要说明的是，在拍摄得到标定视频时，拍摄系统可以尽量在偏航、俯仰及翻滚三个方向上均产生一定的旋转，从而使得标定视频能够涵盖影响标定的各项因素，进而后续在基于标定视频进行标定时，标定精度会更高。还需要说明的是，拍摄系统在旋转过程中可以按照低速旋转，更进一步地，还可以按照变速旋转。之所以按照低速旋转，是由于如果旋转太快，会出现标定视频拍摄模糊的情况，而对于相邻两帧图像，后续过程中是需要提取两帧图像中各自的特征点，并以此获取第一旋转矩阵，若标定视频拍摄模糊则会导致提取特征点不够准确，从而影响提取及跟踪精度。而之所以变速旋转，是因为匀速旋转不是拍摄系统在拍摄时的运动变化常态，变速旋转才是运动变化常态。由此，通过将拍照系统设置为变速旋转，从而使得标定视频能够涵盖“变速旋转”这个影响标定的因素，进而后续在基于标定视频进行标定时，标定精度也会更高。

另外，根据标定视频，可以计算得到基于视觉系统所确定的一系列的旋转状态，具体可以体现为标定视频中每相邻两帧图像之间的旋转状态变化。这一系列的旋转状态可以由不同时间段所组成的时间序列来表示，每一时间段可以为标定视频中每相邻两帧图像所对应的时间段，每一时间段对应一个旋转状态。而每相邻两帧图像之间的旋转状态变化，可以用于描述每相邻两帧图像所对应的时间段内拍摄系统经历了怎样的旋转。也即，计算得到的基于视觉系统所确定的一系列的旋转状态，实际上是站在视觉系统的角度描述拍摄系统经历了怎样的旋转。

同理，也可以计算得到基于惯性测量单元所确定的一系列的旋转状态，而这一系列的旋转状态可以由不同时间段所组成的时间序列来表示，每一时间段对应一个旋转状态。而时间序列的不同时间段，可以为标定视频中每相邻两帧图像所对应的时间段。其中，每一时间段所对应的基于惯性测量单元所确定的旋转状态，即为站在惯性测量单元的角度描述拍摄系统经历了怎样的旋转。

由于两者均是描述时间序列下不同时间段内拍摄系统经历了怎样的旋转，而如果两者对应的时间序列也相同，则在理想状态下，两者所确定的旋转状态是一致的。而由于存在时延，两者所确定的旋转状态之间存在偏差，也即旋转误差。其中，时延的不同取值，两者所确定的旋转状态之间的旋转误差也会不同。基于上述原理，可以根据视觉系统与惯性测量单元之间的旋转误差，来确定时延。相应地，在执行步骤101时，可以确定q个离散的时延取值，计算每一时延取值下的旋转误差，由此可以选取其中旋转误差较小的时延取值作为时延的参考值。综合上述内容，步骤101对应的过程可以理解为是对时延进行粗标定的过程。具体地，步骤101可以采用b样条对齐的方式对时延进行粗标定，但该方法在时间戳间隔较大的情况下容易出现标定失误的情况；或者可以采用线性求解的方式对时延进行粗标定。

在步骤102中，可以根据时延的参考值，对时延及旋转外参进行标定。其中，标定方式可以采用构建手眼标定方程进行求解的方式进行同时标定，本发明实施例对此不作具体限定，即除了构建手眼标定方程，还可以采用构建其他方程进行求解的方式进行标定，比如分别构建时延的标定方程和旋转外参的标定方程进行求解来进行标定，或者构建残差方程进行优化迭代的方式进行标定。步骤102对应的过程可以理解为是对时延及旋转外参进行精细标定的过程。

本发明实施例提供的方法，通过根据视觉系统与惯性测量单元之间的旋转误差，确定时延的参考值。根据时延的参考值，对视觉系统与惯性测量单元之间的时延及旋转外参进行标定。由于在对视觉系统与惯性测量单元之间的时延及旋转外参进行标定之前，先确定了时延的参考值，从而可以避免时延不会偏差太大，进而避免了因时延偏差太大而导致标定结果不太精准，甚至标定失败的情形。另外，通过先对时延进行粗标定，后续再对时延及旋转外参进行精细标定。由于缩小了时延的优化范围，从而可以减少计算量，提高标定效率。

结合上述实施例的内容，在一个实施例中，本发明实施例不对根据视觉系统与惯性测量单元之间的旋转误差，确定时延的参考值的方式作具体限定，包括但不限于：对时延的第一初始值进行更新，得到时延的第一更新值，并根据时延的第一更新值，确定视觉系统与惯性测量单元之间的旋转误差，重复上述更新及确定过程，以确定满足第一预设条件的旋转误差，将满足第一预设条件的旋转误差对应的第一更新值作为时延的参考值。

在上述过程中，第一预设条件主要是用来衡量基于时延的第一更新值所确定的旋转误差是否足够小，第一预设条件可以根据需求进行设置，本发明实施例对此不作具体限定。第一预设条件可以为旋转误差落入到第一预设范围内，还可以是旋转误差逐渐收敛至某一数值，本发明实施例对此不作具体限定。另外，时延的第一初始值可以在某一范围内选取，如[-maxT，maxT]，在对时延的第一初始值进行更新时，也可以是在上述范围内更新。其中，更新的方式可以是随机选取，本发明实施例对此不做具体限定。

本发明实施例提供的方法，通过对时延的第一初始值进行更新，得到时延的第一更新值，并根据时延的第一更新值，确定视觉系统与惯性测量单元之间的旋转误差，重复上述更新及确定过程，以确定满足第一预设条件的旋转误差，将满足第一预设条件的旋转误差对应的第一更新值作为时延的参考值。由于可以基于时延不同的第一更新值确定的旋转误差，对时延不同的第一更新值进行筛选，确定能够满足第一预设条件的第一更新值，以作为时延的参考值，而第一预设条件可以用来衡量基于时延的第一更新值所确定的旋转误差是否足够小，从而能够使得确定的参考值更加精准。

结合上述实施例的内容，在一个实施例中，关于对时延的第一初始值进行更新，得到时延的第一更新值，并根据时延的第一更新值，确定视觉系统与惯性测量单元之间的旋转误差，重复上述更新及确定过程，以确定满足第一预设条件的旋转误差的方式，本发明实施例对此不作具体限定。参考图2，该方法过程包括：

201、根据预设步长，对第一初始值进行更新，直至更新得到的第一更新值不位于第一时延区间内为止，第一初始值位于第一时延区间内；

202、确定每次更新得到的第一更新值所对应的旋转误差；

203、确定所有确定得到的旋转误差中的最小值，将最小值作为满足第一预设条件的旋转误差。

在上述过程中，在对第一初始值进行更新时，可以按照预设步长对第一初始值进行累加，将每次累加到的累加值作为时延的第一更新值，也可以在按照预设步长对第一初始值进行累加后，在累加到的累加值周围再选取一个数值作为时延的第一更新值，本发明实施例对此不作具体限定。以第一时延区间为[-maxT，maxT]为例，第一初始值可以位于该区间内，上述累加过程可以直到累加值超出该区间的上限。

另外，预设步长可以根据标定分辨率res进行设置，如预设步长可以取res的整数倍，也即m*res作为预设步长。应当理解的是，预设步长越小，则每次对时延进行更新时所得到的第一更新值其变化也就越小，从而标定精度也就越高。相应地，标定次数随之增多，计算量也会随之增大。也即，预设步长越小，标定精度越高。

本发明实施例提供的方法，通过根据预设步长，对第一初始值进行更新，直至更新得到的第一更新值不位于第一时延区间内为止。确定每次更新得到的第一更新值所对应的旋转误差。确定所有确定得到的旋转误差中的最小值，将最小值作为满足第一预设条件的旋转误差。由于可以基于时延不同的第一更新值确定的旋转误差，对时延不同的第一更新值进行筛选，确定能够满足第一预设条件的第一更新值，以作为时延的参考值，而第一预设条件可以用来衡量基于时延的第一更新值所确定的旋转误差是否足够小，根据预设步长对时延的第一更新值在第一时延区间内进行重复更新取值，直到确定能够满足第一预设条件的第一更新值，以作为时延的参考值，从而避免在视觉系统与惯性测量单元的时间戳间隔太大的情况下出现标定失误的情况，也能够使得确定的参考值更加精准。

结合上述实施例的内容，在一个实施例中，本发明实施例不对确定每次更新得到的第一更新值所对应的旋转误差的方式作具体限定，包括但不限于：对于每次更新得到的第一更新值，根据第一更新值，调整标定视频中每帧图像对应的时间点；获取标定视频中相邻两帧图像之间的第一旋转矩阵，并获取调整时间点后的标定视频中相邻两帧图像对应的第二旋转矩阵，第二旋转矩阵是在相邻两帧图像所对应的时间段内，基于惯性测量单元的测量值所确定的；根据每相邻两帧图像之间的第一旋转矩阵及每相邻两帧图像对应的第二旋转矩阵，确定第一更新值所对应的旋转误差。

如图3所示，图3中上半部分黑色实箭头为图像对应的时间点，可以由图像的采样时间点表示，而大小比黑色实箭头更小的灰色虚线箭头，则是惯性测量单元的采样时间。若视觉系统与惯性测量单元之间的时延是dt，无论是视觉系统比惯性测量单元慢了dt，还是惯性测量单元比视觉系统慢了dt，则均可以参考图3中下半部分的灰色实箭头。以图3中上半部分从左至右的第一个黑色实箭头表示第一帧图像的采样时间点，从左至右的第二个黑色实箭头表示第二帧图像的采样时间点为例，图3中下半部分从左至右的第一个灰色实箭头也表示第一帧图像的采样时间点，而从左至右的第二个灰色实箭头同样表示第二帧图像的采样时间点，只不过两者之间的采样时间点延时了dt时长。

在获取标定视频中每相邻两帧图像之间的第一旋转矩阵时，可以通过直接法或者特征点法获取两帧图像之间的像素点的对应关系，再利用对极几何约束，分解本质矩阵或基础矩阵的方式，计算得到两帧图像之间的第一旋转矩阵。需要说明的是，如果视觉系统采用的曝光方式为卷帘曝光，由于图像中各位置的特征点可能不是在同一时刻曝光所得到的，从而为了使得计算得到的图像之间的第一旋转矩阵，更接近图像曝光的中间时刻，在利用特征点计算第一旋转矩阵之前，在提取特征点时，可以使得提取到的特征点尽量在图像上均匀分布。

通过上述过程可以得到标定视频中时间序列及图像之间的相对旋转，可以通过进行表示，实际上表示的是不同时间段及每一时间段对应的第一旋转矩阵。其中，time表示由标定视频中每相邻两帧图像所对应的时间段所组成的时间序列，而表示每相邻两帧图像之间的相对旋转，也即第一旋转矩阵。中的v表示相对旋转是通过视觉系统得到，c表示视觉系统坐标系，而i表示第几帧，若i从第0帧开始，则i的最大值为标定视频中总帧数减去2。

而由图3可知，虽然调整了标定视频中每帧图像对应的时间点，但由于每相邻两帧图像之间的第一旋转矩阵是根据图像中的特征点所确定的，从而不受图像对应时间点的影响。而对于每相邻两帧图像对应的第二旋转矩阵，则会受图像对应时间点的影响。

结合图3，以图3中上半部分第一帧图像的采样时间点是第1秒，而第二帧图像的采样时间点是第1.5秒，视觉系统比惯性测量单元慢了0.25秒为例，则本来在获取第一帧图像与第二帧图像对应的第二旋转矩阵时，所使用的应该是第1秒至第1.5秒之间惯性测量单元的测量值。而调整标定视频中每帧图像对应的时间点之后，在获取第一帧图像与第二帧图像对应的第二旋转矩阵时，所使用的变为了第1.25秒至第1.75秒之间惯性测量单元的测量值。

在获取调整后的标定视频中每相邻两帧图像对应的第二旋转矩阵时，可以对相邻两帧图像所对应的时间段内所获取到的惯性测量单元的测量值进行预积分，以得到相邻两帧图像对应的第二旋转矩阵其中，b表示惯性测量单元坐标系。右下角的i表示第几帧图像，具体可以参考上说明。右上角的i表示相对旋转是通过惯性测量单元得到。

调整标定视频中每帧图像对应的时间点之后，标定视频中时间序列及每相邻两帧图像之间的第一旋转矩阵可以通过表示。同理，标定视频中时间序列及每相邻两帧图像之间的第二旋转矩阵可以通过表示。其中，time+dt可以表示更新视觉系统与惯性测量单元之间时延后，所形成的时间序列。

对于相同的时间段内，比如第一帧图像与第二帧图像之间的时间段，可以得到其对应的第一旋转矩阵及第二旋转矩阵其中，第一旋转矩阵表示站在视觉系统的角度描述拍摄系统在一帧图像与第二帧图像之间这个时间段经历了怎样的旋转，而第二旋转矩阵表示站在惯性测量单元的角度描述拍摄系统在一帧图像与第二帧图像之间这个时间段经历了怎样的旋转。第一旋转矩阵与第二旋转矩阵之间的差异即表示在这个第一帧图像与第二帧图像之间的这个时间段内，所产生的旋转误差。其中，该旋转误差可以通过两个矩阵之间的差异度进行表示。

通过上述过程，可以计算得到每相邻两帧图像对应的第一旋转矩阵与第二旋转矩阵之间的差异度，将每相邻两帧图像对应的差异度进行叠加，即可得到时延为dt时所对应的旋转误差。其中，每次更新得到的第一更新值即为每次更新得到的时延dt。

本发明实施例提供的方法，通过对于每次更新得到的第一更新值，根据第一更新值，调整标定视频中每帧图像对应的时间点。获取标定视频中相邻两帧图像之间的第一旋转矩阵，并获取调整时间点后的标定视频中相邻两帧图像对应的第二旋转矩阵。根据每相邻两帧图像之间的第一旋转矩阵及每相邻两帧图像对应的第二旋转矩阵，确定第一更新值所对应的旋转误差。由于可以基于时延不同的第一更新值确定的旋转误差，对时延不同的第一更新值进行筛选，确定能够满足第一预设条件的第一更新值，以作为时延的参考值，而第一预设条件可以用来衡量基于时延的第一更新值所确定的旋转误差是否足够小，从而能够使得确定的参考值更加精准。

结合上述实施例的内容，在一个实施例中，本发明实施例不对根据每相邻两帧图像之间的第一旋转矩阵及每相邻两帧图像对应的第二旋转矩阵，确定第一更新值所对应的旋转误差的方式作具体限定，包括但不限于：根据每相邻两帧图像之间的第一旋转矩阵及每相邻两帧图像对应的第二旋转矩阵，计算每相邻两帧图像对应的轴角差值；根据每相邻两帧图像对应的轴角差值，计算第一更新值所对应的旋转误差。

其中，上述计算过程可参考如下公式(1)：

在上述公式(1)中，表示根据第i帧图像与第i+1帧图像之间的第一旋转矩阵所确定的轴角，表示根据第i帧图像与第i+1帧图像这两帧图像对应的第二旋转矩阵所确定的轴角。该两个轴角之间的差值，即为该相邻两帧图像对应的轴角差，n+1表示标定视频中的总帧数。

本发明实施例提供的方法，通过根据每相邻两帧图像之间的第一旋转矩阵及每相邻两帧图像对应的第二旋转矩阵，计算每相邻两帧图像对应的轴角差值。根据每相邻两帧图像对应的轴角差值，计算第一更新值所对应的旋转误差。由于可以基于时延不同的第一更新值确定的旋转误差，对时延不同的第一更新值进行筛选，确定能够满足第一预设条件的第一更新值，以作为时延的参考值，而第一预设条件可以用来衡量基于时延的第一更新值所确定的旋转误差是否足够小，根据预设步长对时延的第一更新值在第一时延区间内进行重复更新取值，直到确定能够满足第一预设条件的第一更新值，以作为时延的参考值，从而避免在视觉系统与惯性测量单元的时间戳间隔太大的情况下出现标定失误的情况，也能够使得确定的参考值更加精准。

结合上述实施例的内容，在一个实施例中，本发明实施例不对根据时延的参考值，对视觉系统与惯性测量单元之间的时延及旋转外参进行标定的方式作具体限定，包括但不限于：根据时延的参考值，确定第二时延区间，并在第二时延区间中确定时延的第二初始值；对时延的第二初始值进行更新，得到时延的第二更新值，根据时延的第二更新值，获取视觉系统与惯性测量单元之间旋转外参的参考值，并根据时延的第二更新值及旋转外参的参考值，确定视觉系统与惯性测量单元之间的旋转误差，重复上述更新时延、确定更新后时延对应的旋转外参及旋转误差的过程，以确定满足第二预设条件的旋转误差，将满足第二预设条件的旋转误差对应的时延的第二更新值及旋转误差的参考值，作为拍摄系统的标定结果。

上述确定时延的参考值的过程，实际上是对时延进行粗标定的过程。由此，在本发明实施例提供的内容中，第二时延区间的范围会比上述过程中的第一时延区间的范围小得多。以时延的参考值为rawdt为例，该第二时延区间可以用[rawdt-2*m*res,rawdt+2*m*res]进行表示。其中，res表示标定分辨率，m表示整数倍数。

与第一预设条件类似，第二预设条件可以为旋转误差落入到第二预设范围内，还可以是旋转误差逐渐收敛至某一数值，本发明实施例对此也不作具体限定。需要说明的是，不同于上述得到时延的参考值的粗标定过程，本发明实施例提供的内容是对时延与旋转外参同时进行标定，相当于是再次精细标定的过程。由此，设置第二预设条件时可以比第一预设条件的设置标准更为严苛。其中，设置标准更为严苛可以体现在第二预设条件可以保证所确定的旋转误差比第一预设条件所确定的旋转误差更小。

本发明实施例提供的方法，通过根据时延的参考值，确定第二时延区间，并在第二时延区间中确定时延的第二初始值。对时延的第二初始值进行更新，得到时延的第二更新值，根据时延的第二更新值，获取视觉系统与惯性测量单元之间旋转外参的参考值，并根据时延的第二更新值及旋转外参的参考值，确定视觉系统与惯性测量单元之间的旋转误差，重复上述更新时延、确定更新后时延对应的旋转外参及旋转误差的过程，以确定满足第二预设条件的旋转误差，将满足第二预设条件的旋转误差对应的时延的第二更新值及旋转误差的参考值，作为拍摄系统的标定结果。由于通过先对时延进行粗标定，后续再对时延及旋转外参进行精细标定，从而缩小了时延的优化范围，进而可以减少计算量，提高标定效率。

另外，由于可以基于时延不同的第二更新值确定对应的旋转外参，再基于时延不同的第二更新值及其对应的旋转外参确定对应的旋转误差，以同时对时延及旋转外参进行筛选，确定能够满足第二预设条件的第二更新值及旋转误差，并作为标定结果，而第二预设条件可以用来衡量基于时延的第一更新值所确定的旋转误差是否足够小，从而能够使得确定的标定结果更加精准。

结合上述实施例的内容，在一个实施例中，本发明实施例不对根据时延的第二更新值，获取视觉系统与惯性测量单元之间旋转外参的参考值的方式作具体限定，包括但不限于：根据时延的第二更新值，确定手眼标定方程组，手眼标定方程组中旋转外参为未知量；对手眼标定方程组进行求解，获取旋转外参的参考值。

根据旋转变换关系，可以构建手眼标定公式AX＝XB，结合上述示例中的内容，该公式可以具体为如下公式(2)：

在上述公式中，与的定义可参考上述实施例的内容，R_{b_c}即为待求解的外参，同样也为矩阵。需要说明的是，与R_{b_c}均为3*3的矩阵。其中，该手眼标定的变换过程可参考图4。

由上述实施例的内容可知，在时延的第二更新值已知的前提下，标定视频中每相邻两帧图像之间的第一旋转矩阵以及每相邻两帧图像对应的第二旋转矩阵是可以求解得到的。由此，标定视频中每相邻两帧图像均可以对应构建一个手眼标定方程，由此可以得到手眼标定方程组。其中，手眼标定方程组中方程的个数为标定视频中总帧数减去1。

其中，求解该方程的过程可以转化为如下最小二乘问题，具体可以参考如下公式(3)：

在上述公式中，实际上是将公式(2)中的左边矩阵乘以右边矩阵的转置矩阵。在理想状况下，如果轴角差值为0，两者相乘应该得到一个单位矩阵。由于存在旋转误差，则通常不会得到单位矩阵，而两者乘积大小可以表示这种旋转误差。在公式(3)中，表示鲁棒核函数，即为权重，可以根据实际计算得到的来进行设置。

为在某种程度上求得R_{b_c}的最优解，可以使得上述误差的累积值最小，能够使得误差的累积值达到最小的R_{b_c}即为需要求解的旋转外参。基于该原理，在对手眼标定方程组进行求解，获取旋转外参的参考值时，可以通过迭代优化的方式求解，也可以通过转化为轴角或者四元数解线性方程组的方式来求解，本发明实施例对此不作具体限定。考虑到四元数的求解过程比较快，为了便于理解，本发明实施例采用四元数的方式来线性求解上述手眼标定方程组，具体过程如下：

先将手眼标定方程组转化为四元数左乘及右乘矩阵的形式，具体可以参考如下公式(4)：

在上述公式(4)中，表示将四元数转换为4*4的左乘矩阵，表示将四元数转换为4*4的右乘矩阵。

将第1个至第n个时刻线性方程进行累积可以得到如下齐次方程组，具体可参考如下公式(5)：

在上述公式(5)中，齐次方程组中的系数矩阵Q_n维数为4n*4，由于标定使用的图像帧数一般比较多，可能达到几百上千帧。因此，对Q_n进行奇异值分解耗时巨大，根据推导，方程组Q_n*q_{b_c}＝0的解与相同。因此，可将公式(5)转化为求解其中，的维数为4*4，对其进行奇异值分解速度较快。

结合上述实施例的内容，在根据时延的第二更新值，获取视觉系统与惯性测量单元之间旋转外参的参考值之后，可以根据时延的第二更新值及旋转外参的参考值，确定视觉系统与惯性测量单元之间的旋转误差。结合上述实施例的内容，确定旋转误差的误差公式可以参考如下公式(6)：

当然，实际实施过程中，结合上述手眼标定公式，确定旋转误差的误差公式还可以有多种变形，比如可以参考如下公式(7)：

本发明实施例提供的方法，通过根据时延的第二更新值，确定手眼标定方程组，手眼标定方程组中旋转外参为未知量。对手眼标定方程组进行求解，获取旋转外参的参考值。由于在获取时延及旋转外参的标定结果时，采用的是线性求解的方法，从而可以避免出现对时延及旋转外参进行优化的过程中陷入局部最小值，导致获取到的标定结果不够精准，甚至后续标定失败的情形。

结合上述示例中的内容，在求解出时延的不同取值对应的误差之后，时延的取值与误差的曲线图可以参考图5。将标定时所有时延的取值dt作为横坐标，每个dt对应的平均误差Err为纵坐标绘制时延与平均误差曲线。图5所示为实际中某一次标定的结果，横坐标为视觉系统相当于惯性测量单元的时延dt，具体单位为秒。纵坐标为不同dt下使用上述误差计算公式计算的平均误差，具体单位为弧度值。该曲线的最低点值越低，越尖锐，表示时延标定的效果和精度越高。在不同的标定精度测试工具下，如euroc数据，其主要是使用全局曝光所拍摄的数据，利用euroc数据标定的时延及旋转外参，其对应的标定结果可以参考如下表1：

表1

而利用evo数据，其主要是使用卷帘曝光所拍摄的数据，利用evo数据标定的时延及旋转外参，其对应的标定结果可以参考如下表2：

表2

由上述表1及表2可以得知，在旋转充分的数据上测试，euroc数据标定的视觉系统与惯性测量单元之间的时延比较稳定，基本都是0.5ms。而evo数据大部分标定结果在：-0.0015～0s之间，偶尔会出现-0.002和0.001的情况，基本标定误差在2ms内。其中，evo数据的标定结果没有euroc数据稳定，这个可能跟evo数据是由卷帘相机拍摄得到的有一定关系。另外，旋转外参的误差为角度差异，euroc数据标定出的旋转外参对应的误差大概在0.3度左右，而evo数据标定出的旋转外参与防抖组标定的结果之间误差约为0.5度。其中，evo数据为一种卷帘相机拍摄得到的数据，euroc数据为一种全局相机拍摄得到的数据。

应该理解的是，虽然图1及图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1及图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

结合上述实施例的内容，在一个实施例中，如图6所示，提供了一种拍摄系统标定装置，包括：确定模块601及标定模块602，其中：

确定模块601，用于根据视觉系统与惯性测量单元之间的旋转误差，确定时延的参考值；

标定模块602，用于根据时延的参考值，对视觉系统与惯性测量单元之间的时延及旋转外参进行标定，视觉系统与惯性测量单元耦合在同一拍摄系统中，旋转误差是基于标定视频所确定的，标定视频是拍摄系统在旋转下拍摄得到的，旋转误差用于表示基于视觉系统所确定的旋转状态与基于惯性测量单元所确定的旋转状态之间的不一致程度。

在一个实施例中，确定模块601，用于对时延的第一初始值进行更新，得到时延的第一更新值，并根据时延的第一更新值，确定视觉系统与惯性测量单元之间的旋转误差，重复上述更新及确定过程，以确定满足第一预设条件的旋转误差，将满足第一预设条件的旋转误差对应的第一更新值作为时延的参考值。

在一个实施例中，确定模块601，包括：

更新单元，用于根据预设步长，对第一初始值进行更新，直至更新得到的第一更新值不位于第一时延区间内为止，第一初始值位于第一时延区间内；

第一确定单元，用于确定每次更新得到的第一更新值所对应的旋转误差；

第二确定单元，用于确定所有确定得到的旋转误差中的最小值，将最小值作为满足第一预设条件的旋转误差。

在一个实施例中，第一确定单元，包括：

调整子单元，用于对于每次更新得到的第一更新值，根据第一更新值，调整标定视频中每帧图像对应的时间点；

获取子单元，用于获取标定视频中相邻两帧图像之间的第一旋转矩阵，并获取调整时间点后的标定视频中相邻两帧图像对应的第二旋转矩阵，第二旋转矩阵是在相邻两帧图像所对应的时间段内，基于惯性测量单元的测量值所确定的；

确定子单元，用于根据每相邻两帧图像之间的第一旋转矩阵及每相邻两帧图像对应的第二旋转矩阵，确定第一更新值所对应的旋转误差。

在一个实施例中，确定子单元，用于根据每相邻两帧图像之间的第一旋转矩阵及每相邻两帧图像对应的第二旋转矩阵，计算每相邻两帧图像对应的轴角差值；根据每相邻两帧图像对应的轴角差值，计算第一更新值所对应的旋转误差。

在一个实施例中，标定模块602，包括：

第三确定单元，用于根据时延的参考值，确定第二时延区间，并在第二时延区间中确定时延的第二初始值；

获取单元，用于对时延的第二初始值进行更新，得到时延的第二更新值，根据时延的第二更新值，获取视觉系统与惯性测量单元之间旋转外参的参考值，并根据时延的第二更新值及旋转外参的参考值，确定视觉系统与惯性测量单元之间的旋转误差，重复上述更新时延、确定更新后时延对应的旋转外参及旋转误差的过程，以确定满足第二预设条件的旋转误差，将满足第二预设条件的旋转误差对应的时延的第二更新值及旋转误差的参考值，作为拍摄系统的标定结果。

在一个实施例中，获取单元，用于根据时延的第二更新值，确定手眼标定方程组，手眼标定方程组中旋转外参为未知量；对手眼标定方程组进行求解，获取旋转外参的参考值。

关于拍摄系统标定装置的具体限定可以参见上文中对于拍摄系统标定方法的限定，在此不再赘述。上述拍摄系统标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储时延及旋转外参。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种拍摄系统标定方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

根据视觉系统与惯性测量单元之间的旋转误差，确定时延的参考值；

根据时延的参考值，对视觉系统与惯性测量单元之间的时延及旋转外参进行标定，视觉系统与惯性测量单元耦合在同一拍摄系统中，旋转误差是基于标定视频所确定的，标定视频是拍摄系统在旋转下拍摄得到的，旋转误差用于表示基于视觉系统所确定的旋转状态与基于惯性测量单元所确定的旋转状态之间的不一致程度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对时延的第一初始值进行更新，得到时延的第一更新值，并根据时延的第一更新值，确定视觉系统与惯性测量单元之间的旋转误差，重复上述更新及确定过程，以确定满足第一预设条件的旋转误差，将满足第一预设条件的旋转误差对应的第一更新值作为时延的参考值。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据预设步长，对第一初始值进行更新，直至更新得到的第一更新值不位于第一时延区间内为止，第一初始值位于第一时延区间内；确定每次更新得到的第一更新值所对应的旋转误差；确定所有确定得到的旋转误差中的最小值，将最小值作为满足第一预设条件的旋转误差。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对于每次更新得到的第一更新值，根据第一更新值，调整标定视频中每帧图像对应的时间点；获取标定视频中相邻两帧图像之间的第一旋转矩阵，并获取调整时间点后的标定视频中相邻两帧图像对应的第二旋转矩阵，第二旋转矩阵是在相邻两帧图像所对应的时间段内，基于惯性测量单元的测量值所确定的；根据每相邻两帧图像之间的第一旋转矩阵及每相邻两帧图像对应的第二旋转矩阵，确定第一更新值所对应的旋转误差。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据每相邻两帧图像之间的第一旋转矩阵及每相邻两帧图像对应的第二旋转矩阵，计算每相邻两帧图像对应的轴角差值；根据每相邻两帧图像对应的轴角差值，计算第一更新值所对应的旋转误差。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据时延的参考值，确定第二时延区间，并在第二时延区间中确定时延的第二初始值；对时延的第二初始值进行更新，得到时延的第二更新值，根据时延的第二更新值，获取视觉系统与惯性测量单元之间旋转外参的参考值，并根据时延的第二更新值及旋转外参的参考值，确定视觉系统与惯性测量单元之间的旋转误差，重复上述更新时延、确定更新后时延对应的旋转外参及旋转误差的过程，以确定满足第二预设条件的旋转误差，将满足第二预设条件的旋转误差对应的时延的第二更新值及旋转误差的参考值，作为拍摄系统的标定结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据时延的第二更新值，确定手眼标定方程组，手眼标定方程组中旋转外参为未知量；对手眼标定方程组进行求解，获取旋转外参的参考值。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

根据视觉系统与惯性测量单元之间的旋转误差，确定时延的参考值；

根据时延的参考值，对视觉系统与惯性测量单元之间的时延及旋转外参进行标定，视觉系统与惯性测量单元耦合在同一拍摄系统中，旋转误差是基于标定视频所确定的，标定视频是拍摄系统在旋转下拍摄得到的，旋转误差用于表示基于视觉系统所确定的旋转状态与基于惯性测量单元所确定的旋转状态之间的不一致程度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对时延的第一初始值进行更新，得到时延的第一更新值，并根据时延的第一更新值，确定视觉系统与惯性测量单元之间的旋转误差，重复上述更新及确定过程，以确定满足第一预设条件的旋转误差，将满足第一预设条件的旋转误差对应的第一更新值作为时延的参考值。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据预设步长，对第一初始值进行更新，直至更新得到的第一更新值不位于第一时延区间内为止，第一初始值位于第一时延区间内；确定每次更新得到的第一更新值所对应的旋转误差；确定所有确定得到的旋转误差中的最小值，将最小值作为满足第一预设条件的旋转误差。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对于每次更新得到的第一更新值，根据第一更新值，调整标定视频中每帧图像对应的时间点；获取标定视频中相邻两帧图像之间的第一旋转矩阵，并获取调整时间点后的标定视频中相邻两帧图像对应的第二旋转矩阵，第二旋转矩阵是在相邻两帧图像所对应的时间段内，基于惯性测量单元的测量值所确定的；根据每相邻两帧图像之间的第一旋转矩阵及每相邻两帧图像对应的第二旋转矩阵，确定第一更新值所对应的旋转误差。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据每相邻两帧图像之间的第一旋转矩阵及每相邻两帧图像对应的第二旋转矩阵，计算每相邻两帧图像对应的轴角差值；根据每相邻两帧图像对应的轴角差值，计算第一更新值所对应的旋转误差。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据时延的参考值，确定第二时延区间，并在第二时延区间中确定时延的第二初始值；对时延的第二初始值进行更新，得到时延的第二更新值，根据时延的第二更新值，获取视觉系统与惯性测量单元之间旋转外参的参考值，并根据时延的第二更新值及旋转外参的参考值，确定视觉系统与惯性测量单元之间的旋转误差，重复上述更新时延、确定更新后时延对应的旋转外参及旋转误差的过程，以确定满足第二预设条件的旋转误差，将满足第二预设条件的旋转误差对应的时延的第二更新值及旋转误差的参考值，作为拍摄系统的标定结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据时延的第二更新值，确定手眼标定方程组，手眼标定方程组中旋转外参为未知量；对手眼标定方程组进行求解，获取旋转外参的参考值。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。