具体实施方式

相同的附图标记将用于不同实施例中的对应特征。

参考图1，本发明的实施例提供了一种控制包括相机的便携式设备的方法100。

该方法包括：

使用定位算法执行110便携式设备的定位，该定位算法将表示由相机捕获的图像的图像数据作为输入；

识别120相机的当前对焦区域；

确定130相机的期望对焦区域；

当期望对焦区域与当前对焦区域不同时，确定140需要改变对焦；以及

生成150控制信号，该控制信号被配置为使对焦区域改变。

图像数据可以由相机输出的数据输出或从相机输出的数据导出。图像数据可以包括图像帧，每个图像帧包括相机中图像传感器的像素在时间点处的像素强度数据。对焦区域包括图像内的一个或多个区域，其中图像内容具有最高水平的锐度。失焦(Out-of-focus)区域是图像中对焦区域的互补区域。前后移动相机的焦平面的过程称为对焦、对焦调整或对焦的改变。

当被提供有所需对焦区域时，可以例如使用自动对焦算法来执行对焦的改变，自动对焦算法被实现为例如相机的组件。自动对焦算法基于它在所提供的对焦区域内识别的对象来确定并应用相机中的焦点设置。备选地，可以通过独立于相机但与相机的接口(例如，应用编程接口(API))通信的软件实现以改变相机的焦点设置来对所提供的对焦区域执行对焦的改变。

便携式设备例如可以是以下中的任何一个：计算设备、智能电话、便携式电话、蜂窝电话、无线设备、无线相机、游戏控制台或设备、平板电脑、膝上型计算机、头戴式设备、导航设备和机器人设备。

在实施例中，便携式设备包括显示器，并且该方法包括生成控制信号，该控制信号被配置为使由相机捕获的图像显示在显示器上。控制信号还可以被配置为使虚拟内容与图像一起显示。

期望对焦区域可以是以下中的任何一个：以用户的眼睛所对焦在的便携式设备的显示器上显示的图像内的位置为中心的区域；以用户做出了点击手势所在的便携式设备的显示器上显示的图像内的位置为中心的区域；由便携式设备的显示器上与由相机捕获的图像一起显示的虚拟内容的位置和尺寸定义的区域；由应用于图像数据的基准标记的位置和尺寸定义的区域；以及指定的感兴趣区域。例如，在智能电话的情况下，期望对焦区域通常由用户定义，例如通过点击智能电话屏幕并定义区域。还可以通过其他方式定义期望对焦区域，例如通过跟踪用户的眼睛注视并将屏幕上(即图像内)用户正在注视的区域定义为期望对焦区域。

在实施例中，定位算法是定位和映射算法，其可以是同时定位和映射SLAM算法。

备选地，定位算法可以是来自运动算法的结构。任一选项都适用于解决构建环境的3D模型和在环境中定位便携式设备的问题。

定位算法可以是直接定位算法，识别和跟踪包括亮度/色度模式的特征的移动。备选地，定位算法可以是间接定位算法，识别和跟踪特征的移动，该特征包括几何图案和特征(例如角和边缘)或更复杂的特征描述符，例如SIFT、ORB和FAST，如例如在Ra′ul Mur-Artal等人的“ORB-SLAM：a Versatile and Accurate Monocular SLAM System”中，IEEETransactions on Robotics，第31卷，第5期，2015年10月，第1147-1163页，“特征选择”和“ORB提取”中所描述的。

在实施例中，执行便携式设备的定位包括从图像数据中识别特征并确定所识别特征的相应位置。不确定性与特征的识别及其确定的位置相关联，指示相应的信任水平。不确定性的水平根据从相机接收的图像数据中的图像内容和所选择的图像内容的图像质量而变化。例如，可以基于相机的技术特性或基于有根据的推测来计算指示在所识别的特征及其所确定的位置中的信任水平的不确定性。

在实施例中，该方法包括：调整由定位算法确定便携式设备的位置/朝向所使用的、与由定位算法确定的所选择的特征的位置相关联的不确定性。

在实施例中，调整与所选择的特征的位置相关联的不确定性包括：增大与位于或预测将位于新的对焦区域外部的特征相关联的不确定性；将相机的对焦改变到新的对焦区域；以及减小与在相机的对焦改变完成后位于或预测将位于新的对焦区域内部的特征相关联的不确定性。

增大或减小不确定性是在IMU也可用的情况下告诉定位算法在确定便携式设备的位置/朝向时它应该更信任两个传感器(例如相机和IMU)中的哪一个的方式。如果在实施例中，我们假设不存在惯性测量单元IMU，我们只有相机，则我们不需要调整不确定性。我们暂时将定位算法的操作停止该定位算法关于新的对焦区域而改变相机的对焦所花费的时长。如果设备是静止的，这将获得最佳结果。通过停止该算法，我们不向该算法提供可能降低该算法准确识别特征和确定其位置的能力的低质量图像，从而节省计算量。

在另一个实施例中，调整与所选择的特征相关联的不确定性包括：在改变相机的对焦时将不确定性增大到指示缺乏信任的值。这使定位算法在相机的对焦改变时停止运行。

在实施例中，便携式设备包括相机和具有加速度计和陀螺仪的IMU二者。加速度计被配置为在三个维度(x，y，z)中的每一个维度上测量便携式设备的线性加速度，并且陀螺仪被配置为测量便携式设备绕三个正交轴(u，v，w)中的每一个的角速度，三个正交轴(u，v，w)可以与轴(x，y，z)对齐，或以已知量不同地定向。这些测量可以用于估计设备在一时间段内(例如在从相机捕获第一到第二连续图像的图像帧周期内)的位置和朝向的改变。

定位算法可以附加地接收3D线性加速度和3D旋转速度测量“IMU测量”作为输入。这里调整与所选择的所述特征相关联的不确定性包括将不确定性增大到定位算法优先使用IMU测量的值。不确定性保持在该增大的值，直到相机的对焦已经改变。

参考图2，在实施例中，该方法包括例如通过预测来确定可能在期望对焦区域RNIFA内被识别的特征的数量(在图2中示为星)。要进行计数，所识别的特征必须至少具有最低质量水平。相机具有当前对焦区域IFA，如图2a)所示。然后识别期望对焦区域RNIFA，如图2b)所示。可以以上述方式中的任何一种来定义期望对焦区域。如果在期望对焦区域内识别的或预测为可识别的特征的数量至少等于指定的最小特征数量，则期望对焦区域被选择为新的对焦区域。要进行计数，所识别的特征必须至少具有最低质量水平。

参考图2c)，如果在期望对焦区域内识别的或预测为可识别的特征的数量小于指定的最小特征数量，则不同于期望对焦区域的区域被选择为新的对焦区域。在定位算法已经生成便携式设备正在其中操作的环境的地图(该地图表示特征及其相对位置)的情况下，该算法能够在给定当前对焦区域和地图的情况下预测哪些已经识别的特征可能位于新的对焦区域内。该算法例如通过使用便携式设备的位置和朝向的最近历史来确定设备的当前运动方向和改变朝向来实现这一点。该算法可以使用所确定的设备的当前运动来预测设备在未来短时间(例如未来的一个或多个帧周期)内的位置和朝向，并因此确定哪些已经识别和映射的特征在那时可能位于新的对焦区域内。

被选择为新的对焦区域的区域MNIFA是最接近期望对焦区域的区域，针对该区域，该区域内的特征数量被预测至少等于指定的最小特征数量。例如，通过确定新的对焦区域的质心和期望对焦区域的质心在由相机捕获的图像内或在真实世界坐标中的相对位置来确定接近度。

如图2c)所示，被选择为新的对焦区域的区域可以是相对于期望对焦区域水平或竖直移位的区域。新的对焦区域可以是与期望对焦区域大小相同的区域，该区域相对于期望对焦区域移位了在该区域内识别的或预测为可识别的特征的数量至少等于指定的最小特征数量所需的最小距离。

备选地，新的对焦区域可以是包括期望对焦区域的更大的区域。

在一些情况下，期望对焦区域可以远离当前对焦区域。这将意味着在期望对焦区域附近可能只有很少的先前识别和映射的特征。如果设备正在移动，算法可以发现新特征，估计它们的位置并将它们添加到地图中。在这种情况下，算法可能很难预测有多少可识别的特征可能位于新的对焦区域内，直到地图已经被扩展。在该算法能够选择至少包含最小数量的特征并且足够接近期望对焦区域以满足定位算法和用户二者的新的对焦区域之前，可能需要该算法的若干次迭代。至少一些好的特征(那些至少具有最低质量水平的特征)可能在当前对焦区域附近。因此，一种选项是选择包括期望对焦区域和至少一部分当前对焦区域的更大的区域作为新的对焦区域。这对于第一次迭代是足够的，但是在使用该新的大对焦区域后，将识别期望对焦附近的特征，并且它们的质量、或新的对焦区域内先前识别的特征的质量将开始改进(因为它们现在对焦对准)。改变相机的对焦和选择新的对焦区域的动作因此被重复，直到新的对焦区域与尽可能接近期望对焦区域的区域趋于一致。也就是说，该方法对新的对焦区域执行逐步调整，直到它与尽可能接近期望对焦区域的区域趋于一致。这不仅使定位算法能够以可接受的准确水平执行，而且使用户能够以可接受的对焦清晰度看到他们想要看到的那些对象。

汇聚在靠近期望对焦区域的区域上可以避免最坏情况的场景，在该最坏情况的场景中，期望对焦区域没有包含足够数量的特征，无法以足够的准确性确定设备的位置/朝向。在这种情况下，迭代过程将永远不会汇聚于期望对焦区域，并且会产生折衷的对焦区域，从而平衡定位算法的需求和用户的需求。

在实施例中，重复选择新的对焦区域并由此改变相机的对焦的动作，直到新的对焦区域与期望对焦区域趋于一致。

在实施例中，如果便携式设备是静止的，则应用去模糊算法。

在实施例中，如果相机将对焦调整到新的对焦区域所需的时间小于阈值时间段，则调整与所选择的特征的位置相关联的不确定性包括减小与位于或预测将位于新的对焦区域内的特征的位置相关联的不确定性。

在实施例中，如果对焦的改变可以由相机基本上瞬时执行，则调整与所选择的特征的位置相关联的不确定性包括减小与位于或预测将位于新的对焦区域内的特征的位置相关联的不确定性。

在实施例中，如果便携式设备被确定为不是静止的，则该方法包括延迟基于新的对焦区域的相机的对焦改变，直到便携式设备被确定为静止。

参考图3至图5，本发明的实施例包括控制便携式设备的方法300、400。在这些实施例中，便携式设备是包括相机和惯性测量单元IMU的智能电话，并且定位算法是同时定位和映射SLAM算法。便携式设备在显示与相机捕获的图像相结合的虚拟内容中使用由SLAM算法输出的位置信息，从而向用户呈现混合现实(MR)或增强现实(AR)可视化。

方法300、400包括：

a.通过分析设备的运动属性来确定314设备是否静止。这是可选的(由图3和图4中的虚线指示)。

b.检测312对改变对焦并识别当前对焦区域和期望对焦区域的需要。

c.确定318 SLAM算法的属性。

d.确定316新的对焦区域，并且调整326 SLAM算法。

现在将更详细地描述这些动作中的每一个。

动作a)是可选的。静止是最好情况的场景，允许该方法在相机的对焦改变期间完全依赖IMU测量。然而，如果设备不是静止的，则可以实施该方法。移动设备的静止可以通过以下过程确定。

在一个实施例中，SLAM算法是视觉的，这意味着设备的位置和朝向完全基于相机捕获的图像进行估计。如果设备在最后n个帧内的位置和朝向中的差异保持在预设阈值以下，则认为设备是静止的。

在另一个实施例中，SLAM算法是视觉惯性的，这意味着设备的位置和朝向是基于针对相机捕获的图像提取的视觉特征、IMU测量或二者来估计的。在IMU测量的情况下，可以使用已知算法来确定设备是否静止，例如在I.Skog等人的“Zero-velocity detection-Analgorithm evaluation”，IEEE Transactions on Biomedical Engineering，第57卷，第11期，2010年11月，第2657-2666页中所描述的。当使用视觉特征和IMU测量二者时，由SLAM算法估计的设备的位置和朝向变得明显更加准确。如果设备在最后n个时间步长内的位置和朝向中的差异保持在预设阈值以下，则认为设备是静止的。

该过程的结果是二进制变量，其在设备是静止时为真，并且在设备是移动/旋转时为假。

参考上面的b)，当期望对对焦区域进行更新时，检测312对对焦改变的需要。

可以基于以下任何一项来预测对对焦区域的更新：

·给定期望大小的区域，以用户眼睛对焦的地方为中心

·智能电话的屏幕上的给定期望大小的区域，在其中用户用手指点击以指定其期望对焦区域

·由用户当前在MR/AR应用中可视化的虚拟内容的位置和尺寸定义的区域

·由具有已知大小和图案的视觉基准标记(例如作为虚拟内容的位置锚点或参考的标签，或用于将设备定位到真实世界中的某个位置/朝向的标签)的位置和尺寸定义的区域。

每当基于上述计算的对焦区域与当前对焦区域不同时，就需要改变对焦。

参考上面的c)，SLAM算法的属性包括已经被SLAM算法识别并正在跟踪的特征的当前集合：

N[k]＝N_in[k]+N_out[k]，

其中N[k]是SLAM算法在第k帧识别和跟踪的特征总数，并且N_in[k]和N_out[k]表示在第k帧分别被识别为位于对焦区域内部和外部的特征。N_min是指定的最小跟踪特征的数量，该跟踪特征应位于对焦区域中以确保SLAM算法准确且鲁棒。

取决于应用，可以相应地调谐N_min。当N_in[k]≥N_min时，SLAM算法被认为足够鲁棒以提供智能电话的位置和朝向的准确估计，否则需要将对焦区域修改为新的对焦区域，实现N_in[k]≥N_min。

让我们还根据a)，将定义为位于期望对焦区域内部的预测的特征数量，而将定义为位于对焦区域外部的预测的特征数量。

在一个实施例中，可以从后台运行的SLAM算法中获得以下信息：跟踪特征的总数N[k]；对焦区域内部的特征数量N_in[k]；以及对焦区域外部的特征数量N_out[k]。该信息通常在SLAM算法中可用。

特征必须具有高于最小阈值的置信度。例如，只有被分类为具有高置信度的特征(即高质量、鲁棒的特征)才被计数。自然地，对焦区域内部的特征N_in[k]倾向于比其外部的特征具有更高的置信度，因为对焦区域内部的特征将更清晰且不那么模糊。针对SLAM执行“好”特征的选择的方法的示例可以在G.Zhang和P.Vela的“Good Features to Track forVisual SLAM”，10.1109/CVPR.2015.7298743中找到。

与前面两个实施例一样，确定位于新的对焦区域内部的预测的特征数量和位于对焦区域外部的预测的特征数量

参考上面的c)，考虑了两种情况：对焦的改变是瞬时的，或者基本上是瞬时的；以及对焦的改变不是瞬时的324。我们注意到，在当前最先进的智能电话中，对焦的改变可以花费长达数千毫秒(例如，在上为1000ms)。这种改变的速率将被认为是非瞬时的。然而，在未来的智能电话中，对焦的改变可以以瞬时的速率发生，或者以低于相机的图像捕获周期(即帧周期)的延迟发生，这种改变的速率在本文中被称为“基本上”瞬间；例如，对于以60Hz的帧速率操作的相机，延迟小于16ms。

分开考虑这两种情况的原因是：在非瞬时情况下，将模糊图像的序列馈送到SLAM算法，这极大地影响其性能，因此提供了具体实施例来减轻该问题。另一方面，这些实施例不再适用于对焦的改变是瞬时的或基本上瞬时的情况。

首先考虑对焦的改变不是瞬时的情况。

如果设备不是静止的(由上面的a)314推断)，对焦的改变可以被推迟，直到设备变得静止以便获得算法的最佳性能。

在实施例中，如上所述，在发生对焦的改变时，与所识别的特征的位置相关联的不确定性增大328。这迫使SLAM算法更多地依赖IMU测量(或设备中可用的其他定位传感器)而不是图像数据，直到对焦改变被解决。一旦对焦被解决，SLAM算法的所有不确定性都被恢复到它们先前的值。我们在设备静止时这样做，以便最小化对焦的改变对SLAM算法性能的影响。在对焦的改变期间，由相机捕获的图像将是模糊的，并且这是SLAM算法在那段时间期间应该更多依赖IMU的原因。即使设备是静止的，在对焦改变时仍然可以发生运动，这可以持续长达1秒。因此，在相机捕获的图像中SLAM算法所依赖的特征是模糊的这些时刻期间，完全信任IMU是有益的。在该实施例中，设备是静止的是有益的。

在实施例中，SLAM算法的操作在执行330对焦的改变时被暂停402(不允许执行更新)，并且当对焦的改变结束时其操作被取消暂停404(允许执行更新)。以这种方式，SLAM算法在对焦的改变期间不使用模糊图像的序列，因此设备的位置/朝向和SLAM算法所生成的任何地图在对焦的改变期间将保持固定。否则，在对焦的改变期间，模糊图像的序列可能将使设备位置/朝向和映射的估计降级。对于该实施例，如果设备确实是静止的，则当SLAM算法的操作被取消暂停时所估计的设备的位置/朝向与在SLAM算法的操作被暂停之前估计的位置/朝向相同或尽可能接近。以这种方式，所估计的设备的位置/朝向在对焦的改变期间将保持不变，并且用户将不会注意到显示内容中的任何跳跃或故障。在该实施例中，设备是静止的是有益的。在该实施例中设备在对焦的改变期间移动的方面来说，在对焦的改变前后所确定的设备的位置/朝向将或多或少的不同，导致在SLAM算法的操作重启开始时显示内容中某种程度的位移。

在实施例中，如果在应用先前的实施例之前预测将位于新的对焦区域中的特征数量320低于阈值则计算322新的对焦区域，这保证新的对焦区域是与上面的b)中计算的区域最接近的区域，这保证了位于它内部的预测的特征数量高于阈值

重复这些动作，直到当前对焦区域和期望对焦区域之间的误差/距离(例如由针对新的对焦区域和期望对焦区域确定的质心的相对位置确定)最小化并且满足条件。

然而，在另一个实施例中，如果预测将位于新的对焦区域中的特征数量320低于阈值则设备可能正朝着无特征区域前进，在其中如果定位算法出于跟踪目的继续仅依赖来自相机的图像数据，则存在定位算法将失去对设备运动的跟踪的风险。如果检测到这种场景，则可以触发警告消息以指示需要改变设备的方向。备选地，该算法可以在一段时间内被操作以依赖IMU的测量来跟踪设备的运动，直到在来自相机的图像数据中再次识别出足够数量的特征。

在实施例中，如果预测将位于期望对焦区域中的特征数量高于阈值则在上面的b)中识别的期望对焦区域被用作新的对焦区域，并且与被预测为位于新的对焦区域外部的个特征的所确定的位置相关联的不确定性增大326。不确定性越高，特征的所确定的位置的置信度就越低。这样，SLAM算法将主要依靠新的对焦区域内的特征来估计设备的位置和朝向以及世界位置，该新的对焦区域是图像质量最高的区域。

SLAM算法对特征的识别及其估计的位置伴随有一定的不确定性。SLAM算法是一种过滤器，其试图通过跟踪所识别的特征以及生成设备周围的地图来估计设备的位置和朝向。从IMU获得的数据非常直接；来自嵌入式加速度计的3D(x，y，z)线性加速度和来自嵌入式陀螺仪的3D(u，v，w)旋转速度，其中加速度计的轴(x，y，z)可以与陀螺仪的旋转轴(u，v，w)对齐，或旋转位移已知量。当涉及到相机捕获的图像时，我们试图提取关于位于所捕获的图像中的特征的信息。每次算法估计设备的位置和朝向以及地图中表示的对象时，它都考虑系统的先前状态，其是设备的先前位置/朝向，以及来自先前状态的可用构造地图。所提取的特征伴随有关于它们位置的不确定性。随着时间的推移和设备在总是有足够数量的特征要提取的区域中移动，SLAM算法能够创建地图并在该地图内定位设备。为了使SLAM算法工作，需要为每个状态分配不确定性。将其视为从相机和IMU接收的数据总是伴随有一些噪音。这可以基于相机和IMU的技术特性或基于有根据的猜测来完成。因此，我们具有与视觉测量相关联的不确定性、以及与IMU测量相关联的不确定性。当对改变对焦的需要发生时，与视觉测量相关联的不确定性尤其以上述方式变化。

在实施例中，如果位于或预测将位于新的对焦区域中的特征数量320高于阈值则对提供给SLAM算法的图像应用去模糊，其中去模糊仅应用于新的对焦区域。以这种方式，我们执行去模糊算法的有效应用，以向SLAM算法提供具有清晰对焦区域的图像，从而允许SLAM以准确和鲁棒的方式执行。在设备是静止的情况下应用这一点的原因是，在对焦改变的持续时间期间应用于所有图像的去模糊参数可以保持不变(即去模糊参数仅计算一次)，这是非常有效的。

在对焦的改变是瞬时或基本上瞬时的情况下，可以应用以下实施例。

在实施例中，如果位于或预测将位于新的对焦区域中的特征数量320低于阈值则执行新的对焦区域的修改322，使得新的对焦区域保证所选择的新的对焦区域是与上面的b)中计算的期望对焦区域最接近的区域，同时保证位于它内部的特征数量高于阈值例如，在保证期望的条件的情况下，新的对焦区域是包括期望对焦区域的更大的区域。在另一种情况下，新的对焦区域更大或与期望对焦区域的大小相同但水平或竖直地移位，或在上述两个方向上移位，以保证期望的条件。如上所述，接近度由新的对焦区域和期望对焦区域的质心的相对位置确定，并且这里的目的是最小化质心之间的距离。这样，我们在从用户MR/AR体验角度来看的最佳区域与允许SLAM以准确和鲁棒的方式执行的区域之间执行权衡。

然而，在另一个实施例中，如上所述，如果预测将位于新的对焦区域中的特征数量320低于阈值则设备可能正朝着无特征区域前进，在其中如果定位算法出于跟踪目的继续仅依赖来自相机的图像数据，则存在定位算法将失去对设备运动的跟踪的风险。如果检测到这种场景，则可以触发警告消息以指示需要改变设备的方向。备选地，该算法可以在一段时间内被操作以依赖IMU的测量来跟踪设备的运动，直到在来自相机的图像数据中再次识别出足够数量的特征。

在另一个实施例中，如果位于或预测将位于新的对焦区域中的特征数量320高于阈值则上面的b)中计算的期望对焦区域被用作新的对焦区域，并且与个特征相关联的SLAM算法的不确定性增大。这样，SLAM算法将主要依靠新的对焦区域内的特征来估计设备的位置和朝向以及世界位置，该新的对焦区域是图像质量最高的区域。

方法300、400克服了当相机执行对焦的改变时智能电话和显示在其上的虚拟内容的位置可能漂移若干厘米的问题。发生该问题是因为MR SDK ARKit和ARCore未考虑其SLAM实现中的对焦的改变。具体地，值得注意的是，在可以花费长达1000ms的对焦的改变期间，模糊图像的长序列被馈送到SLAM算法中，结果是与设备的实际真实世界位置/朝向相比，智能电话在世界坐标中的所确定的位置/朝向以及因此所显示的虚拟内容的位置/朝向改变，从MR/AR体验的角度来看，这是非常不期望的。此外，值得注意的是，在关于新的对焦区域解决了对焦后，设备和映射的对象的位置/朗向并不恢复到先前已知的位置/朝向。通过调整应用于由SLAM算法确定的所识别的特征的位置/朝向的不确定性，如上所述，本发明的方法可以克服或减轻这些问题。

本文公开的方法控制何时可以发生对焦的改变、确定相机的新的对焦区域并调整同时定位和映射(SLAM)算法的参数，以平衡合适的MR/AR体验与设备定位和映射的准确和鲁棒的性能，这在MR/AR应用中至关重要。

本文公开的方法用于具有单个相机的便携式设备，该单个相机用于可视化目的以及用于定位和映射。通过控制对焦区域，该方法确保足够数量的高质量特征位于新的对焦区域内部。以这种方式，维护了SLAM算法的准确性和鲁棒性，使得虚拟内容的锚定更加稳定和一致。

在当前最先进的智能电话上的对焦的改变不是瞬时的，这极大地影响了定位和映射性能。该方法通过考虑设备运动并在对焦的改变期间控制SLAM算法的操作来处理这一点。

该方法在需要改变对焦区域(即对焦改变)的情况下保证了SLAM算法的准确和鲁棒的操作，同时保持用户的MR/AR体验的质量。除了相机和IMU之外，该方法不需要任何额外的硬件，相机和IMU是已经在所有智能电话中可用的组件。该方法不需要大量计算操作，因为可以使用简单的规则计算对焦的改变、SLAM参数和SLAM操作。

参考图5，本发明的实施例提供了一种包括相机612和处理电路610的便携式设备600。处理电路被配置为使便携式设备执行如上所述的控制便携式设备的方法。

便携式设备600可以是以下中的任何一个：计算设备、如图6所示的智能电话700、如图7所示的无线设备QQ110、便携式电话、蜂窝电话、无线相机、游戏控制台或设备、平板电脑、膝上型计算机、头戴式设备、导航设备和机器人设备。

在实施例中，便携式设备是智能电话700并且包括显示器702和惯性测量单元IMU。相机612是后置相机。处理电路610被配置为生成控制信号，该控制信号被配置为使由相机捕获的图像显示在显示器上。控制信号还可以被配置为使虚拟内容与图像一起显示。

智能电话700包括惯性测量单元IMU。处理电路610被配置为使便携式设备使用定位算法来执行便携式设备的定位，该定位算法附加地将IMU测量作为输入。

参考图7，本发明的实施例提供了一种便携式设备QQ110，包括相机812、显示器814、接口电路816和处理电路810。处理电路被配置为使便携式设备使用定位算法执行便携式设备的定位，该定位算法将针对由相机捕获的图像的图像数据作为输入。处理电路被配置为使便携式设备识别相机的当前对焦区域。处理电路被配置为使便携式设备确定相机的期望对焦区域。处理电路被配置为使便携式设备在期望对焦区域与当前对焦区域不同时确定相机需要改变对焦。处理电路被配置为使便携式设备生成控制信号，该控制信号被配置为使相机的对焦改变到新的对焦区域。

便携式设备可以是无线设备WD。术语WD指的是能够、被配置为、被布置为和/或可操作以与网络节点和/或其他无线设备无线通信的设备。除非另有说明，否则术语WD在本文中可与用户设备UE互换使用。无线传送可以包括使用电磁波、无线电波、红外波和/或适于通过空气传送信息的其他类型的信号来发送和/或接收无线信号。在一些实施例中，WD可以被配置为在没有直接人类交互的情况下发送和/或接收信息。例如，WD可以被设计为当由内部或外部事件触发时，或者响应于来自网络的请求，以预定的调度向网络发送信息。WD的示例包括但不限于计算设备、智能电话700(如图6所示)、便携式电话、蜂窝电话、无线相机、游戏控制台或设备、平板电脑、膝上型计算机、头戴式设备、导航设备和机器人设备。

如图所示，便携式设备QQ110包括天线QQ111、接口电路816、处理电路810、设备可读介质QQ130、用户接口设备QQ132、相机812、电源QQ136和电源电路QQ137。便携式设备QQ110可以包括用于便携式设备QQ110支持的不同无线技术(例如，GSM、WCDMA、LTE、NR、Wi-Fi、WiMAX或蓝牙无线技术，仅提及一些)的多组一个或多个所示组件。这些无线技术可以集成到与便携式设备QQ110内的其他组件相同或不同的芯片或芯片组中。

天线QQ111可以包括被配置为发送和/或接收无线信号的一个或多个天线或天线阵列，并且连接到接口电路816。在某些备选实施例中，天线QQ111可以与便携式设备QQ110分开并且可以通过接口或端口连接到便携式设备QQ110。天线QQ111、接口电路816和/或处理电路810可以被配置为执行本文描述为由WD执行的任何接收或发送操作。可以从网络节点和/或另一个WD接收任何信息、数据和/或信号。在一些实施例中，无线电前端电路和/或天线QQ111可以被认为是接口。

如图所示，接口电路816包括无线电前端电路QQ112和天线QQ111。无线电前端电路QQ112包括一个或多个滤波器QQ118和放大器QQ116。无线电前端电路QQ114连接到天线QQ111和处理电路810，并且被配置为调节在天线QQ111和处理电路810之间传送的信号。无线电前端电路QQ112可以耦合到天线QQ111或者是天线QQ111的一部分。在某些备选实施例中，WD QQ110可以不包括单独的无线电前端电路QQ112；而是，处理电路810可以包括无线电前端电路，并且可以连接到天线QQ111。类似地，在一些实施例中，RF收发机电路QQ122中的一些或全部可以被认为是接口电路816的一部分。无线电前端电路QQ112可以接收数字数据，该数字数据将通过无线连接向外发送给其他网络节点或WD。无线电前端电路QQ112可以使用滤波器QQ118和/或放大器QQ116的组合将数字数据转换为具有适合信道和带宽参数的无线电信号。然后可以通过天线QQ111发送无线电信号。类似地，当接收数据时，天线QQ111可以收集无线电信号，然后由无线电前端电路QQ112将其转换为数字数据。数字数据可以被传递给处理电路810。在其他实施例中，接口可包括不同组件和/或组件的不同组合。

处理电路810可以包括下述中的一个或多个的组合：微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列、或者任何其它合适的计算设备、资源、或硬件、软件和/或编码逻辑的组合，其可操作为单独地或与其他便携式设备QQ110组件(例如设备可读介质QQ130)相结合来提供便携式设备QQ110功能。这样的功能可以包括提供本文讨论的各种无线特征或益处中的任何一个。例如，处理电路810可以执行存储在设备可读介质QQ130中或处理电路810内的存储器中的指令，以提供本文公开的功能。

如图所示，处理电路810包括RF收发机电路QQ122、基带处理电路QQ124和应用处理电路QQ126中的一个或多个。在其他实施例中，处理电路可以包括不同的组件和/或组件的不同组合。在某些实施例中，WD QQ110的处理电路810可以包括SOC。在一些实施例中，RF收发机电路QQ122、基带处理电路QQ124和应用处理电路QQ126可以在单独的芯片或芯片组上。在备选实施例中，基带处理电路QQ124和应用处理电路QQ126的一部分或全部可以组合成一个芯片或芯片组，并且RF收发机电路QQ122可以在单独的芯片或芯片组上。在另外的备选实施例中，RF收发机电路QQ122和基带处理电路QQ124的一部分或全部可以在同一芯片或芯片组上，并且应用处理电路QQ126可以在单独的芯片或芯片组上。在其他备选实施例中，RF收发机电路QQ122、基带处理电路QQ124和应用处理电路QQ126的一部分或全部可以组合在同一芯片或芯片组中。在一些实施例中，RF收发机电路QQ122可以是接口电路816的一部分。RF收发机电路QQ122可以调节RF信号以用于处理电路810。

在某些实施例中，本文描述为由WD执行的一些或所有功能可以由处理电路810提供，处理电路810执行存储在设备可读介质QQ130上的指令，在某些实施例中，设备可读介质QQ130可以是计算机可读存储介质。在备选实施例中，功能中的一些或全部可以例如以硬连线方式由处理电路810提供，而无需执行存储在单独的或分立的设备可读存储介质上的指令。在任何这些特定实施例中，无论是否执行存储在设备可读存储介质上的指令，处理电路810都可以被配置为执行所描述的功能。由这种功能提供的益处不仅限于处理电路810或者不仅限于便携式设备QQ110的其他组件，而是作为整体由便携式设备QQ110和/或总体上由终端用户和无线网络享有。

处理电路810可以被配置为执行本文描述为由WD执行的任何确定、计算或类似操作(例如，某些获得操作)。由处理电路810执行的这些操作可以包括通过以下操作对由处理电路810获得的信息进行处理：例如，将获得的信息转换为其他信息，将获得的信息或转换后的信息与由便携式设备QQ110存储的信息进行比较，和/或基于获得的信息或转换后的信息执行一个或多个操作，并根据所述处理的结果做出确定。

设备可读介质QQ130可操作以存储计算机程序、软件、包括逻辑、规则、代码、表等中的一个或多个的应用、和/或能够由处理电路810执行的其他指令。设备可读介质QQ130可以包括计算机存储器(例如，随机存取存储器(RAM)或只读存储器(ROM))、大容量存储介质(例如，硬盘)、可移除存储介质(例如，致密盘(CD)或数字视频盘(DVD))、和/或任何其他易失性或非易失性、非暂时性设备可读和/或计算机可执行存储器设备，其存储可由处理电路810使用的信息、数据和/或指令。在一些实施例中，可以认为处理电路810和设备可读介质QQ130是集成的。

用户接口设备QQ132可以提供允许人类用户与便携式设备QQ110交互的组件。用户接口设备包括显示器，该显示器被配置为显示由相机捕获的图像和由处理电路提供的虚拟内容。这种交互可以具有多种形式，例如视觉、听觉、触觉等。用户接口设备QQ132可操作以向用户产生输出，并允许用户向便携式设备QQ110提供输入。交互的类型可以根据安装在便携式设备QQ110中的用户接口设备QQ132的类型而变化。例如，如果便携式设备QQ110是智能电话，则用户接口设备包括触摸显示器。用户接口设备QQ132被配置为允许将信息输入到便携式设备QQ110中，并且连接到处理电路810以允许处理电路810处理输入信息。用户接口设备QQ132还被配置为允许从WD QQ110输出信息，并允许处理电路810从便携式设备QQ110输出信息。用户接口设备QQ132可以包括例如扬声器、显示器、振动电路、USB端口、耳机接口或其他输出电路。通过使用用户接口设备QQ132的一个或多个输入和输出接口、设备和电路，便携式设备QQ110可以与终端用户和/或无线网络通信，并允许它们受益于本文描述的功能。

相机812可操作以提供针对由相机捕获的图像的图像数据。

在一些实施例中，电源QQ136可以是电池或电池组的形式。也可以使用其他类型的电源，例如外部电源(例如电源插座)、光伏器件或电池单元。便携式设备QQ110可以包括用于从电源QQ136向便携式设备QQ110的各个部分输送电力的电源电路QQ137，便携式设备QQ110的各个部分需要来自电源QQ136的电力以执行本文描述或指示的任何功能。在某些实施例中，电源电路QQ137可以包括电源管理电路。电源电路QQ137可以附加地或备选地可操作以从外部电源接收电力；在这种情况下，便携式设备QQ110可以通过输入电路或诸如电力线缆的接口连接到外部电源(例如电源插座)。在某些实施例中，电源电路QQ137还可操作以将电力从外部电源输送到电源QQ136。例如，这可以用于电源QQ136的充电。电源电路QQ137可以对来自电源QQ136的电力执行任何格式化、转换或其他修改，以使电力适合于被供电的便携式设备QQ110的各个组件。

参考图8，本发明的实施例提供了一种包括服务器910和便携式设备920的系统900。服务器包括处理电路912和接口电路914。便携式设备包括相机612、处理电路610和接口电路922。服务器的处理电路和便携式设备的处理电路一起被配置为：使用定位算法执行便携式设备的定位，该定位算法将针对由相机捕获的图像的图像数据作为输入；识别相机的当前对焦区域；确定相机的期望对焦区域；当期望对焦区域与当前对焦区域不同时，确定相机需要改变对焦；以及生成控制信号，该控制信号被配置为使相机的对焦改变到新的对焦区域。

系统900被配置为执行上述控制便携式设备的方法100、300、400。所有的方法可以由服务器的处理电路912执行，或者方法中的一些可以由服务器的处理电路执行，而方法中的其余部分由便携式设备的处理电路610执行。

本发明的实施例提供了一种包括指令的计算机程序，所述指令当在至少一个处理器上执行时使所述至少一个处理器执行控制便携式设备的方法。

本发明的实施例提供了包含上述计算机程序的载体，其中，载体是电信号、光信号、无线电信号或计算机可读存储介质之一。