具体实施方式

光传感器，例如照相机，可用于各种用途，包括捕捉图像或视频、物体检测和跟踪、面部识别等。广角或超广角镜头，例如鱼眼镜头，使照相机能够捕捉全景或半球形的场景。沿着光轴方向相对排布的双鱼眼镜头照相机使拍摄设备能够捕捉球形图像。

在一些系统中，可见光传感器，例如照相机，被用来确定与摄像装置和其捕获的场景中各外部物体之间的距离相对应的深度信息。例如，一些照相机实现了立体视觉或双目深度检测，其中由多个在空间上分离设置的摄像头捕获的多个重叠图像被评估，以根据图像捕获到的内容之间的差异确定深度。包括多个摄像头和计算成本在内的资源成本可能很高，双目深度检测的准确性可能有限。照相机的三维深度检测能力可能会因为各自的视场而受到限制。

通过投射非可见光，例如红外线、球形或半球形静态点云图案，使用球形或半球形非可见光检测器检测反射的非可见光，并根据与投射静态点云图案对应的接收光的函数确定三维深度，这样球形或半球形非可见光深度检测可以提高非半球形深度检测和可见光深度检测的准确性和效率。

代表用户设备的操作环境的三维地图或模型可用于例如增强现实或虚拟现实。使用由具有有限视场的摄像头，例如直角或其他小于半球形的视场的摄像头，捕获的图像，生成三维地图或模型可能低效且不准确。例如，使用由具有有限视场的摄像头，例如直角或其他小于半球形的视场的摄像头，捕获的图像，生成三维地图或模型，可能包括使用多个图像捕捉单元，或随着时间的推移，在位置序列中对图像捕捉单元进行定位，例如手动定位，以产生多个图像，并合并多个图像以低效且不准确地生成模型。

相对于基于有限的，例如直角或其他小于半球形的图像的三维建模来说，使用半球形或球形可见光深度图像进行三维建模，其中包括鱼眼深度检测，可以提高三维建模的效率、速度和准确性。使用半球形或球形可见光深度图像进行三维建模可使用较少的图像，并可包括较少的图像拼接操作。使用半球形或球形可见光深度图像进行三维建模可以增加每张图像的特征信息的可用性。

相对于基于有限的，如直角形或其他小于半球形的图像的三维跟踪来说，使用半球形或球形可见光深度图像进行三维跟踪，其中可包括鱼眼深度检测，可提高三维跟踪的效率、速度和准确性。

虽然已结合一些实施例描述了本公开，但应当理解，本公开内容并不限于所公开的实施例，相反，本公开旨在涵盖所附权利要求范围内的各种修改和等同设置，该范围应给予最大范围的解释，以包括法律允许的所有此类修改和等同设置。

图1显示了本公开实施例中，用于数字计算和电子通信的用户设备1000的示意图。用于数字计算和电子通信的用户设备1000包括电子处理单元1100、电子通信接口单元1200、数据存储单元1300、传感器单元1400、用户界面单元1500、电源单元1600和内部信号分配单元1700。用于数字计算和电子通信的用户设备1000可以实现本文所述方法和系统的一个或多个方面或元件。在一些实施例中，用于数字计算和电子通信的用户设备1000可包括图1中未显示的其他元件。例如，用于数字计算和电子通信的用户设备1000可包括壳体或外壳，并且电子处理单元1100、电子通信接口单元1200、数据存储单元1300、传感器单元1400、用户界面单元1500、电源单元1600、内部信号分配单元1700或其组合可被包括在该壳体内。

尽管图1显示了电子处理单元1100、电子通信接口单元1200、数据存储单元1300、传感器单元1400、用户界面单元1500、电源单元1600和内部信号分配单元1700中的每一个作为各自独立的单元，但是用于数字计算和电子通信的用户设备1000可包括任意数量的电子处理单元、电子通信接口单元、数据存储单元、传感器单元、用户界面单元、电源单元和内部信号分配单元。

电子处理单元1100，或处理器，可被操作以接收数据、处理和输出数据。例如，电子处理单元1100可从数据存储单元1300、传感器单元1400、电子通信接口单元1200、用户界面单元1500或其组合中接收数据。接收数据可包括接收计算机指令，例如通过内部信号分配单元1700接收存储在数据存储单元1300中的计算机指令。处理数据可包括处理或执行计算机指令，例如实现或执行本文所公开的技术的一个或多个元件或方面。电子处理单元可通过内部信号分配单元1700向数据存储单元1300、传感器单元1400、电子通信接口单元1200、用户界面单元1500或其组合输出数据。电子处理单元1100可被操作以控制用于数字计算和电子通信的用户设备1000的一个或多个操作。

电子通信接口单元1200可使用有线或无线电子通信协议，例如近场通信(NFC)电子通信协议、蓝牙电子通信协议、802.11电子通信协议、红外(IR)电子通信协议或任何其他电子通信协议，与外部设备或系统进行通信，例如接收信号、传输信号或接收并传输信号。

数据存储单元1300可存储数据、检索数据，或两者兼有。例如，数据存储单元1300可以检索计算机指令和其他数据。数据存储单元1300可包括持久性存储器，例如硬盘。数据存储单元1300可包括易失性存储器，如一个或多个随机存取存储器单元。

传感器单元1400可以捕获、检测或确定用于数字计算和电子通信的用户设备1000的操作环境的一个或多个方面。例如，传感器单元1400可以包括一个或多个摄像头，或其他可见光或不可见光检测和捕捉单元。传感器单元1400可以将代表用于数字计算和电子通信的用户设备1000的操作环境的感测到的方面的传感器信号，例如捕捉的图像数据，传达给内部信号分配单元1700、电源单元1600、数据存储单元1300、电子处理单元1100、电子通信接口单元1200、用户界面单元1500，或其组合。在一些实施例中，用于数字计算和电子通信的用户设备1000可包括多个传感器单元，例如摄像头、麦克风、红外接收器、全球定位系统单元、陀螺仪传感器、加速度计、压力传感器、电容传感器、生物识别传感器、磁力计、雷达单元、激光雷达单元、超声波单元、温度传感器、或能够捕捉、检测或确定用于数字计算和电子通信的用户设备1000的操作环境的一个或多个方面或条件的任何其他传感器。

用户界面单元1500可以接收用户输入。用户界面单元1500可以将代表用户输入的数据传达给内部信号分配单元1700、电源单元1600、数据存储单元1300、电子处理单元1100、传感器单元1400、电子通信接口单元1200，或其组合。用户界面单元1500向例如数字计算和电子通信1000的用户设备的用户输出、呈现或显示数据，或代表上述功能的其他形式。例如，用户界面单元1500可包括基于光的显示器、基于声音的显示器，或其组合。

电源单元1600可以向内部信号分配单元1700、数据存储单元1300、电子处理单元1100、传感器单元1400、电子通信接口单元1200和用户界面单元1500供电，例如通过内部信号分配单元1700或通过内部电源信号分配单元(未单独示出)。例如，电源单元1600可以是电池。在一些实施例中，电源单元1600可包括与外部电源连接的接口。

内部信号分配单元1700可以携带或分配内部数据信号、电源信号或两者，例如将信号分配给电子处理单元1100、电子通信接口单元1200、数据存储单元1300、传感器单元1400、用户界面单元1500、电源单元1600，或其组合。

用于数字计算和电子通信的用户设备1000的配置的其他实施方案也可适用。例如，用于数字计算和电子通信的用户设备1000可以省去电子通信接口单元1200。

图2显示了本公开的用于鱼眼非可见光深度检测的系统的框图。如图所示，用于鱼眼非可见光深度检测的系统2000包括用户设备2100，例如图1中所示的用于数字计算和电子通信的用户设备1000。在图2中，用户设备2100被显示为与外部设备2200进行电子通信，如2300处的虚线所示。外部设备2200可以类似于图1所示的用于数字计算和电子通信的用户设备1000，除非本文或从上下文中有明确描述。在一些实施例中，外部设备2200可以是服务器或其他基础设施设备。

用户设备2100可以通过有线或无线电子通信介质2400直接与外部设备2200通信。用户设备2100可以通过网络2500，例如互联网，或通过组合网络(未单独示出)直接与外部设备2200通信。例如，用户设备2100可以通过网络2500使用第一网络通信链接2600进行通信，而外部设备可以通过网络2500使用第二网络通信链接2610进行通信。

图3显示了本公开实施例中半球形鱼眼非可见光深度检测设备3000的示意图。半球形鱼眼非可见光深度检测设备3000，或鱼眼深度摄像头，可以类似于用户设备，例如图1所示的用于数字计算和电子通信的用户设备1000，除非本文或从上下文中有明确描述。半球形鱼眼非可见光深度检测设备3000可以是鱼眼摄像头，即超广角摄像头，该摄像头可捕捉全景或半球形图像。半球形鱼眼非可见光深度检测设备3000可以是深度摄像头，可捕获或确定其捕捉到的场景的深度信息。

半球形鱼眼非可见光深度检测设备3000包括设备外壳3100、半球形鱼眼非可见光投射单元3200和鱼眼非可见光检测单元3300。

半球形鱼眼非可见光投射单元3200可以是鱼眼红外点投影器。半球形鱼眼非可见光投射单元3200可以以点状图案，例如静态点云图案，投射或发射非可见光，例如红外光，如从半球形鱼眼非可见光投射单元3200的表面延伸的方向线3210所指示。尽管为了简单明了，从半球形鱼眼非可见光投射单元3200的表面延伸出五条方向线3210，但由半球形鱼眼非可见光投射单元3200投影的非可见光静态点云图案可以具有纵向360度和横向180度或更大的投影区域，例如183度。图5中显示了半球形鱼眼非可见光投射单元3200的一个示例。在一些实施例中，如全景实施例中，纵向投影区域可能小于360度。

鱼眼非可见光检测单元3300可以是鱼眼红外相机。鱼眼非可见光检测单元3300可以检测或接收非可见光，例如由汇合在鱼眼非可见光检测单元3300的表面上的方向线3310所示的红外光。例如，鱼眼非可见光检测单元3300可以接收非可见光，该非可见光是由静态点云图案中的半球形鱼眼非可见光投射单元3200发出的，并且通过环境方面，如鱼眼非可见光检测单元3300视场中的物体，被反射到鱼眼非可见光检测单元3300。虽然为了简单明了，显示了五条方向线3210汇合在鱼眼非可见光检测单元3300的表面上，但鱼眼非可见光检测单元3300可以具有纵向360度和横向180度或更大的视场，例如183度。图6中显示了鱼眼非可见光检测单元3300的一个示例。

半球形鱼眼非可见光深度检测设备3000可以通过使用半球形鱼眼非可见光投射单元3200以静态点云图案发射非可见光，并使用鱼眼非可见光检测单元3300检测相应的反射非可见光(检测的反射非可见光)，来实现鱼眼非可见光深度检测。

例如，图3显示在半球形鱼眼非可见光深度检测设备3000的环境中的外部物体3400，例如在半球形鱼眼非可见光投射单元3200的投射场和鱼眼非可见光检测单元3300的视场中。非可见光可由半球形鱼眼非可见光投射单元3200向外部物体3400发射，如3212处的方向线所示。非可见光可由外部物体3400的表面朝鱼眼非可见光检测单元3300反射，如3312处的方向线所示，并由鱼眼非可见光检测单元3300捕捉或记录。

图4显示了本公开另一实施例中，半球形鱼眼非可见光深度检测设备4000的示意图。半球形鱼眼非可见光深度检测设备4000可以为类似于图3中所示的半球形鱼眼非可见光深度检测设备3000，除非本文或从上下文中有明确描述。

半球形鱼眼非可见光深度检测设备4000包括设备外壳4100、半球形鱼眼非可见光投射单元4200、半球形鱼眼非可见光检测单元4300和半球形鱼眼非可见光泛光投射单元4400。

设备外壳4100可以为类似于图3中所示的设备外壳3100，除非本文或从上下文中有明确描述。半球形鱼眼非可见光投射单元4200可以类似于图3所示的半球形鱼眼非可见光投射单元3200，除非本文或从上下文中有明确描述。半球形鱼眼非可见光检测单元4300，可以为类似于图3中所示的鱼眼非可见光检测单元3300，除非本文或从上下文中有明确描述。

半球形鱼眼非可见光泛光投射单元4400，或红外泛光照明器，可以为类似于图3中所示的半球形鱼眼非可见光投射单元3200，除非本文或从上下文中有明确描述。半球形鱼眼非可见光泛光投射单元4400可以发射漫射的、均匀的非可见光场，例如红外光，如从半球形鱼眼非可见光泛光投射单元4400的表面延伸的弧线所示。由半球形鱼眼非可见光泛射单元4400发出的非可见光的漫射场可以非可见地照射半球形鱼眼非可见光深度检测设备4000的环境，可包括照射靠近半球形鱼眼非可见光深度检测设备4000的外部物体。

半球形鱼眼非可见光检测单元4300可以接收非可见光，该非可见光由半球形鱼眼非可见光泛光投射单元4400发射，并且由半球形鱼眼非可见光深度检测设备4000的环境中的外部物体反射，例如用于面部识别方法的活体性测试部分，或用于同步定位和映射(SLAM)方法的特征提取部分。基于从半球形鱼眼非可见光泛光投射设备4400发出的接收到的反射非可见光的深度检测可能不准确，效率低下，或两者兼有。

图5显示了本公开实施例中，半球形鱼眼非可见光投射单元5000的示意图。鱼眼非可见光深度检测装置，例如图3中所示的半球形鱼眼非可见光深度检测设备3000，或图4中所示的半球形鱼眼非可见光深度检测设备4000，可包括半球形鱼眼非可见光投射单元5000。例如，图3所示的半球形鱼眼非可见光深度检测设备3000的半球形鱼眼非可见光投射单元3200可以作为半球形鱼眼非可见光投射单元5000。

半球形鱼眼非可见光投射单元5000包括外壳5100、非可见光源5200、一个或多个透镜5300和衍射光学元件(DOE)5400。半球形鱼眼非可见光投射单元5000具有光轴，如5500处的虚线所示。

非可见光源5200可以是红外光源，如垂直腔表面发射激光器(VCSEL)。由非可见光源5200产生的非可见光被透镜5300折射以形成纵向360度和横向180度或更大的投射场，例如183度。形成投射场的非可见光被衍射光学元件5400整流形成静态点云图案，如5600处的虚弧线表示。由从非可见光源5200延伸并透过透镜5300以及透过并从衍射光学元件5400延伸的方向线表示一个示例性的光路。在一些实施例中，可以省略衍射光学元件5400，半球形鱼眼非可见光投射单元5000可以包括点云罩，该点云罩可以从由非可见光源5200产生并由透镜5300折射的非可见光形成静态点云图案。

在一个实施例中，非可见光源5200可以是红外光源，可以产生具有确定波长的红外光(光子)，例如940纳米。具有940纳米波长的红外光可被大气中的水吸收，使用具有940纳米波长的红外光可改善鱼眼非可见光深度感知的性能和准确性，例如在户外条件下。也可使用其他波长，如850纳米，或另一种红外或近红外波长，如0.75微米至1.4微米范围内的波长。在这种情况下，940纳米波长可表示在940纳米周围窄幅传播的光。使用940纳米波长的光可以减少资源成本，并减少相对于可见光的色差。

非可见光源5200产生平面内的非可见光，透镜5300和衍射光学元件5400的组合将非可见光源5200发出的光映射为球状分布的静态点云图案。

图5中所示的透镜5300的数量和配置是为了示意得简单清楚。也可设置其他数量和配置的镜片。透镜5300的光学结构，例如这些透镜5300的各自形状、材料或两者，可根据由非可见光源5200产生的非可见光的折射率进行优化。

图6显示了本公开实施例中，半球形鱼眼非可见光检测单元6000的示意图。鱼眼非可见光深度检测设备，例如图3所示的半球形鱼眼非可见光深度检测设备3000，或图4所示的半球形鱼眼非可见光深度检测设备4000，可包括半球形鱼眼非可见光检测单元6000。例如，图3所示的半球形鱼眼非可见光深度检测设备3000的鱼眼非可见光检测单元3300可作为半球形鱼眼非可见光检测单元6000。

半球形鱼眼非可见光检测单元6000包括外壳6100、非可见光滤波器6200、一个或多个透镜6300和非可见光接收器6400。半球形鱼眼非可见光检测单元6000具有光轴，如6500处的虚线所示，以及以光轴6500为中心的纵向360度、横向180度或更大的视场(未显示)。

非可见光滤波器6200可以接收光，包括非可见光，例如红外光。例如，非可见光滤波器6200可以接收来自静态点云图案的红外光，该静态点云图案在从非可见光投射单元发射后，例如图5中所示的半球形鱼眼非可见光投射单元5000，被邻近的外部物体(未显示)反射。

由非可见光滤波器6200接收的光被非可见光滤波器6200过滤以排除可见光并通过非可见光。通过非可见光滤波器6200的非可见光被透镜6300聚焦到非可见光接收器6400上。非可见光滤波器6200和透镜6300的组合将半球形鱼眼非可见光检测单元6000的半球形视场映射到非可见光接收器6400的平面上。非可见光接收器6400可以是红外光接收器。

图6中所示的透镜6300的数量和配置是为了显示得简单清楚。可以设置其他数量和配置的镜片。透镜6300的光学结构，例如各个透镜6300的形状、材料或两者，可根据非可见光接收器6400接收的非可见光的折射率进行优化。

图7显示了本公开实施例中半球形鱼眼非可见光泛光投射单元7000的示意图。鱼眼非可见光深度检测设备，例如图3中所示的半球形鱼眼非可见光深度检测设备3000，或图4中所示的半球形鱼眼非可见光深度检测设备4000，可包括半球形鱼眼非可见光泛光投射单元7000。例如，图4所示的半球形鱼眼非可见光深度检测设备4000的半球形鱼眼非可见光泛光投射单元4400可作为半球形鱼眼非可见光泛光投射单元7000。

半球形鱼眼非可见光泛光投射单元7000包括外壳7100、非可见光源7200和一个或多个透镜7300。半球形鱼眼非可见光泛光投射单元7000具有光轴，如7400处的虚线所示。由从非可见光源7200延伸并通过并从透镜7300延伸穿过的方向线表示一个示例性的光路。

图8显示了本申请实施例中，球形鱼眼非可见光深度检测设备8000的示意图。球形鱼眼非可见光深度检测设备8000，或鱼眼深度摄像头，可为类似于图3所示的半球形鱼眼非可见光深度检测设备3000，除非本文或从上下文中有明确描述。球形鱼眼非可见光深度检测设备8000可以是双鱼眼摄像头，该双鱼眼摄像头是全方向摄像头，可以捕捉全景或球形图像。球形鱼眼非可见光深度检测设备8000可以为深度摄像头，可以捕捉或确定捕捉到的场景的深度信息。

球形鱼眼非可见光深度检测设备8000包括设备外壳8100、第一半球形鱼眼非可见光投射单元8200、第二半球形鱼眼非可见光投射单元8210、第一半球形鱼眼非可见光检测单元8300和第二半球形鱼眼非可见光检测单元8310。

在一些实施例中，第一半球形鱼眼非可见光投射单元8200可以是球形鱼眼非可见光投射单元的第一部分，第二半球形鱼眼非可见光投射单元8210可以是球形鱼眼非可见光投射单元的第二部分。图10展示了球形鱼眼非可见光投射单元的一个示例。

在一些实施例中，第一半球形鱼眼非可见光检测单元8300可以是球形鱼眼非可见光检测单元的第一部分，第二半球形鱼眼非可见光检测单元8310可以是球形鱼眼非可见光检测单元的第二部分。图11展示了球形鱼眼非可见光检测单元的一个示例。

第一半球形鱼眼非可见光投射单元8200可以为类似于图3中所示的半球形鱼眼非可见光投射单元3200，除非本文或从上下文中有明确描述。第二半球形鱼眼非可见光投射单元8210可以为类似于图3中所示的半球形鱼眼非可见光投射单元3200，除非本文或从上下文中有明确描述。

第一半球形鱼眼非可见光投射单元8200的投射场由8400处的点划弧线表示。第二半球形鱼眼非可见光投射单元8210的投射场由8410处的虚弧线表示。第一半球形鱼眼非可见光投射单元8200的投影场可以部分地与第二半球形鱼眼非可见光投射单元8210的投影场重叠，以形成组合投射场，该组合投射场为360度全向投射场。第一半球形鱼眼非可见光投射单元8200和第二半球形鱼眼非可见光投射单元8210可以共同投射或发射一个360度全方向的静态点云图案。

在一些实施例中，由第一半球形鱼眼非可见光投射单元8200投射的全方向静态点云图案的半球形部分的一部分可与由第二半球形鱼眼非可见光投射单元8210投射的全方向静态点云图案的半球形部分的一部分重叠，如8500所示。为了避免在重叠部分中的各自投射的静态点云图案之间出现歧义或冲突，由第一半球形鱼眼非可见光投射单元8200投射的全方向静态点云图案的半球形部分可能不同于由第二半球形鱼眼非可见光投射单元8210投射的全方向静态点云图案的半球形部分。例如，由第一半球形鱼眼非可见光投射单元8200投射的全方向静态点云图案的半球形部分使用非可见光的圆形点，而由第二半球形鱼眼非可见光投射单元8210投射的全方向静态点云图案的半球形部分使用非可见光的方形点。在另一实施例中，由各半球形鱼眼非可见光投射单元8200、8210投射的光可以是时间双工复用的。也可以使用其他复用技术。

第一半球形鱼眼非可见光检测单元8300的视场可以部分地与第二半球形鱼眼非可见光检测单元8310的视场重叠，以形成组合视场，该组合视场为360度全方向视场。第一半球形鱼眼非可见光检测单元8300和第二半球形鱼眼非可见光检测单元8310可以共同接收或检测对应于360度全方向静态点云图案的反射光，例如由第一半球形鱼眼非可见光投射单元8200和第二半球形鱼眼非可见光投射单元8210投射的360度全方向静态点云图案。

图9显示了本公开另一实施例中，球形鱼眼非可见光深度检测设备9000的示意图。球形鱼眼非可见光深度检测设备9000，可以为类似于图9所示的球形鱼眼非可见光深度检测设备9000，除非本文或从上下文中有明确描述。

球形鱼眼非可见光深度检测设备9000包括设备外壳9100、第一半球形鱼眼非可见光投射单元9200、第二半球形鱼眼非可见光投射单元9210、第一半球形鱼眼非可见光检测单元9300、第二半球形鱼眼非可见光检测单元9310、第一半球形鱼眼非可见光泛光投射单元9400和第一半球形鱼眼非可见光泛光投射单元9410。

图10显示了本公开实施例中，球形鱼眼非可见光投影设备10000的示意图。球形或全方向鱼眼非可见光深度检测设备，例如图8中所示的球形鱼眼非可见光深度检测设备8000，或图9中所示的球形鱼眼非可见光深度检测设备9000，可包括球形鱼眼非可见光投射单元10000。例如，图8所示的球形鱼眼非可见光深度检测设备8000的第一半球形鱼眼非可见光投射单元8200和第二半球形鱼眼非可见光投射单元8210可作为球形鱼眼非可见光投射单元10000。

球形鱼眼非可见光投射单元10000包括外壳10100、非可见光源10200、一个或多个第一透镜10300、镜子10400、第一半球形部10500、以及第二半球部10600。非可见光源10200和第一透镜10300沿第一轴线10700方向排列。

第一半球部10500包括一个或多个第二透镜10510和一个第一衍射光学元件10520。第二半球部10600包括一个或多个第三透镜10610和第二衍射光学元件10620。第一半球部10500和第二半球部10600沿光轴定向，如10800处的虚线所示。

由非可见光源10200沿第一轴线10700投射的非可见光由镜子10400分别引导至第一半球部10500和第二半球部10600，例如分向和反射。由非可见光源10200发出并由镜子10400分别导向第一半球部10500和第二半球部10600的非可见光被透镜10510、10610分别折射，形成一个纵向360度和横向360度的组合投射场。形成该投射场的非可见光被各自的衍射光学元件10520、10620整流以形成静态点云图案。各自的示例光路由方向线表示，该方向线从非可见光源10200延伸，透过透镜10300，由镜子10400导向，通过透镜10510、10610，透过衍射光学元件10520、10620并从衍射光学元件10520、10620延伸而出。

非可见光源10200在平面上产生非可见光，透镜10300、10510、10610、镜子10400和衍射光学元件10520、10620的组合将非可见光源10200发出的光映射为球形分布的静态点云图案。

图11显示了本公开实施例中，球形鱼眼非可见光检测单元11000的示意图。球形或全方向的鱼眼非可见光深度检测设备，例如图8中所示的球形鱼眼非可见光深度检测设备8000，或图9中所示的球形鱼眼非可见光深度检测设备9000，可包括球形鱼眼非可见光检测单元11000。例如，图8所示的球形鱼眼非可见光深度检测设备8000的第一半球形鱼眼非可见光检测单元8300和第二半球形鱼眼非可见光检测单元8310可作为球形鱼眼非可见光检测单元11000。

球形鱼眼非可见光检测单元11000包括外壳11100、第一半球部11200、第二半球部11300、镜子11400、一个或多个第一透镜11500和非可见光接收器11600。非可见光接收器11600和第一透镜11500沿第一轴11700方向排布。

第一半球部11200包括一个或多个第二透镜11210和第一非可见光滤波器11220。第二半球部11300包括一个或多个第三透镜11310和第二非可见光滤波器11320。第一半球部11200和第二半球部11300沿光轴排布，如11800处的虚线所示。

非可见光滤波器11220、11320可以接收光，包括非可见光，例如红外光。例如，非可见光滤波器11220、11320可以接收来自静态点云图案的红外光，该静态点云图案由非可见光投射单元发射，例如图10中所示的球形鱼眼非可见光投射单元10000，随后由邻近的外部物体(未显示)反射。

由非可见光滤波器11220、11320接收的光被非可见光滤波器11220、11320过滤以排除可见光并通过非可见光。通过非可见光滤波器11220、11320的非可见光由第二和第三透镜11210、11310分别聚焦在镜子11400上，并通过第一透镜11500被引导到非可见光接收器11600。非可见光通滤波器11220、11320、镜子11400和透镜11210、11310、11500的组合将球形鱼眼非可见光检测单元11000的球形视场映射到非可见光接收器11600的平面上。

图12显示了本公开实施例中，鱼眼非可见光深度检测12000的示意图。鱼眼非可见光深度检测12000可以在基于非可见光的深度检测设备中实现，例如用户设备，例如图3所示的半球形鱼眼非可见光深度检测设备3000、图4所示的半球形鱼眼非可见光深度检测设备4000、图8所示的球形鱼眼非可见光深度检测设备8000，或图9所示的球形鱼眼非可见光深度检测设备9000。

鱼眼非可见光深度检测12000包括，在步骤12100，投射半球形或球形非可见光静态点云图案，在步骤12200，检测非可见光，在步骤12300，确定三维深度信息，以及在步骤12400，输出三维深度信息。

在步骤12100中，投射半球形或球形非可见光静态点云图案，包括从非可见光源，例如图5中所示的非可见光源5200或图10中所示的非可见光源10200，发射非可见光，例如红外光。在一些实施例中，例如在球形实施例中，在步骤12100中，投射半球形或球形的非可见光静态点云图案，包括，例如通过镜子，例如图10中所示的镜子10400，将发射的非可见光引导至基于非可见光的深度检测装置的第一半球部，例如图10中所示的第一半球部10500，以及基于非可见光的深度检测装置的第二半球部，例如图10中所示的第二半球部10600。在步骤12100中，投射半球形或球形非可见光静态点云图案，包括，例如通过一个或多个透镜，例如图5所示的透镜5300或图6所示的透镜10300、10510、10610，将发射的非可见光折射，以形成半球形或球形的投射场。在12100处投射半球形或球形非可见光静态点云图案，包括，例如通过衍射光学元件，如图5所示的衍射光学元件5400或图6所示的衍射光学元件10520、10620，对在半球形或球形投射场中的非可见光进行整流或过滤，以形成投射的半球形或球形非可见光静态点云图案。

投射的半球形或球形非可见光静态点云图案的非可见光点，或其一部分，可被位于非可见光深度检测设备环境中的一个或多个外部物体，或其一部分，反射至非可见光深度检测设备。

在步骤12200中，检测非可见光包括接收光，包括在12100处投射的被反射的非可见光。在步骤12200中，检测非可见光包括过滤所接收的光，例如通过非可见光滤波器，例如图6中所示的非可见光滤波器6200或图11中所示的非可见光滤波器11220、111320，以排除非可见光以外的光，例如可见光，并通过非可见光。在步骤12200中，检测非可见光，包括使用一个或多个透镜，如图6所示的透镜6300或图11所示的透镜11210、11310、11500，将接收的非可见光聚焦到非可见光检测器的平面上，如图6所示的非可见光接收器6400或图11所示的非可见光接收器11600。在一些实施例中，例如在球形实施例中，接收的光可被基于非可见光的深度检测设备的第一半球部，例如图11所示的第一半球部11200接收和过滤，以及被基于非可见光的深度检测装置的第二半球部，如图11所示的第二半球部11300接收和过滤，由各自的半球部聚焦在镜子上，如图11所示的镜子11400，并由镜子导向非可见光接收器。

在步骤12300中，确定三维深度信息，包括使用一个或多个映射函数来确定各自的结果，其中θ表示反射光的点与摄像头的光轴之间的角度，以弧度表示，f表示镜头的焦距，R表示传感器上相应的检测到的光线的径向位置。该映射函数例如，等距映射函数可表示为R＝f·θ，立体映射函数可表示为R＝2f·tan(θ/2)，正交映射函数可以表示为R＝f·sin(θ)，等效映射函数可以表示为R＝2f·sin(θ/2)，或任何其他半球形或球形映射函数。

尽管本文在基于结构光的鱼眼非可见光深度检测的情况下，描述了鱼眼非可见光深度检测，但也可以使用其他鱼眼非可见光深度检测技术，例如动态图案结构光深度检测和飞行时间(ToF)深度检测。在一些实施方案中，结构化或动态光图案可以是点云图案、灰色/彩色编码光条纹图案等。

例如，鱼眼非可见光飞行时间深度检测可包括：使用半球形鱼眼非可见光泛光投射单元投射半球形非可见光，例如图4中所示的半球形鱼眼非可见光泛光投射单元4400或图7中所示的半球形鱼眼非可见光泛光投射单元7000，或包括使用球形鱼眼非可见光泛光投射单元投射球形非可见光；确定与投射非可见光相对应的时间投射点；使用半球形鱼眼非可见光检测单元接收反射的非可见光，如图6所示的半球形鱼眼非可见光检测单元6000，或球形鱼眼非可见光检测单元，如图11所示的球形鱼眼非可见光检测单元11000；确定一个或多个对应于接收反射的非可见光的时间接收点；并根据时间投射点和时间接收点之间的差异确定深度信息。与检测或接收反射的非可见光相对应的空间信息可以被映射到鱼眼非可见光飞行时间深度检测单元的操作环境中，并且对应于各个空间位置的时间投影点和时间接收点之间的差异可以被确定为对应空间点的深度信息。

在步骤12400中，输出三维深度信息。例如，三维深度信息可以被存储在数据存储单元中。在另一个实施例中，三维深度信息可以被传输到设备的其他元件中。

图13是本公开实施例中，使用半球形或球形可见光深度图像进行三维跟踪13000的示意图。使用半球形或球形可见光深度图像进行三维跟踪13000可以通过基于非可见光的深度检测设备实现，例如用户设备，如图3中所示的半球形鱼眼非可见光深度检测设备3000，图4所示的半球形鱼眼非可见光深度检测设备4000，图8所示的球形鱼眼非可见光深度检测设备8000，或图9所示的球形鱼眼非可见光深度检测设备9000。

使用半球形或球形可见光深度图像进行三维跟踪13000可包括，生成代表用户设备的操作环境或其一部分的三维地图或模型，例如三维增强现实模型或三维虚拟现实模型。使用半球形或球形可见光深度图像进行三维跟踪13000包括：步骤13100，图像获取和预处理，以及步骤13200，进行三维跟踪。

在步骤13100中，图像获取和预处理包括：步骤13110，获取图像，以及步骤13120，进行透视转换。步骤13110中，获取图像可包括：获取半球形或球形可见光图像或图像，该图像包括深度信息，例如RGB-D(红绿蓝深度)图像。为了描述的简单明了，包括深度信息的半球形或球形可见光图像，如半球形或球形可见光图像和半球形或球形非可见光深度图像的组合，在此可称为半球形或球形可见光深度(VL-D)图像。半球形或球形可见光图像和半球形或球形非可见光深度图像在时空上同步的。

半球形VL-D图像可包括半球形可见光图像和半球形深度图像。例如，用户设备可以包括半球形图像捕捉装置，类似于图3中所示的半球形鱼眼非可见光深度检测设备3000或图4中所示的半球形鱼眼非可见光深度检测设备4000，除非本文或从上下文中有明确描述。半球形图像采集装置可包括半球形，如鱼眼，可见光图像采集单元。半球形可见光图像捕捉单元类似于图6所示的半球形鱼眼非可见光检测单元6000，除非本文或从上下文中有明确描述。例如，半球形可见光图像捕捉单元可省略图6中所示的非可见光滤波器6200，并可以以其他方式配置以捕捉可见光。半球形图像捕捉装置可包括半球形非可见光深度检测单元、装置或阵列，例如图3所示的半球形鱼眼非可见光深度检测设备3000或图4所示的半球形鱼眼非可见光深度检测设备4000。半球形非可见光深度检测单元、设备或阵列和半球形可见光图像采集单元可以是同步的。半球形可见光图像捕捉单元可获取或捕获半球形可见光图像，而同时，半球形非可见光深度检测单元可获取或捕捉相应的半球形非可见光深度图像。

球形VL-D图像可包括球形可见光图像和球形深度图像。例如，用户设备可以包括球形图像捕捉装置，类似于图8中所示的球形鱼眼非可见光深度检测设备8000或图9中所示的球形鱼眼非可见光深度检测设备9000，除非本文或从上下文中有明确描述。球形图像采集装置可包括球形可见光图像捕捉单元。球形可见光图像捕捉单元可以类似于图11中所示的半球形鱼眼非可见光检测单元11000，除非本文或从上下文中有明确描述。例如，球形可见光图像捕捉单元可以省略图11中所示的非可见光滤波器11200、11300，并可以以其他方式配置以捕捉可见光。球形图像捕捉装置可包括球形非可见光深度检测单元、设备或阵列，例如图8所示的球形鱼眼非可见光深度检测设备8000或图9所示的球形鱼眼非可见光深度检测设备9000。球形非可见光深度检测单元、设备或阵列和球形可见光图像捕捉单元可以是同步的。球形可见光图像捕捉单元可以获取或捕捉球形可视光图像，而同时，球形非可见光深度检测单元可以获取或捕捉相应的球形非可见光深度图像。

在步骤13120中，透视转换可包括生成透视转换的图像，例如透视转换的可见光图像、透视转换的深度图像、两者或其组合，也就是透视投射图像。例如，用户设备的透视转换单元可以从用户设备的一个或多个半球形或球形图像捕捉单元接收半球形或球形VL-D图像，可以基于半球形或球形VL-D图像生成透视转换图像，并输出透视转换图像。例如，基于半球形VL-D图像生成的透视转换的半球形VL-D图像可以类似于全景可见光图像和相应的全景非可见光深度图像。在步骤13120中，透视转换可包括将透视转换的半球形或球形VL-D图像中的每个像素位置映射到半球形或球形VL-D中的相应位置。步骤13120中，透视转换可包括图像处理，例如可见光图像、深度图像或两者的抗混叠。透视转换单元可输出透视转换的半球形或球形VL-D图像，该图像可包括透视转换的半球形或球形可见光图像和透视转换的半球形或球形非可见光深度图像。

步骤13120中，透视转换可包括，例如，球面透视投射，包括按照直线球面透视投影约束，将空间中的线投射成球形透视图像中的曲线。例如，空间中的线可以被投射为图像平面中的具有半长轴的椭圆曲线。在步骤13120中，透视转换可包括识别对应于空间中的线的椭圆，并基于从VL-D图像中沿椭圆曲线识别的点(u_i,v_i)，例如五个点(i＝1，...，5)，确定椭圆曲线的中心(光学中心)和半长轴。

步骤13120中，透视转换可包括对点(u_i,v_i)进行曲线拟合，例如通过最小二乘法成本函数，其中包括识别系数(b,c,d,e,f)，并且可以表示为如下：

u²+buv+cv²+du+ev+f＝0.

步骤13120中，透视转换可以包括确定椭圆的中心点(x_c,y_c)和半长轴(a)，该中心点可以为半球形图像的光学中心，该半长轴(a)可对应于半径。对于透视转换图像中的每个点来说，例如每个像素点(x,y)，可以确定VL-D图像中的相应位置(u,v)，并且可以确定透视转换图像中各点(x,y)的值，例如根据VL-D图像中相应位置(u,v)的值采用双线性内插。

步骤13120中，透视转换可以包括使用内参数、外参数或两者，该参数可以通过校准过程获得。内参数可以对应于镜头失真。外参数可对应于半球形或球形可见光图像的坐标系与半球形或球形非可见光深度图像的坐标系之间的转换。步骤13120中，透视转换可包括将透视转换的半球形或球形可见光图像与相应的透视转换的半球形或球形非可见光深度图像对齐。

步骤13200中，三维跟踪包括获得和跟踪物体和物体状态信息(三维跟踪信息)，该信息可包括三维形状信息、物体类型信息、相对或绝对物体位置信息、运动学物体状态信息，例如方向、速度和加速度信息，或其他物体状态信息。在一些实施例中，步骤13200中，三维跟踪可包括生成对应于在步骤13100中捕捉的VL-D图像的用户设备的操作环境的三维模型。例如，用户设备的三维跟踪单元可以从半球形或球形图像捕捉装置接收透视转换的半球形或球形VL-D图像，并且可以基于接收的透视转换的半球形或球形VL-D图像生成三维模型，这样可使用同步定位和映射(SLAM)。

步骤13200中，三维跟踪包括，步骤13210，特征提取；步骤13220，特征匹配；步骤13230，物体状态跟踪；以及步骤13240，物体状态分析。尽管在图13中没有单独示出，但步骤13200中，三维跟踪可包括输出，例如传输或存储，三维跟踪信息、透视转换的半球形或球形VL-D图像，或其组合。在一些实施方案中，步骤13120透视转换可以被省去，而步骤13200中，三维跟踪的实施可以基于步骤13100捕捉的半球形或球形VL-D图像或图像序列。

步骤13210中，特征提取可包括基于透视转换的半球形或球形VL-D图像执行特征提取，特征提取例如基于尺度不变特征转换(SIFT)的特征提取、基于方向梯度直方图(HOG)的特征提取、基于加速稳健特征(SURF)的特征提取、Harr特征提取、基于神经网络的特征提取等。在透视转换后的半球形或球形VL-D图像中，可以识别出一个或多个特征，该特征与各图像中捕捉的物体的部分相对应，如物体的角落或边缘。例如，一个或多个特征可以在透视转换的半球形或球形可见光图像中被识别，一个或多个特征可以在相应的透视转换的半球形或球形非可见光深度图像中被识别。在一些实施例中，可以获得VL-D图像的时间序列，并且步骤13210中，特征提取可以包括从VL-D图像的时间序列中的两个或多个VL-D图像中提取和识别特征。

在一些实施例中，获得VL-D图像的时间序列以及在步骤13220中的特征匹配可包括，识别在步骤13210中从VL-D图像的时间序列中的第一VL-D图像识别出或提取出的特征与步骤13210中从VL-D图像的时间序列的第二VL-D图像，例如后续的VL-D图像，识别出或提取出的特征之间的对应关系，包括将第一VL-D图像与第二VL-D图像对齐。

步骤13230中，获得物体状态信息可包括确定三维形状信息、物体类型信息、相对或绝对物体位置信息、运动学物体状态信息，例如方向、速度和加速度信息，或其他物体状态信息，上述信息可基于步骤13210中提取的特征和步骤13220中匹配的特征。步骤13230中获得的物体状态信息可被输出到步骤13110中的图像采集操作，如13235处的方向线所示。

步骤13240中，物体状态分析可以基于步骤13230中获得的物体状态信息来实现。例如，步骤13240中，物体状态分析可包括确定被跟踪的物体是否在睡眠(例如，确定被跟踪的个体在设定的经常性期间内进入睡眠状态的概率)，并且当确定了个体在睡眠时，执行或启动操作。例如，当确定了被跟踪的个人正在睡觉，步骤1324中物体状态分析可包括关闭外部设备，与外部设备进行通信，例如暂停视频或音乐流，将非重要的消息静音，增加重要消息的音量设置，等。

图14是本公开实施例中，基于人工神经网络的使用半球形或球形非可见光深度图像进行三维跟踪14000的流程图。基于人工神经网络的使用半球形或球形非可见光深度图像进行三维跟踪14000可以通过基于非可见光的深度检测设备实现，例如用户设备，如图中所示的半球形鱼眼非可见光深度检测设备3000，图4所示的半球形鱼眼非可见光深度检测设备4000，图8所示的球形鱼眼非可见光深度检测设备8000，或图9所示的球形鱼眼非可见光深度检测设备9000。

基于人工神经网络的使用半球形或球形非可见光深度图像进行三维跟踪14000可包括：14100，接收输入图像；14200，特征提取；14300，特征匹配；以及14400，物体识别。在一个实施例中，人工神经网络可以是深度学习人工神经网络。

14200中，特征提取可包括人工神经网络层的有序序列，例如第一卷积和修正线性单元(RELU)层14210、第一池化层14220、第二卷积和修正线性单元(RELU)层14230和第二池化层14240。步骤14200中，特征提取可输出特征提取数据14300。可以使用其他层，如14200中的特征提取和14300中的输出之间的省略号所示。

14400中，特征匹配可包括基于14300特征提取输出，获得扁平化的特征数据14410，以及获得全连接的数据集14420。

14500中，物体识别可以获得物体识别信息14510，包括一个或多个物体分类，该分类可以按概率排序。

图15是本公开实施例中，使用半球形或球形非可见光深度图像进行三维跟踪的场景15000示意图。

使用半球形或球形非可见光深度图像进行三维跟踪的场景15000包括半球形或球形非可见光深度图像采集捕捉15100，例如用户设备，如图3所示的半球形鱼眼非可见光深度检测设备3000，图4所示的半球形鱼眼非可见光深度检测设备4000，图8所示的球形鱼眼非可见光深度检测设备8000，或图9所示的球形鱼眼非可见光深度检测设备9000。半球形或球形非可见光深度图像捕捉装置15100被八个人15200、15210、15220、15230、15240、15250、15260、15270、15280排列成圆形围绕。半球形或球形非可见光深度图像捕捉装置15100可以捕捉半球形或球形非可见光深度图像，或半球形或球形非可见光深度图像序列，该图像包括该八个人15200、15210、15220、15230、15240、15250、15260、15270、15280，并利用半球形或球形非可见光深度图像进行三维跟踪。虽然图15中显示了八个被追踪的个体，但也可以追踪其他数量的个体或物体。

图16是本公开实施例中，使用半球形或球形非可见光深度图像进行三维跟踪的场景的可视化16000的示意图。图16中所示的可视化16000可对应于一个场景，例如图15中所示的场景15000。

在第一可视化中，在顶部，可以将围绕在半球形或球形非可见光深度图像捕捉装置周围的多个个体捕捉至半球形或球形非可见光深度图像中，或半球形或球形非可见光深度图像的序列中，并且可以使用透视校正，将捕获的一张或多张半球形或球形非可见光深度图像的部分，对应于每个人的二维透视图，从生成可视化，例如在顶部所示的单行可视化16100，中间部分所示的多行可视化16200，底部所示的圆柱体可视化16300，或其他可视化。

单行可视化16100显示了在半球形或球形非可见光深度图像捕捉装置周围的八个个体16110、16120、16130、16140、16150、16160、16170、16180，例如在圆形场景中，如图15所示的场景，并且如图16所示，以行可视化的方式排布其方向。

多行可视化16200显示了在半球形或球形非可见光深度图像捕捉装置周围的八个个体16210、16220、16230、16240、16250、16260、16270、16280，例如在圆形场景中，如图15所示的场景，并且如图16所示的多行可视化的方式排布其方向。

圆柱体可视化16300显示了在半球形或球形非可见光深度图像捕捉装置周围的三个个体16310、16320、16330，例如在圆形场景中，如图15所示的场景，并如图16所示以圆柱体可视化的方式排布其方向。

半球形或球形非可见光深度图像捕捉装置可以跟踪各个人脸的深度信息。各个人脸可以被缩放和归一化以用于可视化16000。例如，各个个体与半球形或球形非可见光深度图像捕捉装置之间的距离可以不同。例如，第一个体可能比第二个体离半球形或球形非可见光深度图像捕捉装置更远。生成可视化16000可包括缩放和归一化对应于每个人的可视化部分，从而使各个人与半球形或球形非可见光深度图像捕捉装置之间的距离看起来相等。

本公开描述的方法、程序或算法的方面、特征、元件和实施例，可以通过在计算机可读存储介质中的计算机程序、软件或固件实现，以便由计算机或处理器执行，并且可以采取可从诸如有形计算机可用或计算机可读介质中获取的计算机程序产品的形式。

如本文所用，术语“计算机”或“计算设备”包括能够执行本公开的任何方法或其任何部分的任何单元或单元组合。如本公开所用的，术语“用户设备”、“移动设备”或“移动计算设备”包括但不限于用户设备、无线发射/接收单元、移动站、固定或移动用户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、计算机或能够在移动环境中操作的任何其他类型的用户设备。

如本文所用，术语“处理器”包括单个处理器或多个处理器，例如一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个特定应用集成电路(ASIC)、一个或多个特定应用标准产品(ASSP)；一个或多个现场可编程门阵列(FPGA)电路、任何其他类型或组合的集成电路(IC)、一个或多个状态机或其任何组合。

如本文所用，术语“存储器”包括任何计算机可使用的或计算机可读的介质或装置，其可以，例如，有形地包含、存储、通信或传输任何信号或信息，以供任何处理器使用或与之相关。计算机可读存储介质的例子可以包括一个或多个只读存储器、一个或多个随机存取存储器、一个或多个寄存器、一个或多个高速缓存存储器、一个或多个半导体存储设备、一个或多个磁性介质，如内部硬盘和可移动磁盘、一个或多个磁光介质、一个或多个光学介质，如CD-ROM磁盘和数字多功能磁盘(DVD)，或其任何组合。

如本文所用，术语“指令”可包括用于执行本文所公开的任何方法或其任何部分的指令，并且可通过硬件、软件或其任何组合来实现。例如，指令可以实现为存储在存储器中的信息，如计算机程序，该程序可由处理器执行，以执行本文所述的任何各自的方法、算法、方面或其组合。在一些实施例中，指令或其一部分可被实现为专用处理器或电路，其可包括用于执行本文所述的任何方法、算法、方面或其组合的专门硬件。指令的一部分可以分布在同一台机器或不同机器上的多个处理器上，或跨越网络，如局域网、广域网、互联网，或其组合。

如本文所用，术语“示例”、“实施例”、“实现”、“方面”、“特征”或“元素”表示作为一个例子、实例或说明的作用。除非明确指出，任何实例、实施方案、实现方式、方面、特征或元素都独立于每个其他实例、实施方案、方面、特征或元素，并且可以与任何其他实例、实施方案、实现方式、方面、特征或元素结合使用。

如本文所用，术语“确定”和“识别”，或其任何变化，包括使用本文所示和所述的一个或多个设备以任何方式选择、确定、计算、查询、接收、确定、建立、获得或以其他方式识别或确定。

如本文所用，术语“或”意指包容的“或”，而不是排他的“或”。也就是说，除非另有规定，或从上下文中可以看出，“X包括A或B”意在表示任何自然的包容性排列组合。也就是说，如果X包括A；X包括B；或者X同时包括A和B，那么在上述任何情况下，“X包括A或B”都被满足。此外，在本申请和所附权利要求中使用的“一”通常应被理解为“一个或多个”，除非另有规定或从上下文中明确指出是针对单数形式。

此外，为了简化解释，尽管本文的图和描述可能包括步骤或阶段的序列或系列，但本文公开的方法的要素可能以各种顺序或同时发生。此外，本文公开的方法的要素可能与本文未明确提出和描述的其他要素一起发生。此外，并不是所有在此描述的方法的元素都需要按照本公开的方法来实施。尽管本文以特定的组合描述了各方面、特征和元素，但各方面、特征或元素可独立使用，或与其他方面、特征和元素一起以各种组合使用或不使用。