CN113781628A - 一种三维场景搭建方法和装置 - Google Patents

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

以下针对现有技术存在的问题进行详细说明：

1、模型标定目前主要存在的问题

1)3D max、maya、Blender等模型创建工具所创建的三维模型，只包含模型本身的基础信息，不包含相机位置和相机参数等信息。数据导入需要模型设计者给出参数信息，否则需要通过测试的方式标定相机位置。

2)在单相机多模型的三维场景中，即使相机固定，不同模型由于本身参数问题，模型位置标定更加复杂，每个模型都是一个单独的个体，使得每个模型位置的标定都会存在一定的误差，多个标定误差可能会使得整个三维场景杂乱无章。

3)在三维场景模型位置标定时，由于三维成像必须在相机视口中显示，不在视口中的三维数据无法展示到场景中，因此三维模型需要在展示模型的场景中才能标定。

2、移动速度初始化目前主要存在的问题

1)模型移动速度没有量化指标，都是通过人体感官的方式设定的固定值；

2)模型大小不同，导致模型移动速度或相机移动速度，都与视觉理解的速度存在很大的差异；

3)当光线的震动速度与物体的移动速度相同时，会出现持续视觉现象，在这种场景下肉眼无法捕捉到物体或模型的移动。因此，如果距离较远，模型移动速度较小，模型的微观偏移肉眼无法捕捉到。

3、相机参数设定目前主要存在的问题

1)通常是由专业人士固定相机视角，只能在特定视角区域内成像，对于非专业人士而言很难理解视角的概念；

2)除了相机视角外还需要考虑相机朝向，不同的相机朝向其视觉成像是完全不一样的，而现有技术并未考虑。

参见图1，示出的是本发明实施例提供的一种三维场景搭建方法的主要流程图，包括如下步骤：

S101：加载模型信息，获取模型信息中各个点在世界坐标系下的坐标值，确定三个坐标轴上的最大值和最小值，以构建模型包围盒；

S102：获取相机在世界坐标系下的位置，结合相机视角和所述模型包围盒的宽高，确定所述模型包围盒在世界坐标系下的位置；

S103：去除所述模型包围盒，得到确定位置后的模型信息，结合三维场景基础信息进行整合，以作为初始化参数搭建三维场景。

上述实施方式中，本方案适用于多种场景，如AR试鞋、AR试妆项目，可以得到标注相对准确的3D样本，需要对2D图片的标注区域使用3D模型(注：3D模型包括ply、stl、obj、vtk等)标注。但是三维模型只保存模型本身的三维数据信息，不保存场景信息和相机参数信息，因此为了提高标注的通用性，本方案提出一种三维场景模型标定方法。

对于步骤S101，首先初始化三维场景基础信息，即需要先规定场景的长、宽、灯光、渲染器等信息。三维场景基础信息可以确定相机视角，参见后续图4所示描述。

动态加载自定义或者预定义相机参数，相机参数主要是定义相机的照射方向和相机视角。根据相机参数创建坐标系，具体参见图2所示，相机中有四个坐标系，分别为世界坐标系、相机坐标系、图像坐标系、像素坐标系：

1)世界坐标系可以任意指定横轴和纵轴，为图2中P点所在坐标系，也可理解为是模型参数所对应的xyz坐标系；

2)相机坐标系原点位于小孔，z轴与光轴重合，x轴和y轴平行投影面，为上图坐标系X_cY_cZ_c；

3)图像坐标系的原点位于光轴和投影面的交点，轴平行投影面，为上图坐标系，为上图坐标系x_py_pz；

4)像素坐标系从小孔向投影面方向看，投影面的左上角为原点，uv轴和投影面两边重合，该坐标系与图像坐标系处在同一平面，但原点不同。

加载模型信息，获取模型中各个点在世界坐标系下的坐标值，以分别确定三个坐标轴上X、Y、Z的最大值和最小值。根据最大值和最小值构建模型包围盒，具体盒子样式参数图3(a)所示。

对于步骤S102，加载obj模型，本方案采用的obj模型来源为3Dmax工具绘制，绘制时通常将相机位置放在三维世界坐标系下的(0,0,0)点(实际也可以是其他点)，朝向z轴的负向或正向。

根据视觉距离绘制需要标注的三维模型，要使模型能在三维场景中成像，需计算相机到模型包围盒的距离，并根据相机视角(或仰角)，确定模型包围盒在世界坐标系下的位置，具体计算方式参见后续图6所示描述，在此不再赘述。

对于步骤S103，在计算到模型包围盒在世界坐标系下的位置后，模型已构建完毕，此时可以去除该模型包围盒，仅考虑模型内各个点的信息。

搭建三维场景，依赖的是模型信息和三维场景基础信息，因而可以将这两者作为初始化参数进行三维场景搭建。对搭建后的场景可以进一步进行后期使用，可以应用在3D标注、游戏场景初始化、3D商品初始化等应用场景中，如图3(b)所示，具体如何使用为本领域的惯用手段，本方案在此不再赘述。

上述实施例所提供的方法，在模型加载过程中无需配置距离参数，且可以自动计算模型位置，对于专业三维场景搭建人员和非专业人士提供了一种简单易用的三维场景搭建方式。

参见图4，示出了根据本发明实施例的一种可选的三维场景搭建方法流程示意图，包括如下步骤：

S401：初始化三维场景基础信息，确定所述三维场景基础信息的视口大小，利用反正切方式处理视口宽度和高度的最大值，得到相机在高度侧的最大可视角，作为相机视角；

S402：基于所述相机视角和预设的相机朝向，构建坐标系；其中，坐标系用于搭建三维场景，包括世界坐标系、相机坐标系、图像坐标系和像素坐标系；

S403：加载模型信息，获取模型信息中各个点在世界坐标系下的坐标值，确定三个坐标轴上的最大值和最小值，以构建模型包围盒；

S404：获取相机在世界坐标系下的位置，结合相机视角和所述模型包围盒的宽高，确定所述模型包围盒在世界坐标系下的位置；

S405：去除所述模型包围盒，得到确定位置后的模型信息，结合三维场景基础信息进行整合，以作为初始化参数搭建三维场景。

上述实施方式中，对于步骤S402～S405，可参见图1所示步骤S101～S103的描述，在此不再赘述。

上述实施方式中，对于步骤S401，本实施方式用于确定相机视角，目前确定相机视角的方式有两种，一种是人为预设，比如业界常用的45°、60°。另一种是根据三维场景基础信息确定，具体计算方式为：

为保证二维场景在相机视口中能够完全成像到相机中(相机查看时通常看到的是二维)，可以定义，相机视角的大小根据三维基础场景的高度和宽度进行计算。参见图5所示，可视角的计算公式为：

需要说明的是，此处的heigth和width为三维场景中高宽的最大值(当图像作为场景的背景时同样适用)，只是根据高宽计算一个默认的相机视角。

由于three.js中相机视角是角度制，只关心高度的仰角，因此需要将弧度转换成角度，根据高度的仰角和宽高的比例设置相机宽度的仰角。因此完整计算公式为：

其中，PI是圆周率π，Math.PI表示一个圆的周长与直径的比例，约为3.14159。

上述实施例所提供的方法，适用于多模型场景，能够基于三维场景基础信息统一相机视角的计算方式，最大程度上降低误差视角。预设或者自动创建相机视角，实现自动化标定的目的，降低场景构建的难度。

参见图6，示出了根据本发明实施例的另一种可选的三维场景搭建方法流程示意图，包括如下步骤：

S601：加载模型信息，获取模型信息中各个点在世界坐标系下的坐标值，确定三个坐标轴上的最大值和最小值，以构建模型包围盒；

S602：根据相机视角和所述模型包围盒的宽高，计算相机与所述模型包围盒的距离；其中，所述距离表示在相机可视区域内能完整显示所述模型包围盒；

S603：判断相机朝向是否为正向；

S604：若为正向，则将相机在世界坐标系下的位置与所述距离之和，作为所述模型包围盒在世界坐标系下的位置；

S605：若为负向，则将相机在世界坐标系下的位置与所述距离的差值，作为所述模型包围盒在世界坐标系下的位置；

S606：去除所述模型包围盒，得到确定位置后的模型信息，结合三维场景基础信息进行整合，以作为初始化参数搭建三维场景。

上述实施方式中，对于步骤S601和S606，可参见图1所示步骤S101和S103的描述，在此不再赘述。

上述实施方式中，对于步骤S602，已知相机视角为fov，那么模型在三维场景中的成像，需根据前一步骤确定出模型包围盒在X、Y轴上的最大值和最小值，确定绝对值最大的值max＝Max(width,height)。

具体地：

确定模型包围盒的最大宽度值，结合相机视角，利用反正切方式，计算在相机可视区域内显示最大宽度值的距离max width/[2*arctan(fov)]

确定模型包围盒的最大高度值，结合相机视角，利用反正切方式，计算在相机可视区域内显示最大高度值的距离max height/[2*arctan(fov)]；

将取值较大的距离作为相机与模型包围盒的距离，参见图7所示。

对于步骤S603～S605，在计算出相机与模型包围盒的距离之后，还需根据相机朝向和相机位置，对模型包围盒在世界坐标系下的位置进行确定。比如相机朝向z轴的负方向，所以需要对计算出的z值取负，然后将z轴初始化给模型。

同时还需要计算模型的最大和最小z轴坐标，因为当模型放大到一定程度后，模型切面会与相机视口重合，在这种情况下，模型会从视口中消失，消失场景参见图8所示。

因此，需根据相机朝向确定模型包围盒的位置，假设z的计算值为100m，相机反向并在世界坐标系中z_position的位置为-50，那么模型包围盒的位置为100+50＝150m；若z_position的最小值大于0，那么模型包围盒的位置为100m。

另外，也可以动态规划相机朝向，支持默认和自定义相机朝向，使三维构建和模型标定更加简单易用。

上述实施例所提供的方法，根据模型自身信息计算模型包围盒与相机的相对距离，以此确定模型包围盒在世界坐标系下的位置，无需专业人员操作，任何人都可对三维场景进行编辑。

参见图9，示出了根据本发明实施例的又一种可选的三维场景搭建方法流程示意图，包括如下步骤：

S901：获取相机的移动速度，计算所述移动速度与距离的比值；其中，距离为相机与所述模型包围盒的距离；

S902：确定测得的相机与所述模型包围盒的实际距离，将所述比值和所述实际距离的乘积，作为模型信息中各个点的移动速度。

上述实施方式中，对于步骤S901和S902，本实施方式用于对模型移动速度进行初始化。模型移动或者相机的移动，和相机距离模型的间距有直接关系：当距离较远时，绝对位移1m，在视觉效果上可能只移动了1cm。

因此为了适应视觉效果，需根据相机移动速度适应性调整模型内各点的移动速度。假定相机和模型包围盒的距离为z1，实际测得相机和模型包围盒的距离为z2，相机以v₁速度(如2m/s)移动，可以得到模型包围盒的移动速度v₂为：

上述实施例所提供的方法，能够有效避免因模型大小不同、距离远近不同，导致在三维场景中成像的移动效果视觉误差问题。这里的速度在无外力干预的情况下模型的速度固定，到场景结束也不会改变。

本发明实施例所提供的方法，可以辅助初学者或非专业人士设定合理的三维场景基础信息，不会因为误操作而造成模型在三维场景中不显示的问题；根据三维场景基础信息初始化模型，给出一个肉眼捕捉动作的移动速度，增加三维场景标定和移动速度。整体提升主观能动性，一个三维模型构建方式可以代替数十甚至上百的重复工作量，大大降低了标注成本。

参见图10，示出了本发明实施例提供的一种三维场景搭建装置1000的主要模块示意图，包括：

包围盒构建模块1001，用于加载模型信息，获取模型信息中各个点在世界坐标系下的坐标值，确定三个坐标轴上的最大值和最小值，以构建模型包围盒；

位置确定模块1002，用于获取相机在世界坐标系下的位置，结合相机视角和所述模型包围盒的宽高，确定所述模型包围盒在世界坐标系下的位置；

场景搭建模块1003，用于去除所述模型包围盒，得到确定位置后的模型信息，结合三维场景基础信息进行整合，以作为初始化参数搭建三维场景。

本发明实施装置还包括坐标系构建模块1004(图中未标出)，用于：

基于所述相机视角和预设的相机朝向，构建坐标系；其中，坐标系用于搭建三维场景，包括世界坐标系、相机坐标系、图像坐标系和像素坐标系。

本发明实施装置还包括相机视角获取模块1005(图中未标出)，用于：

获取预设相机视角；或

初始化所述三维场景基础信息，确定所述三维场景基础信息的视口大小，利用反正切方式处理视口宽度和高度的最大值，得到相机在高度侧的最大可视角，作为相机视角。

本发明实施装置中，所述位置确定模块1002，用于：

根据所述相机视角和所述模型包围盒的宽高，计算相机与所述模型包围盒的距离；其中，所述距离表示在相机可视区域内能完整显示所述模型包围盒；

判断相机朝向是否为正向，若为正向，则将相机在世界坐标系下的位置与所述距离之和，作为所述模型包围盒在世界坐标系下的位置；或

若为负向，则将相机在世界坐标系下的位置与所述距离的差值，作为所述模型包围盒在世界坐标系下的位置。

本发明实施装置中，所述位置确定模块1002，用于：

确定所述模型包围盒的最大宽度值，结合所述相机视角，利用反正切方式，计算在相机可视区域内显示所述最大宽度值的最小距离；

确定所述模型包围盒的最大高度值，结合所述相机视角，利用反正切方式，计算在相机可视区域内显示所述最大高度值的最小距离；

将取值较大的最小距离，作为相机与所述模型包围盒的距离。

本发明实施装置还包括移动速度计算模块1004(图中未标出)，用于：

获取相机的移动速度，计算所述移动速度与所述距离的比值；

确定测得的相机与所述模型包围盒的实际距离，将所述比值和所述实际距离的乘积，作为模型信息中各个点的移动速度。

另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。

图11示出了可以应用本发明实施例的示例性系统架构1100。

如图11所示，系统架构1100可以包括终端设备1101、1102、1103，网络1104和服务器1105(仅仅是示例)。网络1104用以在终端设备1101、1102、1103和服务器1105之间提供通信链路的介质。网络1104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备1101、1102、1103通过网络1104与服务器1105交互，以接收或发送消息等。终端设备1101、1102、1103上可以安装有各种通讯客户端应用。

终端设备1101、1102、1103可以是具有显示屏并且支持网页浏览的各种电子设备，服务器1105可以是提供各种服务的服务器。

需要说明的是，本发明实施例所提供的方法一般由服务器1105执行，相应地，装置一般设置于服务器1105中。

应该理解，图11中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图12，其示出了适于用来实现本发明实施例的终端设备的计算机系统1200的结构示意图。图12示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图12所示，计算机系统1200包括中央处理单元(CPU)1201，其可以根据存储在只读存储器(ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM)1203中的程序而执行各种适当的动作和处理。在RAM 1203中，还存储有系统1200操作所需的各种程序和数据。CPU 1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。

以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括包围盒构建模块、位置确定模块、场景搭建模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，场景搭建模块还可以被描述为“三维场景搭建模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

加载模型信息，获取模型信息中各个点在世界坐标系下的坐标值，确定三个坐标轴上的最大值和最小值，以构建模型包围盒；

获取相机在世界坐标系下的位置，结合相机视角和所述模型包围盒的宽高，确定所述模型包围盒在世界坐标系下的位置；

去除所述模型包围盒，得到确定位置后的模型信息，结合三维场景基础信息进行整合，以作为初始化参数搭建三维场景。

根据本发明实施例的技术方案，可以辅助初学者或非专业人士设定合理的三维场景基础信息，不会因为误操作而造成模型在三维场景中不显示的问题；根据三维场景基础信息初始化模型，给出一个肉眼捕捉动作的移动速度，增加三维场景标定和移动速度。整体提升主观能动性，一个三维模型构建方式可以代替数十甚至上百的重复工作量，大大降低了标注成本。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。