一种ar系统的构建方法及运用
阅读说明：本技术 一种ar系统的构建方法及运用 (AR system construction method and application ) 是由 黄得锋 于 2021-06-02 设计创作，主要内容包括：本发明提供了一种AR系统的构建方法,所述构建方法包括以下步骤：步骤1：通过摄像头获得现实场景的实时图像；步骤2：通过AR引擎判断现实场景中的平面,并获得现实场景中的水平面和竖直面；步骤3：通过切割法保留实时图像照片中用户所在指定区域的图像,抠除其它图像；步骤4：将步骤3被抠除的图片区域置换为虚拟场景。本发明通过对现实场景的切割,抠除墙、天花板,以解除现实场景的空间束缚,使用户在体验过程中,通过拓宽现实的边界,尤其利虚拟场景连接现实场景,继而获得远大于现实空间的视野,同时还有条件直观避免与现实的人或物发生碰撞,而且有条件与同个空间的用户协同体验。(The invention provides a construction method of an AR system, which comprises the following steps: step 1: acquiring a real-time image of a real scene through a camera; step 2: judging a plane in a real scene through an AR engine, and obtaining a horizontal plane and a vertical plane in the real scene; and step 3: reserving the image of the designated area of the user in the real-time image photo by a cutting method, and scratching out other images; and 4, step 4: and replacing the scratched picture area in the step 3 with a virtual scene. According to the invention, the real scene is cut, and the wall and the ceiling are removed, so that the space constraint of the real scene is removed, and the user can obtain a visual field far larger than the real space by widening the real boundary and particularly connecting the virtual scene with the real scene in the experience process, and meanwhile, the condition is intuitive to avoid collision with the real person or object, and the condition is cooperated with the user in the same space for experience.)
技术领域
本发明涉及领域，尤其涉及AR技术领域，尤其涉及AR与VR结合的领域。
背景技术
AR技术就是在现实世界增加虚拟物及特效，两者相互叠加；AR技术的视场不仅依赖现实场景的元素，也无法摆脱现实场景的束缚，一旦抠除现实场景，就无法克服与现实人或物发生的碰撞的问题；因此无法实现用户足不出户进行旅游等活动。
MR技术可以同时融入AR(增强现实）与VR（虚拟现实），其技术路线为将VR场景直接遮挡现实场景的一部分；最通常的作法如在房间内设置一个“空间门”，打开空间门后，用户进入VR场景内，在该场景中用户不能看到现实场景，而用户VR场景内的活动显然仍在现实空间中，当现实空间出现人或物，用户将无法预判可能发生的碰撞。
另外 MR缺点还包括多用户互动的效果非常差，具体如：用户进VR场景后只能看到虚拟的自己和其它用户，由于目前成像成本，虚拟自己和用户具有效果往往是部分躯干或者与用户动作差异巨大的NPC（Non-Player Character）。
发明内容
为了克服上述问题，本发明提供了一种利用切割现实世界结合虚拟世界以打开现实世界的边界，并使现实世界成为虚拟世界的一部份，继而实现用户在现实现界中完成：与虚拟环境的虚拟人或物，及现实世界中的虚拟人或物，及与现实世界中的真人或物进行视觉上无差别的互动。
为实现上述目的，本发明提供的技术方案有：
一种AR系统的构建方法
步骤1：获得现实场景在用户视场中的实时图像A；
步骤2：规定用户视场中的现实场景为封闭空间，判断所述封闭空间的边界在用户视场中的实时位置X；
步骤3：创建虚拟场景，所述虚拟场景时时覆盖现实场景边界在用户视场中的实时位置X。
所述步骤1获得现实场景在用户视场中的实时图像的方法：
步骤1.1：在使用终端安装摄像头或使用具有摄像头的使用终端，并通过摄像头模拟用户眼睛实时拍摄现实场景。
或
步骤1.1’：在使用终端安装热成像仪或使用具有热成像仪的使用终端，并通过热成像仪模拟用户眼睛实时拍摄现实场景。
所述步骤2判断现实场景边界在用户视场中的实时位置X的方法1
步骤2.1：通过AR引擎判断现实场景中的平面，并获得现实场景中的水平面和竖直面；
步骤2.2：创建判断边界规则；所述判断边界规原则包括：高于用户的水平面视为边界；位于步骤1所述实时图像边际的竖直面视为边界。
所述步骤2判断现实场景边界在用户视场中的实时位置X的方法2
步骤2.1’：通过点云引擎判断现实场景各位置的纵深信息；
步骤2.2’：创建判断边界规则；创建判断用户活动区域规则；所述判断边界规原则包括：位于步骤1所述实时图像中非用户活动区域的部份为边界。
通过创建判断用户活动区域规则判断边界规则，适用于本发明获得实时图像中边界的所有技术方案，因此不仅限于上述方法2。
《判断用户活动区域规则》如：
规则1：以使用终端为球心，球半径为R的区域为活动区域；
规则2：低于使用终端的所有平面在实时图像中覆盖的区域为活动区域。
所述步骤3使虚拟场景时时覆盖现实场景边界在用户视场中的实时位置X的方法1：
步骤3.1：通过抠图法保留实时图像照片中用户所在指定区域的图像，抠除其它图像；
步骤3.2：将步骤3.1被抠除的图片区域置换为虚拟场景。
所述步骤3使虚拟场景时时覆盖现实场景边界在用户视场中的实时位置X的方法2：
步骤3.1’：使虚拟场遮挡边界区域，而不遮挡活动区域。
进一步的，所述一种AR系统的构建方法还包括：
步骤4：允许现实场景作为一个整体在虚拟场景对应的坐标系内移动；使虚拟场景的不同部份按进程覆盖现实场景的边界，实现视觉效果为：通过用户视场具有现实场景作为一个整体在虚拟场景中移动。
再进一步的 所述步骤4的视觉效果包括：用户在现实场景中自移，现实场景在虚拟场景内公移。
一种AR系统的构建方法在虚拟旅游的应用：包括对用户及就近场景切割和拼接，拼接对像包括其他用户和/虚拟场景。
一种AR系统的构建方法在游戏的应用：包括对玩家及就近场景切割和拼接，拼接对像包括其他玩家和/虚拟场景。
一种AR系统的构建方法在教育的应用：包括对用户及就近场景切割和拼接，拼接对像包括其他用户和/虚拟场景。
上述技术方案的有益之处在于
1、本发明通过对现实场景的切割，抠除墙、天花板，以解除现实场景的空间束缚，使用户在体验过程中，通过拓宽现实的边界，尤其利虚拟场景连接现实场景，使得虚拟场景成为在现实场景边界的沿伸，继而使现实场景成为虚拟世界的一部份，继而获得远大于现实空间的视野，同时还有条件直观避免与现实的人或物发生碰撞，而且有条件与同个空间的用户协同体验。
2、本发明通过规定现实场景为封闭空间，更于规定《判断现实场景实时图像边界的规则》，继而更容易实现本发明目的。
2、本发明通过判断现实场景中竖直平面是否为空间边界，并抠掉属于边界的竖直平面；判断现实场景中水平平面是否位于用户上空，并抠掉位于用户上空的水平平面；其运算量极小，可实现虚实融合画面的过渡流畅、连续、不突兀。
3、本发明在实时图像中创建用户活动区域，并规定活动区域外的部分为边界，克服现实场景实际的边界的复杂性、不确定性所带来算法量巨大的问题；所述用户活动区域定义包括指定用户活动区域和用户最大活动区域，因此便于根据手机或其它使用终端的配置设计用户活动区域的判断规则，便于高配置用户获得的活动区域更接近用户最大活动区域。
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图说明
图1为实施例2房间S内用户以上帝视觉获得影像示意图（未采用AR系统的构建方法）。
图2为实施例2房间S内用户以上帝视觉获得影像示意图（采用AR系统的构建方法后）。
图3为实施例2房间S用户的远程用户视场形态示意图。
图4为实施例2房间U内用户以上帝视觉获得影像示意图（采用AR系统的构建方法后）。
图5为实施例2房间U用户的远程用户视场形态示意图。
图6为实施例2房间S用户与房间U用户在同一虚拟场景内交会的示意图。
具体实施方式
实施例1
一种AR系统的构建方法，包括以下步骤：
步骤1：通过手机或其它移动终端的摄像头获得现实场景在用户视场中的实时图像A；
步骤2：规定用户视场中的现实场景为封闭空间，判断所述封闭空间的边界在用户视场中的实时位置X；
步骤3：创建虚拟场景，所述虚拟场景时时覆盖现实场景边界在用户视场中的实时位置X。
所述步骤1获得现实场景在用户视场中的实时图像的方法：
步骤1.1：在使用终端安装摄像头或使用具有摄像头的使用终端，并通过摄像头模拟用户眼睛实时拍摄现实场景。
或
步骤1.1’：在使用终端安装热成像仪或使用具有热成像仪的使用终端，并通过热成像仪模拟用户眼睛实时拍摄现实场景。
所述步骤2判断现实场景边界在用户视场中的实时位置X的方法1
步骤2.1：通过AR引擎ARFOUNDATION判断现实场景中的平面，并获得现实场景中的水平面和竖直面；
步骤2.2：创建判断边界规则；所述判断边界规原则包括：高于用户的水平面视为边界；位于步骤1所述实时图像边际的竖直面视为边界。
所述步骤2判断现实场景边界在用户视场中的实时位置X的方法2
步骤2.1’：通过点云引擎判断现实场景各位置的纵深信息；
步骤2.2’：创建判断边界规则；创建判断用户活动区域规则；所述判断边界规原则包括：位于步骤1所述实时图像中非用户活动区域的部份为边界。
通过创建判断用户活动区域规则判断边界规则，适用于本发明获得实时图像中边界的所有技术方案，因此不仅限于上述方法2。
《判断用户活动区域规则》如：
规则1：以使用终端为球心，球半径为R的区域为活动区域；
规则2：低于使用终端的所有平面在实时图像中覆盖的区域为活动区域。
所述步骤3使虚拟场景时时覆盖现实场景边界在用户视场中的实时位置X的方法1：
步骤3.1：通过抠图法保留实时图像照片中用户所在指定区域的图像，抠除其它图像；
步骤3.2：将步骤3.1被抠除的图片区域置换为虚拟场景。
所述步骤3使虚拟场景时时覆盖现实场景边界在用户视场中的实时位置X的方法2：
步骤3.1’：使虚拟场遮挡边界区域，而不遮挡活动区域。
进一步的，所述一种AR系统的构建方法还包括：
步骤4：允许现实场景作为一个整体在虚拟场景对应的坐标系内移动；使虚拟场景的不同部份按进程覆盖现实场景的边界，实现视觉效果为：通过用户视场具有现实场景作为一个整体在虚拟场景中移动。
再进一步的 所述步骤4的视觉效果包括：用户在现实场景中自移，现实场景在虚拟场景内公移。
更具体如：采用以下方案
1、通过手机或其它移动终端的摄像头获得现实场景的实时画面，使用ARFOUNDATION获得实时画面中的平面，且获得各水平面Sx；通过手机自带的陀螺仪任意指一个水平面为基准面，并获得现实场景实时画面中各平面相对于基准面的高度hx；通过手机自带的陀螺仪获得手机相对基准面所在高度h1，比手机所在平面低的水平面Sx,各水平面Sx覆盖区域Xy组成的集合X为用户最大活动区域，抠出参与用户所在区域的图像，参与用户可以是1个或多个；使得用户通过AR获得视场至少包括自身所在环境的最大活动区域的图像，
2、针对步骤1获得“用户最大活动区域的图像”与虚拟世界的图像进行叠加，使得用户在体验虚拟世界的同时，能看到自身所在现实的最大活动区域，具体表现在于用户虚拟世界活动过程中，尤其与虚拟世界的人或物互动过程中，可以直观判断自身行动是否可能存在碰撞现实的人或物；也便于用户可以直观感受其他用户就在身旁，如：安全感。
针对以上通过AR技术消除现实场景的边界后与虚拟场景的融合方法，继而使用户获得由消除边界后现实场景向虚拟场景延伸的视场；以下通过在旅游、游戏、教育等应用进一步说明本发明。
实施例2
多组用户异地使用如实施例1所述一种AR系统的构建方法在同一虚拟场景内旅游的应用，
如图1所示第一组用户A、B、C、D共4个人在房间S内，房间S包括地面S2、墙体S1、房顶天花（未画出），并房间内摆放一台外置摄像机T1；
如图4所示第二组用户E、F、G共3个人在房间U内，房间U包括地面U2、墙体(仅画两面墙体)、房顶天花U3（仅画部份天花），并房间内摆放一台外置摄像机T2；
如图2所示，利用实施例1的技术方案，去除用户A、B、C、D视场中就房间S的边界：墙体S1及房顶天花，而在用户视场中保留用户活动区域S2；创建虚拟场景W连接活动区域S2的边际，使用户A、B、C、D均获得其他三个用户及活动区域S2在虚拟场景W内的视觉效果。
本应用具体包括：
1、旅游主题以全家同坐低空飞行器游玩，飞行器就是用户家里某处，如：客厅的沙发；
2、多个家庭参与：每个家庭在虚拟世界中各自为单位，在其它家庭看来就是在设有透明视窗的封闭航行器内的一家子；允许不同家庭在世界中相遇并交互；
2个或多个单位在虚拟世界的距离小于等于指定范围，两个单位的通信装置自动握手，并根据多方的距离由系统自动控制用户听到各方的音量，以仿生现实世界走的够近就能听到对方的声音的效果（同一现实环境内的用户：现实世界以一个整体，计为虚拟世界使坐标系中模块，不在同一现实环境内的用户以相应的模块在虚拟世界中交会并交互）。
3、允许进入虚拟世界的各家庭通过通信工具互动，相互引导，如：分享道路情况，推荐游玩领域；
4、允许现实世界的导游在后面了解各用户在世界中位置，并对其引导、介绍；本方法可适用于虚拟旅游公司构建新生态，使虚拟旅游具有市场生命力，即使虚拟旅游公司通过构建优质的虚拟景区，进行营利性为用户提供旅游服务；相比现实旅游，不仅具有现实旅游的全部优点，同时还具有安全、节省路途、灵活、低成本等无以伦比的优点。
本实施例中，对于任一用户的本地环境在虚拟环境设有两种形态：本地用户视场形态和远程用户视场形态。
图1为房间S内的用户对应本地用户视场形态（上帝视角，也可以第一人称视角），该视场形态为没有边界的图像。
图3为房间S内的用户对应的远程用户视场形态为带视窗的封闭整体（如：飞船）；视窗内的影像为通过本地外置摄像头T1获得影像；是房间U内用户在两房间U和S在虚拟场景W内交会时（如图6所示），看到房间S内用户的影像。
实施例3
一种AR系统的构建方法在游戏的应用，为了便于用户之间互动信息更完整，使用户之间的表情和肢体动作双方都能相互获得，本实施例包括以下步骤：
1）在用户活动空间使用一个或一个以上的摄像头，以采集用户的表情或动作或表情及动作；
或 在用户活动空间使用一个或一个以上的用户动作捕捉装置，以采集用户的表情或动作或表情及动作；
2）以本地用户为中心，对步骤1）中的摄像头获得画面进行抠图，形成远端用户影像，使得在其它用户的观看界面上，显示远端用户影像；远端用户影像的轮廓为所述抠图或经抠图变形获得或对抠图修正获得。在远端的用户看来，本地用户置身于一个透明保护球内。
如：用户X、摄像头X位于环境X，用户X配戴MR装置X；用户Y、摄像头Y位于环境Y，用户Y配戴MR装置Y；摄像头X、MR装置X、摄像头Y、MR装置Y数据连接本发明的同一人机互动系统。MR装置X设有MR装置视频处理器，功能包括：
①接收摄像头X获得画面
②连接摄像头X，使摄像头保持朝向用户X（MR装置X）
③对摄像头X的画面进行抠图处理，并经抠图信息上传至MR装置Y（或经中转发送到MR装置Y）；
本实施例中的摄像头X和/或Y显然可以有一个或多个。
本实施例中的抠图，显然不需要要求精确，如抠图轨迹为一个椭圆，用户的全部或主要肢体或用户可选的肢体均在椭圆内。当然椭图并不是唯一的抠图轨迹，比如还可以是圆或矩形等。
或
3）对所述影像进行裁选，裁选获得图像覆盖异地用户额呈现的躯干（如：以人像为中心，通过抠图获得人像及人像周边一定范围的环境景像，从而减不扣图计算量，同时也不破坏人像的完整性；当然人像不一定是裁选获得画像的中心）。
4）系统识别用户表情或动作或表情及动作；并在其它用户的画面中创建一个虚拟角色，用户表情或动作或表情及动作映射为虚拟角色的表情或动作或表情及动作。
实施例4
一种AR系统的构建方法在教育的应用，
A.通过摄像头获得学生及所在场所的实时图像；
B.对步骤A实时图像对应照片进行抠图，抠图获得学生就所学习对像实施的动作和/或正观注对像；
C.通过摄像头获得老师及所在场所的实时图像；
D.对步骤C实时图像对应照片进行抠图，抠图获得老师就教材实施的动作和/或正观注对像；
E.在学生屏幕上显示步骤B获得其他学生和D获得的老师的视频或照片，使每个学生看到其他学生及老师均与他/她在同一场所的视频效果
F.在老师屏幕上显示步骤B获得所有学生。
综上 本发明的重点在于提供三种技术方案，以实现集成虚拟现实与增强现实的优势，同时相互弥补劣势： （1）通过AR技术就现实场景所获得的视频进行抠图（如：去除边界，具体如：墙壁和天花板），结合虚拟场景的技术（使现实场景成为虚拟场景中的一部份，即虚拟场景为现实场景的外景） 1.1所述抠图用于去掉现实场景的边界，通过虚拟场景衔接没有边界的现实场景，从而极大拓宽用户的视野； 1.2所述抠图用于仅保留用户所需场景 （2）对不同环境下“用户现实场景的抠图”进行拼接，再融合到虚拟场景（各用户所在现实场景均在同一虚拟场景内，各用户所现实场景在虚拟景场中的距离，根据系统需要进行调整，不受真实距离的限制）的技术 将多处用户的现实场景进行抠图，集中在其中一个用户的现实场景（即 其他用户的现实场景都进入某一用户的现实场景）进行拼接的相关技术。