提供增强现实的方法和系统
阅读说明：本技术 提供增强现实的方法和系统 (Method and system for providing augmented reality ) 是由 费尔南多·朱塞佩·阿内洛 卡梅伦·罗伯特·费瑟 于 2019-08-08 设计创作，主要内容包括：提供增强现实的方法和系统。存在：使用操作移动网络应用的用户接口设备对一组标记内的多个框形增强现实标记进行成像，从而生成设定的独特标记图像，每个标记具有在该组标记内唯一的标识符；利用存储的相关联的数据生成多个标记模板；在成像时，经由移动网络应用通过其标识符自动识别特定的框形增强现实标记；在增强现实显示器上自动显示与特定框形增强现实标记相关联的数据，其中所显示的数据与特定框形增强现实标记三维地配准，其中框形增强现实标记包括其上显示的机器可读取向信息。(Methods and systems for providing augmented reality are provided. There are: imaging a plurality of box-shaped augmented reality markers within a set of markers, each marker having an identifier unique within the set of markers, using a user interface device operating a mobile network application, thereby generating a set unique marker image; generating a plurality of markup templates using the stored associated data; upon imaging, automatically identifying, via the mobile network application, a particular box-shaped augmented reality marker by its identifier; automatically displaying data associated with a particular box-shaped augmented reality marker on an augmented reality display, wherein the displayed data is three-dimensionally registered with the particular box-shaped augmented reality marker, wherein the box-shaped augmented reality marker includes machine-readable orientation information displayed thereon.)
相关申请的交叉引用
本发明根据35U.S.C.§120，要求由Fernando Giuseppe Anello等人于 2008年8月8日提交的美国临时专利申请第62/716,306号的优先权，其 全部内容通过引用并入本文中。
技术领域
本发明涉及增强现实，具体涉及通过移动用户设备提供基于标记的增 强现实的方法和系统。
背景技术
增强现实(AR)包括现实世界环境的交互式用户体验，其中，现实 世界环境内的对象或位置通常通过诸如抬头显示器或移动设备之类的可 视接口与计算机生成的感知相关联。AR通常不同于虚拟现实(VR)，其 中，真实世界的体验在VR中基本上被替换，而在AR中，体验以某种方 式被混合在一起。
AR可以用于商业、社交、娱乐、教育和其他场合中，以向用户提供 与现实世界对象、事件和位置相关联的增强信息和/或感知体验。这样可 以增强用户体验以及/或者提供要执行的工作的功效、速度、质量或其他 特性的增加。
AR通常包括某种(通常是网络启用的)用户接口，该用户接口能够 检测何时/何地/什么将被增强，然后触发，由此产生与触发事件/对象/位置 相关联的相关感知体验。这种感知体验可以覆盖在事件/对象/位置上，可 以(在用户的体验中)完全替换事件/对象/位置，或者可以被布置在“附 近”以便增加体验。
这样的系统允许人们利用增强的嵌入信息来创建位置的虚拟旅行。这 样的系统还可以用于通过在工作环境或工作现场内放置关键信息、计划、 指令、变更等来促进构建或其他工作努力。这样的系统可以用在库存管理 系统中以提供增强的指令、补充库存的指导等。这样的系统可以用于社交 场合，以提供关于人员、地点、事件的信息。这样的系统可以用于工厂/ 设施管理/维护，以在设施内的位置处提供关于系统和与其相关联的处理 的实时虚拟信息，其中，可以基于该信息来采取行动。这样的系统可以用 于娱乐活动，以为观众提供更具互动性、信息性和激烈的体验，以及提供 以其他方式不可能或者经济上可行的基于位置的体验。这样的娱乐体验的 非限制性示例包括以下述名称提供的示例：PokemonGo；Ingress；Zombies, Run！；Invizimals；Kazooloo；Harry Potter:Wizards Unite，等等。
在该领域已经进行了一些改进。以下用原文描述与本发明有关的参考 文献的示例，并且每篇参考文献的支持教导通过引用并入到本文中：
Reisner-Kollmann等人的美国专利No.9,607,437教示了用于在开发用 于增强现实(AR)环境的应用时限定未知或未识别的真实对象的虚拟内 容的方法。例如，在开发AR应用时，应用开发者可能不知道移动设备可 以在其中工作的上下文，并且因此不知道真实对象的类型或类别以及AR 应用可能遇到的真实对象的数目。在一个实施方式中，移动设备可以从物 理场景中检测到未知对象。然后，移动设备可以基于与未知对象相关联的 物理属性(诸如高度、形状、大小等)将对象模板与未知对象进行关联。 移动设备可以使用对象模板的至少一个显示属性以未知对象的姿势来呈 现显示对象。
提供了Konertz等人的美国专利申请序列号2011/0,310,227，该申请 教示了利于在增强现实环境中部署媒体内容的方法、设备和系统。在至少 一个实现方式中，提供了下述方法，该方法包括：提取在移动设备的相机 视图中捕获的现实世界对象的三维特征，以及响应于在移动设备处接收到 的用户输入将媒体内容项的呈现区域附加到三维特征的至少一部分。
描述了Mullins的美国专利申请序列号2015/0,185,825，该申请教示了 用于将虚拟用户接口分配给物理对象的系统和方法。在机器处创建物理对 象的虚拟用户接口。训练机器以将虚拟用户接口与物理对象的标识符进行 关联并且跟踪与物理对象相关的数据。相对于物理对象的图像显示虚拟用 户接口。
公开了Hoffman的美国专利申请序列号2015/0,040,074，该申请教示 了能够在用户设备上创建增强现实内容的方法和系统，该用户设备包括数 字成像部、显示器、用户输入部和增强现实客户端，其中，所述增强现实 客户端被配置成使用来自数字成像部的实时图像数据流在用户设备的显 示器上提供增强现实视图。从用户输入部接收用户输入以增强在增强现实 视图中至少部分地在显示器上看到的目标对象。向用户设备的显示部呈现图形用户接口，所述图形用户接口使用户能够创作二维图像的增强现实内 容。
迄今已知的发明具有许多缺点，包括但不限于下述中的一个或更多 个：难以使用、非实时操作/更新、不能实现动作信息、不能动态更新、 不能改进团队协作、未改进任务管理、难以建立、没有持久的标记、具有 复杂的接口、不具有移动友好性、不是平台无关、需要密集的处理器功能、 使用过多的数据、不适合团队、不能立即共享、无法由团队成员更新、无 法提供跨浏览器或跨设备兼容性、需要移动设备的高功耗、无法帮助维持 态势感知、需要大量的屏幕时间、以及/或者无法提供快速标记识别。
所需要的是解决本文所述的一个或更多个问题和/或在熟悉本说明书 后可能引起本领域技术人员注意的一个或更多个问题的系统和/或方法。
发明内容
本发明是响应于现有技术特别是响应于现有技术中尚未通过当前可 用的系统、应用和方法完全解决的问题和需求而开发的。因此，已经开发 了本发明以提供用于提供增强现实的方法、系统和应用。
根据本发明的一个实施方式，存在一种利用移动网络应用通过计算机 化网络提供增强现实服务的方法。该方法可以包括以下步骤中的一个或更 多个：使用操作移动网络应用的用户接口设备对一组标记内的多个框形增 强现实标记进行成像，从而生成设定的独特标记图像，其中每个标记具有 在该组标记内唯一的标识符；自动存储与多个设定的独特标记图像中的每 一个相关联的数据，从而生成多个标记模板；自动存储彼此相关联的多个 标记模板；使用操作移动网络应用的用户接口设备对作为多个框形增强现 实标记之一的特定框形增强现实标记进行成像；经由移动网络应用通过特 定框形增强现实标记的标识符来自动识别特定框形增强现实标记；在增强 现实显示器上自动显示与特定框形增强现实标记相关联的数据，其中，所 显示的数据与特定框形增强现实标记三维地配准，其中框形增强现实标记 包括框形增强现实标记上显示的机器可读取向信息。
标识符可以在系统内不是全局唯一的。所显示的数据可以包括链接至 附加数据的超链接。机器可读取向信息可以包括非对称双色框着色模式。 框形增强现实标记可以包括设置在其上的一个或更多个访问码，并且其 中，自动存储数据的步骤需要来自框形增强现实标记中的至少一个的访问 码。
在本发明的另一非限制性实施方式中，可以存在在移动计算设备上操 作的用于提供基于标记的增强现实的移动网络应用，其可以包括以下中的 一个或更多个：文件输入提交表单，其将文件自动上载至与框形标记相关 联的数据库，框形标记具有设置在其上的机器可读取向信息以及帧标识 符，帧标识符经由视频输入设备扫描、在一组帧内是唯一的但不是全局唯 一的；以及/或者图形用户接口，其在基于标记的增强现实中显示与框形 标记相关联的三维配准的所上载的文件。
所显示的数据可以包括链接至附加数据的超链接。机器可读取向信息 可以包括非对称双色框着色模式。框形增强现实标记可以包括设置在其上 的一个或更多个访问码，并且其中，自动存储数据的步骤需要来自框形增 强现实标记中的至少一个的访问码。
在本发明的又一非限制性实施方式中，可以存在一种用于通过计算机 化网络提供增强现实的系统，该系统可以包括以下中的一个或更多个：多 个分布式标记，其上设置有机器可读取向信息，并且其上设置有机器可读 标识符；操作网络应用的用户接口设备，该用户接口设备具有：视频扫描 仪，其能够捕获视频信息并读取分布式标记的取向信息和标识符；文件输 入提交表单，其将数据与扫描的标记相关联，从而形成关联数据并提交关联数据；和/或增强现实显示器，其以与所捕获的视频数据和可见分布式 标记的三维配准来显示关联数据；和/或后端系统，其存储关联数据，并 且在通过关联数据中包括的标识符查询关联数据时，通过网络向网络应用 提供关联数据。
分布式标记可以是框形的。机器可读标识符可以在一组分布式标记内 是唯一的，但在系统内不是唯一的。机器可读取向信息可以包括不对称标 记着色。数据可以包括从包括图像文件、电子表格和超链接的数据组中选 择的数据。分布式标记可以包括设置在其上的一个或更多个访问码，并且 其中，自动存储数据的步骤需要来自标记中的至少一个的访问码。
在整个说明书中对特征、优点或类似语言的引用并不意味着可以利用 本发明实现的特征和优点中的全部特征和优点应该在或者在本发明的任 何单个实施方式中。而是，指代特征和优点的语言被理解为意味着结合实 施方式描述的特定特征、优点或特性包括在本发明的至少一个实施方式 中。因此，贯穿本说明书对特征和优点以及类似语言的讨论可以但不一定 指代相同的实施方式。
此外，本发明的所描述的特征、优点和特性可以在一个或更多个实施 方式中以任何合适的方式组合。相关领域的技术人员将认识到，可以在没 有特定实施方式的一个或更多个特定特征或优点的情况下实践本发明。在 其他情况下，在某些实施方式中可以认识到附加的特征和优点，这些特征 和优点可能不存在于本发明的所有实施方式中。
根据以下描述和所附权利要求，本发明的这些特征和优点将变得更加 明显，或者可以通过如下阐明的本发明的实践来学习。
附图说明
为了易于理解本发明的优点，将通过参照附图中所示的
具体实施方式
来呈现上面简要描述的本发明的更具体的描述。注意，本发明的附图未按 比例绘制。附图仅是示意图表示，并非旨在描绘本发明的具体参数。应理 解，这些附图仅描绘了本发明的典型实施方式，因此，不应认为是限制本 发明的范围，将通过使用附图以附加的特性和细节来描述和说明本发明， 在附图中：
图1是根据本发明的一个实施方式的提供AR的系统的网络图；
图2是示出根据本发明的一个实施方式的用户接口设备的模块图；
图3是示出根据本发明的一个实施方式的后端系统的模块图；
图4是根据本发明的一个实施方式的标记的正视图；
图5是根据本发明的一个实施方式的标记的正面立体图；
图6是根据本发明的一个实施方式的标记的侧视图；
图7是示出根据本发明的一个实施方式的提供AR的方法的序列图；
图8示出了根据本发明的一个实施方式的移动网络应用的文件输入 提交用户接口的预测视图；以及
图9示出了增强现实显示的预测屏幕截图。
具体实施方式
为了促进对本发明的原理的理解，现在将参照附图中所示的示例性实 施方式，并且将使用特定语言来描述这些示例性实施方式。然而，应该理 解的是，不能因此而意图限制本发明的范围。相关领域技术人员将会想到 的并且拥有本公开内容的、本文所示的发明特征的任何改变和进一步修改 以及本文所示的本发明原理的任何附加应用都应被认为是在本发明的范 围内。
贯穿本说明书，对“实施方式”、“示例”或类似语言的引用意味着 结合该实施方式描述的特定特征、结构、特性或其组合被包括在本发明的 至少一个实施方式中。因此，贯穿本说明书出现的短语“实施方式”、“示 例”和类似语言可以但不一定全部指代相同的实施方式、不同的实施方式 或者一个或更多个附图。另外，对于两个或更多个特征、元素等，对术语 “实施方式”、“示例”等的引用并不意味着这些特征必须相关、不相似、 相同等。
尽管使用表征每个实施方式的类似或相同的语言，但是实施方式或示 例的每种表述被认为独立于实施方式的任何其他表述。因此，在一个实施 方式被标识为“另一实施方式”的情况下，所标识的实施方式独立于以 “另一实施方式”表征的任何其他实施方式。本文中描述的特征、功能等 被认为能够全部或部分地彼此组合在一起，如权利要求和/或技术可能直 接或间接、暗示或明示地指出的。
如本文所使用的，“包含”、“包括”、“含有”、“是”、“特征 在于”及其语法等同物是包含性或开放式术语，这些术语不排除另外的未 列举的元素或方法步骤。“包括”应被解释为包括更具限制性的术语 “由......构成”和“基本上由......构成”。
本说明书中描述的许多功能单元已被标记为模块，以便更具体地强调 其实现的独立性。例如，模块可以被实现为包括定制VLSI电路或门阵列 的硬件电路、诸如逻辑芯片的现成半导体、晶体管或其他分立元件。模块 还可以以例如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等可 编程硬件设备实现。模块也可以以软件实现，以由各种类型的处理器执行。 所标识的可编程或可执行代码模块可以例如包括可以例如被组织为对象、过程或函数的计算机指令的一个或更多个物理或逻辑块。
然而，所标识的模块的可执行代码不需要在物理上位于一起，而是可 以包括存储在不同位置的不同指令，当这些不同的指令在逻辑上结合在一 起时包括所述模块并且实现所述模块的目的。实际上，可执行代码的模块 和/或程序可以是单个指令或许多指令，并且甚至可以分布在几个不同的 代码段上、分布在不同的程序中以及跨几个存储器设备来分布。类似地， 操作数据在本文中可以被标识和图示为在模块内，并且可以以任何合适的形式来体现并且可以被组织在任何合适类型的数据结构内。操作数据可以 被收集为单个数据集，或者可以分布在不同的位置上，包括分布在不同的 存储设备上，并且操作数据可以至少部分地仅作为电子信号存在于系统或 网络上。
本文中讨论的各种系统部件和/或模块可以包括以下中的一个或更多 个：主机服务器、主板、网络、芯片组或包括用于处理数字数据的处理器 的其他计算系统；耦接至处理器以用于存储数字数据的存储器设备；耦接 至处理器以用于输入数字数据的输入数字转换器；存储在存储器设备中并 且可由处理器访问以用于指导处理器对数字数据的处理的应用程序；耦接 至处理器和/或存储器设备以用于显示根据由处理器处理的数字数据得到的信息的显示设备；以及多个数据库，包括存储器设备和/或硬件/软件驱 动的逻辑数据存储结构。
本文中描述的各种数据库/存储器设备可以包括与如本文所述的一个 或更多个模块的一个或更多个功能、目的、预期受益、益处等相关联的记 录或如本领域普通技术人员将认为是本发明的操作中有用的适当和/或类 似的数据的记录。
如本领域技术人员将理解的，本文中讨论的任何计算机可以包括操作 系统，例如但不限于：安卓、iOS、BSD、IBMz/OS、Windows Phone、 Windows CE、Palm OS、WindowsVista、Windows NT、Windows 95/98/2000、 OS X、OS2；QNX、UNIX；GNU/Linux；Solaris；MacOS；等以及通常 与计算机相关联的各种常规支持软件和驱动程序。计算机可以在家庭、工 业或商业环境中用于访问网络。在示例性实施方式中，通过因特网、通过 商业上可购得的网络浏览器软件包(包括但不限于Internet Explorer、 Google Chrome、Firefox、Opera和Safari)进行访问。
本文中可以根据功能块部件、功能、选项、屏幕截图、用户交互、可 选选择、各种处理步骤、特征、用户接口等来描述本发明。本文中这样描 述的部分中的每一个可以是本发明的示例性实施方式中的一个或更多个 模块，即使本文中没有明确地将其命名为模块。应当理解，可以通过被配 置成执行指定功能的任何数量的硬件和/或软件组件来实现这样的功能块 等。例如，本发明可以采用可以在一个或更多个微处理器或其他控制设备 的控制下执行各种功能的各种集成电路部件，例如存储器元件、处理元件、 逻辑元件、脚本、查找表等。类似地，本发明的软件元件可以使用例如但 不限于Eiffel、Haskell、C、C++、Java、Python、COBOL、Ruby、汇编程 序(assembler)、Groovy、PERL、Ada、Visual Basic、SQL存储过程、AJAX、Bean Shell和可扩展标记语言(XML)的任何编程或脚本语言来 实现，其中用数据结构、对象、进程、例程或其他编程元件的任意组合实 现的各种算法。此外，应该注意，本发明可以采用任何数量的常规技术进 行数据传输、发信号、数据处理、网络控制等。此外，本发明可以使用诸 如JavaScript、VBScript等的客户端脚本语言来检测或防止安全问题。
另外，本文中的许多功能单元和/或模块被描述为与其他功能单元、 第三方设备/系统和/或模块“通信”。“通信”是指例如但不限于计算机、 网络、移动装置、程序块、芯片、脚本、驱动程序、指令集、数据库和其 他类型的硬件和/或软件的功能单元和/或模块可以彼此通信的任何方式和 /或手段。一些非限制性示例包括经由以下来传送、发送和/或接收数据和 元数据：有线网络、无线网络、共享访问数据库、电路、电话线、互联网 主干、转发器、网络卡、总线、卫星信号、电信号、电场和磁场和/或脉 冲等。
如本文中所使用的，术语“网络”包括结合了硬件组件和软件组件两 者的任何电子通信装置。根据本发明的各方之间的通信可以通过诸如电话 网络、外联网、内联网、因特网、交互点设备(销售点设备、个人数字助 理、蜂窝电话、自助服务终端等)、在线通信、离线通信、无线通信、应 答器通信、局域网(LAN)、广域网(WAN)、联网或链接设备和/或类 似设备的任何合适的通信信道来完成。此外，尽管本发明可以使用TCP/IP 通信协议来实现，但是本发明也可以使用包括但不限于IPX、Appletalk、 IP-6、NetBIOS、OSI或任何数量的现有或未来协议的其他协议来实现。 如果网络具有公共网络(例如，因特网)的性质，则有利的是，假设网络 是不安全的且对窃听者是开放的。与结合因特网使用的协议、标准和应用 软件有关的特定信息对于本领域技术人员而言通常是已知的，因此，在本 文中不需要详述。参见，例如，DILIP NAIK，INTERNET STANDARDS AND PROTOCOLS(1998)；JAVA 2COMPLETE，各种作者，(Sybex 1999)；DEBORAH RAY AND ERIC RAY，MASTERING HTML 4.0 (1997)；以及LOSHIN，TCP/IP CLEARLY EXPLAINED(1997)，其 内容通过引用并入本文中。
在整个说明书中对特征、优点或类似语言的引用并不意指可以用本发 明实现的所有特征和优点应该在或者在本发明的任何单个实施方式中。确 切地说，指代特征和优点的语言被理解为意味着结合实施方式描述的特定 特征、优点或特性包括在本发明的至少一个实施方式中。因此，在整个说 明书中对特征和优点以及类似语言的讨论可以但不一定指代相同的实施 方式。
此外，本发明的所描述的特征、优点和特性可以在一个或更多个实施 方式中以任何合适的方式组合。相关领域的技术人员将认识到，可以在没 有特定实施方式的一个或更多个特定特征或优点的情况下实践本发明。在 其他情况下，在某些实施方式中可以认识到附加的特征和优点，这些特征 和优点可能不存在于本发明的所有实施方式中。
根据以下描述和所附权利要求书，本发明的这些特征和优点将变得更 加明显，或者可以通过如下文中所描述的本发明的实践来学习。
图1是根据本发明的一个实施方式的提供AR的系统10的网络图。 示出了通过网络12耦接至多个用户接口设备16的后端系统18，其中用 户接口设备16与分布式标记14在功能上通信。所示系统允许用户在真实 世界环境中分发标记，通过其用户接口设备将内容上载到后端系统以将内 容与标记自动关联，然后体验由内容与分布式标记的自动关联生成的AR。 这样的系统可以由多个用户容易且快速地实现，并且可以实时地随时间更 新/自适应调整，并且不需要用户学习编程语言。
所示出的分布式标记提供可视指示符，其可以耦合至真实世界位置/ 对象和/或以其他方式与现实世界事件相关联(例如，附着到对象，但是 隐藏直到特定时刻)，使得系统可以识别并且标识标记，从而触发相关联 的AR操作(例如，通过显示设备显示内容、播放音频、释放气味)。分 布式标记可以包括附接设备，例如但不限于螺钉、夹子、粘合剂、大头钉、 针、拉链等及其组合，以允许它们耦接至现实世界的对象。分布式标记可 以包括视觉上或其他方式可检测的组件，可检测的组件允许通过本文描述 的用户接口设备相对于该可检测的组件的背景来识别该可检测的组件。作 为非限制性示例，标记可以包括形状、颜色、照明等及其组合，其允许(例 如，智能电话的)图像识别系统识别出图像识别系统在其视图中具有标记。 这可以包括允许标记至少在帐户内被唯一地标识的进一步细节，使得用户 接口设备能够识别标记是哪个标记。分布式标记是放置在现实世界中的标 记。
所示出的用户接口设备通过计算机化网络与后端系统通信。用户接口 设备可以包括图形用户接口模块，并且可以包括足以与网络和后端系统通 信的设备和程序，以显示与现实世界内容等相关联的AR内容。通常，用 户接口设备可以是智能手机、个人计算机、AR眼镜、哑终端、平板计算 机等的形式，但也可以考虑其他实施方式。这通常包括处理器、显示设备 (例如，监视器、电视、触摸屏)、音频设备(例如，扬声器、麦克风)、 存储器、总线、用户输入设备(例如，控制器、键盘、鼠标、触摸屏)以 及通信设备(例如，网络卡、无线转发器)，其各自通常通过总线与适合 于其功能的一个或更多个其他设备进行通信。可以存在通过网络与系统通 信的多个和各种这样的图形用户接口模块，其中一些用于用户、商家，其 他消费者、营销商等及其组合。
所示的后端系统允许对AR系统的功能的集中式(或分布式，如果以 分布式方式实现)管理、存储、控制等。后端系统减少用户接口设备的处 理和存储需求并且允许它们跨系统实时共享信息、更新等。
所示的网络提供各种设备、模块和系统之间的通信。网络可以是公共 网络(例如但不限于万维网)或私有网络(例如，公司内联网)。网络可 以通过多种设备和协议来提供，并且可以包括蜂窝电话网络等及其组合。
在一个非限制性实施方式中，存在基于网络的生产率和风险管理工 具，其允许用户创建自己的AR层以用于可共享和可更新的团队协作。相 同的工具可以用于趋势分析，以减少任何过程——尤其是建筑和工业过程 ——中的错误和冗余。
在一个非限制性实施方式中，存在用于渲染显示对象的自动化处理， 该显示对象在其对应的基准标记的3D姿势处被用户输入进行纹理化。在 这种情况下，准备用户输入以对3D对象模板进行纹理化。每组输入与唯 一标识符相关联，该唯一标识符在其自身的组中是唯一的。
在一个非限制性实施方式中，存在基于网络的AR编辑器和显示器， 其具有在一组包括简单标记代码内唯一的物理标记。
在一个非限制性实施方式中，当用户在提交表单中归档之后提交或更 新编辑器时，系统对输入进行样式化并且将输入与特定标记相关联并更新 数据库，使得可以实时更新AR架构。
在一个非限制性实施方式中，存在多个粘合剂AR标记分组，其中分 组内的每个标记在分组内是唯一的，并且分组经由指示符(例如，初始化 编号)相对于彼此唯一。
在一个非限制性实施方式中，存在由AR系统提供的用户接口，其处 理文件输入提交并在AR中自动显示此类文件。
根据本发明的一个实施方式，存在一种利用移动网络应用在计算机化 网络上提供增强现实服务的方法。该方法可以包括以下步骤中的一个或更 多个：使用操作移动网络应用的用户接口设备对一组标记内的多个框形增 强现实标记进行成像从而生成设定的唯一标记图像，其中每个标记具有在 该组标记内唯一的标识符；自动存储与多个设定的独特标记图像中的每一 个相关联的数据，从而生成多个标记模板；自动存储彼此相关联的多个标 记模板；使用操作移动网络应用的用户接口设备对作为多个框形增强现实 标记之一的特定框形增强现实标记进行成像；经由移动网络应用通过其标 识符自动识别特定框形增强现实标记；在增强现实显示器上自动显示与特 定框形增强现实标记相关联的数据，其中，所显示的数据与特定框形增强 现实标记三维地配准，其中，框形增强现实标记包括框形增强现实标记上 显示的机器可读取向信息。
标识符可以在系统内不是全局唯一的。所显示的数据可以包括链接到 附加数据的超链接。机器可读取向信息可以包括非对称双色框着色模式。 框形增强现实标记可以包括设置在其上的一个或更多个访问码，并且其 中，自动存储数据的步骤需要来自框形增强现实标记中的至少一个的访问 码。
在本发明的另一非限制性实施方式中，可以存在在移动计算设备上操 作的用于提供基于标记的增强现实的移动网络应用，该移动网络应用可以 包括以下中的一个或更多个：文件输入提交表单，其将文件自动上载至与 框形标记相关联的数据库中，该框形标记具有设置在其上的机器可读取向 信息以及帧标识符，该帧标识符经由视频输入设备扫描的、在一组帧内是 唯一的但不是全局唯一的；以及/或者图形用户接口，其在基于标记的增 强现实中显示与框形标记相关联的三维配准的所上载的文件。
所显示的数据可以包括链接至附加数据的超链接。机器可读取向信息 可能包括非对称双色框着色模式。框形增强现实标记可以包括设置在其上 的一个或更多个访问码，并且其中，自动存储数据的步骤需要来自框形增 强现实标记中的至少一个的访问码。
在本发明的又一非限制性实施方式中，可以存在一种用于通过计算机 化网络提供增强现实的系统，该系统可以包括以下中的一个或更多个：多 个分布式标记，其具有设置在其上的机器可读取向信息并且具有设置在其 上的机器可读标识符；操作网络应用的用户接口设备，其具有：视频扫描 仪，其能够捕获视频信息并读取分布式标记的取向信息和标识符；文件输 入提交表单，其将数据与扫描的标记相关联从而形成相关联的数据，并且 提交关联数据；以及/或者增强现实显示器，其以与捕获的视频数据和可 见的分布式标记的三维配准来显示关联数据；以及/或者后端系统，其存 储相关联的数据，并且在通过关联数据内包括的标识符查询关联数据时通 过网络向网络应用提供关联数据。
分布式标记可以是框形的。机器可读标识符在一组分布式标记内可以 是唯一的，但在系统内不是唯一的。机器可读取向信息可以包括不对称标 记着色。数据可以包括从包括图像文件、电子表格和超链接的数据组中选 择的数据。分布式标记可以包括设置在其上的一个或更多个访问码，并且 其中，自动存储数据的步骤需要来自标记中的至少一个的访问码。
图2是示出根据本发明的一个实施方式的用户接口设备16的模块图。 示出了与网络应用22进行功能通信的用户接口硬件20，使得网络应用22 可以在硬件20上操作。
示出的用户接口硬件包括显示器、输入设备、通信模块、成像模块和 硬件加速器。因此，用户接口设备可以在显示器上显示3D对象，可以接 收并分析视觉输入数据(例如，真实世界的实时图像或视频)，并且可以 将数据上载至后端系统。网络应用包括用户接口控件、标记标识符、AR 显示模块、编辑器和访问门户。因此，网络应用可以促进用户的AR体验并且使得用户能够编辑/更新用户的AR体验。
所示出的显示器可以包括一个或更多个硬件/软件显示组件，例如但 不限于LED显示器、CRT显示器、投影显示器、显示器驱动器等以及它 们的组合。这样的显示器还可以包括用户接口输入端，例如但不限于触摸 屏等。
示出的输入设备可以包括一个或更多个键盘、触摸屏、鼠标设备、滚 球、光笔等以及它们的组合。
示出的通信模块——例如但不限于网卡、系统总线或无线通信模块— —与计算机化网络进行通信。通信模块向系统的模块和组件以及本文描述 的组件和其他模块提供通信能力，例如无线通信。通信模块提供诸如移动 电话的无线设备与计算机化网络之间的通信以及/或者便于移动设备与本 文描述的其他模块之间的通信。通信模块可以具有驻留在用户的移动设备 或用户的台式计算机上的组件。无线通信模块的非限制性示例可以是但不 限于：在颁发给Hyatt等人的美国专利第5,307,463号中描述的通信模块； 或者在颁发给Fariello等人的美国专利第6,133,886号中描述的通信模块， 这两个专利并入本文中用于它们的支持。
示出的硬件加速器(或GPU)便于在用户接口设备上显示3D图形。 使用定制的硬件逻辑设备的硬件加速器或协处理器可以通过在该设备或 协处理器内实现图形操作来提高图形系统的性能。通常由主机操作系统程 序通过驱动程序来控制硬件加速器。主机操作系统通常通过在系统通电时 对附接至系统的硬件进行调查来进行初始化。硬件驱动表在系统存储器中 被编译，以识别所附接的硬件和相关联的驱动程序。一些操作系统通过输 入所附接的硬件的性能特性来扩展硬件图形加速器的特性。可以存储从特 定硬件加速器可用的各种图形渲染操作的速度和准确度特性。主机操作系 统将附接的硬件加速器的速度和准确度与主机操作系统附带的主机渲染 程序的速度和准确度进行比较。这是针对硬件中可用的每个图形基元完成 的。然后，主机操作系统决定哪些图形基元应该由主机图形渲染程序进行 渲染以及哪些图形基元应该由附接的硬件加速器进行渲染。然后，当应用 要求绘制特定图形基元时，主机操作系统控制是选择硬件加速器还是选择 主机渲染程序以在视频存储器中渲染特定图形基元。
目前存在大量的硬件加速器可用。这些加速器通过使用专用硬件逻辑 或协处理器来加速图形操作的渲染，几乎没有主处理器交互。硬件加速器 可以是简单的加速器或复杂的协处理器。简单的加速器通常加速渲染操作 如线绘制、填充、位块传输、光标、3D多边形等。协处理器除了渲染加 速，还实现多处理，允许协处理器处理一些耗时的操作。
示出的通信模块——例如但不限于网卡、系统总线或无线通信模块— —与计算机化网络进行通信。通信模块向系统的模块和组件以及本文描述 的组件和其他模块提供通信能力，例如无线通信。通信模块提供诸如移动 电话的无线设备与计算机化网络之间的通信以及/或者便于移动设备与本 文描述的其他模块之间的通信。通信模块可以具有驻留在用户的移动设备 或用户的台式计算机上的组件。无线通信模块的非限制性示例可以是但不 限于：在颁发给Hyatt等人的美国专利第5,307,463号中描述的通信模块； 或者在颁发给Fariello等人的美国专利第6,133,886号中描述的通信模块， 这两个专利并入本文中用于它们的支持。
如本文所述，示出的用户接口控件允许用户可选择地向网络应用中提 供输入，并且可以包括用于操作一个或更多个用户输入设备的指令。
示出的标记标识符包括用于从由用户接口设备(例如，由设备的摄像 装置)捕获的视频/图像数据认识和识别标记的指令。标记标识符可以包 括一个或更多个图像识别工具以及一个或更多个图像模板，用于比较所接 收的图像数据以认识和识别他们通过设备“看到”的标记。这可以包括图 像处理工具，例如但不限于滤色器、图像变换工具(例如，各种傅里叶变 换)、图案识别器、OCR工具、形状识别工具等。这样还可以包括图像库 等，可以将所识别的图像与图像库进行比较并进行评分。
示出的AR显示模块显示与真实世界数据相关联的AR数据。通常， 这采取将3D图形对象叠加到来自真实世界的捕获图像数据的实时视频馈 送上的形式。在智能电话的环境中，它可以采用以下形式：将3D对象放 置在智能电话的显示器上显示的来自智能电话的摄像装置的视频馈送的 一部分的顶部上；以及随着智能电话在位置和取向上的变化，移动3D对 象并对3D对象进行重新取向，其中3D对象“被固定”到通过电话的摄 像装置可见的标记。
示出的编辑器包括上载工具和一个或更多个输入提交表单。上载工具 包括通过通信模块与后端系统进行通信以允许数据(例如，2D/3D图像/ 视频文件、文本/数字信息)从用户接口设备被传输到后端系统以从而进 行操纵和存储的软件。输入提交表单包括用户输入位置/窗口，其可以被 标记以识别期望哪种输入(例如，图像标题、描述、特殊指令、与附加信 息的链接、标记id、项目id)。输入提交表单是与后端系统的数据转换协 作生成的，使得由输入提交表单接收的数据将是系统能够使用并且能够被 转换为AR数据库格式的一种格式的数据。提交表单还可以包括不是由用 户专门输入但是可以在别处被获得(例如，该表单可以在对新的分布式标 记成像时出现，并且该标记id可以自动地包括在表单中)的其他数据。
示出的访问门户通过网络提供对后端系统的访问。这可以包括通过特 定协议访问和连接后端系统所必需的登录工具和安全协议。
图3是示出根据本发明的一个实施方式的后端系统18的模块图。示 出了后端系统18，其具有后端系统硬件30以及与后端系统硬件30进行 操作通信的后端应用32。
示出的硬件包括显示器、输入设备、通信模块和渲染模块(包括CPU、 总线等)。因此，示出的后端系统可以由用户(例如，管理员)管理，可 以通过网络进行通信，并且可以向连接的设备(例如，用户接口设备)提 供处理密集的渲染服务。在硬件上运行的后端应用包括AR数据库、数据 转换模块、帐户管理模块、管理模块和标记生成器。因此，后端系统可以以允许其以提供期望的AR体验的方式向连接的用户接口设备服务用户并 且还允许这些用户更新、改变或创建这样的体验而不用必须对其进行编程 或与数据库直接交互的格式存储和访问AR数据。
示出的显示器可以包括一个或更多个硬件/软件显示组件，例如但不 限于LED显示器、CRT显示器、投影显示器、显示器驱动器等以及它们 的组合。这样的显示器还可以包括用户接口输入端，例如但不限于触摸屏 等。
示出的输入设备可以包括一个或更多个键盘、触摸屏、鼠标设备、滚 球、光笔等以及它们的组合。
示出的通信模块——例如但不限于网卡、系统总线或无线通信模块— —与计算机化网络进行通信。通信模块向系统的模块和组件以及本文描述 的组件和其他模块提供通信能力，例如无线通信。通信模块提供诸如移动 电话的无线设备与计算机化网络之间的通信以及/或者便于移动设备与本 文描述的其他模块之间的通信。通信模块可以具有驻留在用户的移动设备 或用户的台式计算机上的组件。无线通信模块的非限制性示例可以是但不 限于：在颁发给Hyatt等人的美国专利第5,307,463号中描述的通信模块； 或者在颁发给Fariello等人的美国专利第6,133,886号中描述的通信模块， 这两个专利并入本文中用于它们的支持。
示出的数据转换模块将用户通过其用户接口设备输入的数据转换和/ 或调整为适于将上载的用户输入关联到AR数据库格式的数据。作为非限 制性示例，这可以包括用于对用于AR的用户输入进行样式化、将元数据 附接至上载的内容等及其组合的脚本。这可以包括基于用户接口模板中的 提供信息的位置根据脚本自动地格式化上载的用户信息，以及/或者可以 包括根据未提供信息的默认格式自动地包括默认信息。这可以包括将文本输入自动地格式化为数字输入或以其他方式改变输入的一个或更多个方 面以与数据如何存储在AR数据库内匹配，使得AR数据库可以利用上载 /改变的用户输入自动更新，使得可以实时地改变与其相关联的用户的AR 体验，而不需要用户能够编程。
作为非限制性示例，用户可以使用通过网络接口提供的上载模板上载 2D图像和链接，使用通过用户接口提供的下拉列表将该2D图像上载到特 定分布式标记。然后，用户可以上载具有与其相关联的文本标题的2D图 像。在接收到2D图像时，数据转换模块可以自动将2D图像转换为3D图 像并将其存储在AR数据库内，并且可以将元标记附加到3D图像文件， 附加的元标记可以包括要与特定链接的分布式标记相关联地显示的3D图 像的默认取向。因此，当同一用户或另一用户使用该特定分布式标记的标 识符查询AR数据库时，他们的用户接口将被馈送位置和取向与和相关账 户相关联的默认取向匹配的与标记相关联的转换后的3D图像。所有这都 是在用户不必了解关于数据库编程的任何东西的情况下完成的。
示出的标记生成器生成标记的可视码和/或帐号，并在帐户中将它们 关联在一起。该操作通常在标记分组的制造阶段完成。然后可以将可视码 打印在空白标记模板上，以供以后使用和分发。标记生成器还可以自动生 成相关联的帐户，或者这些可以稍后在用户首次尝试使用所产生的一个或 多个分组中的标记时生成。
示出的管理模块被配置成向系统的管理员提供管理控制。管理模块被 配置成为系统的各种模块、用户、帐户和/或组件设置和编辑各种参数和 设置(例如，访问/授权设置)。管理模块被配置成通过计算机化的网络生 成和调控每个作者或用户简档或帐户的使用。管理模块的非限制性示例可 以是：如Janssen等人的美国专利公布第2011/0125900号中描述的管理模 块；或者如Beck的美国专利公布第2008/0091790号中描述的管理模块，为了它们支持的教导，将这两个专利并入本文中。
示出的渲染模块准备3D对象模板，例如维度和取向，并且管理与真 实世界环境中显示的特定标记相关联的上载内容的显示位置和取向。这可 以包括控制模块，其向用户接口设备的显示器的模块和组件提供操作指令 和命令。可能存在基于一个或更多个脚本生成3D图像/视频的渲染引擎 (例如，将2D图像投影到薄3D平面的第一表面上)。渲染模块可以自动 生成用于生成的3D对象的3D图像元数据，并将该3D图像元数据与这样 的3D对象相关联地存储。渲染模块还可以向用户接口设备提供关于如何 变换3D对象的显示以与分布式标记的感知取向匹配的显示信息。这可以 通过在2D显示器上显示3D对象中使用的已知的图像矢量显示技术来实 现，并且可以为一个或更多个硬件加速器提供指令，使得那些存在于用户 接口设备上。
示出的AR数据库可以包括与系统的模块和组件进行通信的数据存储 模块。数据存储模块存储系统10的一个或更多个其他模块的数据。数据 存储模块与系统的各个模块和组件进行通信，并且存储通过其传输的数 据。数据存储模块存储通过系统的各个其他模块传输的数据，从而用最新 数据和实时数据更新系统。数据存储模块安全地存储用户数据和产品数据 以及通过系统传输的数据。数据存储模块可以是数据库和/或数据文件的 若干部分，并且包括(一个或多个)存储器存储设备，所述(一个或多个) 存储器存储设备可以是但不限于硬盘驱动器、闪存、光盘、RAM、ROM 和/或磁带。数据库的非限制性示例是：由Filemaker公司制造的Filemaker Pro 11，其地址为Patrick Henry Dr.5261号，圣克拉拉，加利福尼亚，95054。 数据存储模块的非限制性示例可以包括：由Hewlett-Packard公司制造的惠 普存储工作P2000G3模块化智能阵列系统(HP Storage Works P2000G3 ModularSmart Array System)，其地址为汉诺威街3000号，帕洛阿尔托， 加利福尼亚，94304，美国；或者由索尼美国公司(Sony Corporation of America)制造的索尼Pocket Bit USB闪存驱动器，其地址为麦德逊大道 550号，纽约市，纽约州，10022。
帐户管理模块管理各种帐户，并且被配置成管理和存储个人用户信 息、组帐户信息、上载的内容、设置、偏好以及用于AR体验和系统的参 数。帐户管理模块被配置成基于用户输入存储用户元数据和内容。帐户管 理模块的非限制性示例可以是包括关于用户的人口统计信息以及关于与 其相关联的用户的偏好信息的用户帐户。这样的信息可以包括优选的用户 接口显示参数、标记加标记脚本、上载内容的取向和/或出现默认值等及 其组合。这可以实施在数据库或其他数据结构/层级中，使得与每个用户 相关联的数据可以由本文描述的一个或更多个模块使用以及/或者可以由 本文描述的一个或更多个模块改变和/或添加至本文描述的一个或更多个 模块。帐户管理模块的非限制性示例可以是：如美国专利公布第 2003/0014509号中描述的帐户管理模块；或者如美国专利第8,265,650号中描述的管理模块，为了它们支持的教导，将这两个专利并入本文中。
图4至图6示出了根据本发明的一个实施方式的标记的各种视图。示 出了方形标记，该方形标记具有穿过其的显示孔。标记包括不对称的标记， 因此系统可以利用该标记来唯一地识别该标记在真实世界中的相对于其 周围环境的位置和取向。示出的标记还包括初始化指示符，该初始化指示 符帮助用户知道如何操作标记，尤其是当用户对AR设置进行初始化时。 示出的标记包括背面上的粘合剂层，使得可以将标记耦接到各种表面。示 出的标记包括左右对称(但是上下不对称)的双色着色，这提供了机器可 读取向信息，该机器可读取向信息允许系统确定框架在用户接口设备的视 频输入设备的视场内的位置和取向。这允许系统然后在视频数据内生成框 架的三维位置和取向，从而在用户接口正在接收包括视场内的框架的视频 输入时在用户接口的显示器上显示登记的相关联数据(例如，pdf文件、 图像文件、电子表格数据、超链接)。
在操作中，可能存在可以分别与特定账户相关联的标记分组。标记可 以包括在该组的各种标记之间唯一的特定的不对称取向指示符，或者可以 以其他方式包括使得各标记在该组内唯一的标记。与其他组相比，这些标 记可能不是唯一的。因此，可以将一组标记出售给特定用户组，该特定用 户组可以使用看起来与另一个用户组的标记相同的标记，但是基于标记与 哪个账户相关联来进行不同的操作。因此，可以显著降低标记识别的变化和复杂性，并且还可以降低相关联的图像识别的处理要求。
图7是示出根据本发明的一个实施方式的提供AR的方法的序列图。 示出了功能上彼此通信的一组分布式标记14、用户接口设备16和后端系 统18。用户接口设备16能够对分布式标记14进行成像，并且能够通过 网络与后端系统18通信。
在示出的序列中，用户接口设备对分布式标记进行成像70，并且在 用相关联的信息填写上载模板之后，将该上载模板上载72到后端系统。 后端系统将上载信息转换为AR数据库可以使用的形式，从而与成像的分 布式标记相关联地填充AR数据库。然后，用户接口可以之后对相同的标 记进行成像74，并且在查询76后端系统的AR数据库之后向用户接口提 供所需的AR体验。用户接口设备之后可以将修改/附加信息上载78到后 端系统，然后可以将该修改/附加信息转换为AR数据库可用的形式，然后 更新AR数据库以用于将来的AR体验。这可以全部实时完成，而不需要 计算机程序员生成必要的数据集。
图8示出了根据本发明的一个实施方式的移动网络应用的文件输入 提交用户接口的预测视图。示出了帧ID 725，帧ID 725引用在一组1,000 帧(例如帧000至999)内唯一但是对于仅包括三个数字标识符但是超过 1,000帧的系统不是唯一的帧标识符。示出了标记为“标题”的文本框， 在该文本框中用户可以输入要与帧725相关联的标题。示出了被标记为 “注释”的文本框，在该文本框中用户可以输入要与帧725相关联的注 释。示出了上载按钮，在该上载按钮中用户可以在其设备中搜索要与帧 725相关联的文件，然后将该文件上载到与其连接的后端系统，使得当稍 后通过基于网络的移动应用查看帧725并查询后端系统时，可以与帧725 相关联地显示该文件。
图9示出了增强现实显示的预测屏幕截图，该屏幕截图示出了具有分 布式框形标记的树，该分布式框形标记通过用户接口设备与其直视视图成 一定角度地耦接到该树，并且以三维配准在同一显示器上显示PDF文件 的3D图标，该3D图标被设置成距标记前方短距离并且以与框架大致相 同的偏离直视视图的角度设置。
应理解，上述实施方式仅说明了本发明原理的应用。在不脱离本发明 的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的 实施方式在所有方面都应被视为仅是说明性的而非限制性的。因此，本发 明的范围由所附权利要求书而不是前面的描述表示。在权利要求书的含义 和等同范围内的所有变化都被包含在本发明的范围内。
作为非限制性示例，虽然该系统在本文中被描述为：
-基于网络的，即具有网络访问能力的智能手机应用，其替代地可以 是或者也可以是本地应用、本地网络应用和/或对等分布式系统(例如， 加密货币系统)；
-具有特定形状和构造的物理标记，但是应当理解，其形状和构造是 多孔的并且可以包括与所显示的标记不同的形状、构造和相对尺寸，可以 包括各种颜色，甚至可以包括具有关于如何制作标记的指示的标记笔，包 括带有网格阴影框的胶粘纸，或者甚至可以通过喷涂标记模板来放置；
-数据转换可以跳过数据样式化，这可以是良好的数据库管理，但不 是必须使其工作。
此外，示出的系统可以以多种设置实现，包括但不限于以构造、安全 系统来实现以保护对下述的访问：设施、医疗分类情况(例如，在急诊室 中)、第一响应者场所设置、花园或果园中的栽培者、装配线、制造厂、 现场参观、运输设施、公用事业标记、娱乐系统/事件、赌博场所、客户 识别/忠诚度系统、无人机管理、无人机传送系统等及其组合。
因此，尽管上面已经结合目前被认为是本发明最实用且优选的实施方 式的特殊性和细节充分描述了本发明，但是对于本领域普通技术人员来说 明显的是，在不脱离权利要求书中所述的本发明的原理和概念的情况下， 可以进行许多修改，包括但不限于尺寸、材料、形状、形式、功能和操作 方式、组装和使用的变化。此外，认为实施方式可以限于由本文所述的一 个或更多个特征、功能、结构、方法构成或基本上由其构成。