具体实施方式

最基本形式的外科手术培训系统包括外科手术模型、计算机(具有普通的计算机部件，例如包括但不必限于处理器、存储器、输入-输出接口、图形用户接口(GUI))等)、用于接收呈模型提示和/或ID-运动提示和/或静止图片/视频提示形式的数据输入的一个或多个“提示接收器”，以及在计算机处理器上运行的外科手术培训系统软件(“STSS”)。外科手术模型可以是存在于任何动物或人类类型中的任何器官和/或其他解剖部件。提示接收器可包括例如AR头戴式耳机、麦克风、数字相机、数字视频、电子传感器、实时时钟、触摸屏、计算机键盘、操纵杆、鼠标、轨迹球、图像扫描仪、图形板、覆盖键盘中的任何一种或组合。可在同一装置(例如，AR头戴式耳机)上提供多于一种类型的提示接收器。提示接收器将接收到的提示中继到STSS，所述STSS可通过一个或多个外科手术培训会话或模块进行编程。STSS被编程为接收并响应接收到的提示，从而生成适当的输出并且教导外科手术受训者在外科手术模型上执行外科手术。

参考图1，看到外科手术受训者10正戴着增强现实(AR)头戴式耳机12，并且正在外科手术模型14上操作(即，正在执行外科手术培训会话)，所述外科手术模型可具有任何期望的材料(例如，硅树脂、水凝胶等)。AR头戴式耳机12可包括下列一个或多个特征或其等效物，但优选为所有下列特征或其等效物：

带有透视光学器件的1080p DLP投影显示波导

WiFi和蓝牙连接

8兆像素相机

四核ARM CPU

右眼单眼

触觉反馈

语音控制

安卓5 OS

噪声消除麦克风

机载视频录制媒体

AR头戴式耳机12可有线或无线连接到具有图形用户接口(“GUI”)17的计算机，所述计算机可呈运行作为例如下载软件应用程序(“app”)的STSS 19的智能电话的形式。STSS也可远程托管在“云”21中，并且作为软件即服务(SaaS)提供给受训者。可使用任何其他类型的计算机，诸如平板电脑、膝上型电脑、台式电脑、虚拟台式电脑等，STSS可安装在所述计算机上或作为SaaS被访问。STSS 19可被编程来在装置17、监视器13和/或AR头戴式耳机12上向受训者呈现登录屏幕，其中受训者可具有受密码保护的数据文件，所述数据文件将存储受训者的外科手术培训会话数据以用于随后的检索和/或回放。STSS可连接到其他服务器和/或网络(诸如在21b处)，由此受训者的STSS文件可连接到例如在受训者的医学院服务器上托管的受训者的个人学生数据文件。这样，可记录受训者在模拟外科手术培训上花费的时间，以用于受训者的班级学分或其他目的。

STSS 19可被编程为包括不同外科手术培训会话中的一个或多个以供受训者选择，所述选择可通过语音命令或例如经由装置17上的GUI来完成。外科手术培训模型14可包括条形码14a等，所述条形码14a可由通过有线或无线连接而连接到计算机17的单独的条形码扫描仪23a或与计算机17成一体的扫描仪23b(例如，智能手机17上的扫描仪app)或所述计算机17上运行的STSS app来扫描，所述STSS app可操作来读取模型14上的条形码，并且由此标识受训者希望在上面进行培训的外科手术模型解剖类型。被编程到STSS中的每种外科手术模型类型可与受训者相关联并且向受训者显示适合于模型类型的一个或多个外科手术培训会话。例如，模型类型可被标识为肾，并且可在列表中向受训者呈现(例如，在媒体接口17、监视器13和/或AR头戴式耳机12上)匹配的外科手术培训会话选项，例如像(1)肿瘤切除；(2)肾结石去除；(3)血管破裂修复等。受训者可(例如，通过使用图形用户接口(GUI)和触摸屏、键盘或鼠标的手动输入和/或通过视觉方式(例如，眼跟踪)和/或语音命令)选择(输入)期望的外科手术培训会话，并且STSS被编程来通过启动受训者选择的STSS程序的外科手术培训会话来对输入做出响应。根据选择的培训会话，模型的某些传感器特征可由STSS自动激活(但不一定触发)，如下文进一步讨论的。

如上所述，诸如AR头戴式耳机12等提示接收器在外科手术培训会话期间的计算机输入可包括呈模型提示和/或ID-运动提示和/或静止图片/视频提示中的任何一种或组合形式的提示。各种提示输入在经由提示接收器被接收时由STSS进行分析，其中STSS通过生成呈对应的课程内容和/或其他有用信息(例如，检测到外科急症的警告、正在执行不安全的手术、由于违背方案而要遵循的修改或代替方案等)形式的输出做出响应。STSS输出可以期望的格式中的任何一种或组合提供，包括AR头戴式耳机12上和/或单独的视频监视器13上和/或手术培训室中的扬声器15上的音频输出和/或显示。例如，所生成的音频输出可以警报和/或言语教学的形式提供给受训者。这样，在此实施方案中，受训者在培训期间(实时)接收所生成的输出以供他们考虑，使得他们可了解他们的表现是否正确(一般而言，改进需要)和/或要求他们对外科手术方案本身实施改变，以纠正或解决对他们的表现所标识的任何问题。对于每个具体的外科手术培训会话，可将所生成的输出的形式和内容编程到STSS中。内容可呈存储在数据库11中的教育课程的形式。

参考图1B，看到对STSS的输入和所生成的输出的实例，其中受训者的教室课程内容被存储在数据库11中并且可由STSS 19访问。在此实例中，受训者制造了超过外科手术会话的阈值切口深度的切口的提示已经生成并且由STSS接收。STSS被编程来从数据库11生成具体的课程内容作为输出。在此实例中，超过切口深度阈值是与解剖学第2课和外科手段第3课相关的措施。因此，如框25所示，这些内容作为输出提供，并且受训者可在会话期间或会话之后阅读这些课程，以改进切口制造表现。

图1C例示框图，所述框图示出模型类型的扫描标识，其中STSS程序可为模型类型中的每一种提供多个外科手术会话选择。外科手术培训系统可包括两个或更多个模型，其中每个模型是不同的解剖模型类型。因此，软件培训程序可包括与每种模型类型相关的单独的外科手术会话程序。单独的外科手术会话程序还可包括至少两种交替的外科手术会话类型。受训者选择(例如，经由接口17)外科手术会话，并且用于所述模型和外科手术会话的某些传感器被标识为将在所述特定培训会话期间使用的传感器。例如，如果受训者扫描肾模型，则STSS呈现肾模型的可用外科手术会话的列表，在此实例中为“肿瘤切除”或“活组织检查”。受训者选择(例如，经由接口17)模型培训会话，这使STSS启动所选择会话的程序。如上所述，外科手术模型和会话可具有用于特定外科手术模型和所选择会话的一组独特的传感器。在膀胱模型实例中，受训者可选择经尿道切除或取石培训会话。经尿道切除的选择可激活传感器A和D至F(例如，经由传感器的固件(如果存在)使它们通电至“就绪”状态)，因为这些传感器是与执行所述特定外科手术会话相关联的传感器。相反，如果受训者选择取石会话，则激活与所述特定外科手术会话相关联的一组传感器，在此实例中为传感器A至C和E。例如，如果所选择模型是包括乳房、肋骨、肺和心脏模型的胸廓模型，则将向受训者呈现乳房再造和血管成形术的外科手术会话选项。如果受训者选择“乳房再造”，则将激活与所述手术相关联的一组传感器，包括肺传感器D和F以及乳房传感器K至M。相邻模型中的传感器对于指示受训者是否正在错误地侵入相邻模型结构的空间(例如，在对乳房进行作业时穿刺肺)可能很重要。因此，如图1C的框31所示，外科手术受训者已将胸廓(模型类型C)扫描到STSS中，这向受训者提供执行乳房再造或血管成形术的选项。外科手术受训者在框33处选择乳房再造培训会话，这启动STSS的特定培训会话程序。在外科手术培训会话期间，如果受训者错误地切入并穿刺肺，则肺传感器D经由提示接收器向STSS发送信号，并且STSS被编程来通过在肺穿刺的AR头戴式耳机中向受训者提供可呈视觉告警消息形式的输出做出响应，并且需要采取补救措施。STSS还可提供来自数据库11的对应于肺穿刺的课程内容作为输出。输出可以任何期望的格式提供并且在任何媒体上(例如，在监视器13上、在打印机9上打印和/或以数字方式存储在计算机17的存储器中，或者在单独的存储器存储装置(诸如记忆棒7)上，以供受训者随后检索等)。

在图2A和图2B中看到外科手术培训会话的实例，其中在腹腔镜式或机器人外科手术培训会话开始时看到人腹部16的外科手术体模模型。端口位置由附图标号18a至18d指定，并且表示将由受训者在培训会话期间在腹壁(端口)中形成的开口的位置。躯干肚脐或种脐由附图标号20表示，并且提供用于在3D空间中建立模型的总体取向的参考点(基准)。在此外科手术培训会话实例中，受训者由STSS经由AR头戴式耳机12中的音频和/或视觉显示引导和/或由单独的教学(例如，可以言语或书面形式)引导以与肚脐20相邻放置第一种脐端口18a。受训者10可由STSS进一步引导以实现种脐端口18a的恰当布置，所述STSS可被编程来使AR头戴式耳机12叠加端口18a在外科手术模型16上应放置的位置的图像。端口18a的布置使提示(例如，通过检测模型外观、受训者运动、表面或嵌入式传感器的改变)被检测到，从而触发对提示接收器(诸如AR头戴式耳机12)的输入(例如，电子信号)的生成。AR头戴式耳机12(提示接收器)将信号中继到STSS，所述STSS被编程来分析输入并且确定所述输入是否指示受训者执行了端口18a的恰当布置。如果是，则如下面进一步解释的，受训者接着可由STSS指导以将第二端口18b放置在条形码22所指定的位置。尽管为了便于描述在图2B中示出条形码22，但是应理解，可使用可由提示接收器(例如，AR头戴式耳机12)感测到的任何类型的模型提示，所述模型提示对人眼可能可见或可能不可见。此类指示器包括例如隐形油墨，所述隐形油墨可由AR头戴式耳机12检测到，但是受训者即使在戴着AR头戴式耳机12时也检测不到。这可能是期望的，因为这将要求受训者在躯干上找到恰当的端口位置，而无需可通过视觉或其他指示器立即标识。在这种情况下，可通过STSS简单地指导受训者放置第二端口，而无需显示所述第二个端口应当放置的位置。端口位置18b处的不可见模型提示或诸如静止图像/视频提示等其他提示可用于检测受训者是否将端口放置在正确的位置。

如上所述，如果期望向受训者显示恰当的端口位置，则STSS可能产生端口在受训者的AR头戴式耳机中的腹部图像，或者将端口位置的图像覆盖到外科手术模型上。AR头戴式耳机通过诸如表面标记等任何期望的提示(诸如通过扫描条形码22或其他基准(诸如肚脐20))识别端口位置18b的正确位置。同样，这可能与模型中的轻微颜色改变或人可见光谱以外的外加油墨或其他着色剂的使用一样微妙，以防止受训者过分依赖实际手术中可能不会出现的此类标记。

在第二端口18b被正确地放置之后，如由适当的提示所检测到的(所述适当的提示中继它们接收的数据作为对STSS的输入(请参见上面的讨论))，由STSS经由AR头戴式耳机12引导受训者将第三端口18c放置在位置24处，所述第三端口18c可包括可由AR头戴式耳机12检测到的任何期望的形式的提示，包括例如如上所述的模型上的条形码的形式，或者可嵌入或可不嵌入模型(并且因此人眼不可见)中的传感器的形式。传感器(例如，压力传感器)在激活时可生成由AR头戴式耳机12检测到的信号，所述信号向STSS告知第三端口18c已经被恰当地放置，所述STSS被编程来通过向受训者生成指导(例如，通过在AR头戴式耳机12和/或监视器13和/或扬声器15中发出文本和/或言语教学)做出响应，以将第四端口放置在18d处。在完成腹腔镜培训手术(如提示所检测到的)并且将其中继到STSS之后，STSS可指导受训者从模型(例如，模拟肿瘤)中去除标本，并且指导受训者在26处产生切口。

现在参考图3A至图3C，本发明的另一方面可包括使用受训者的进度的图像识别来通过STSS指导外科手术培训会话。在图3A中，呈手术刀30形式的外科器械被示出为在外科手术模型表面32上方(为清楚起见，在图3A至图3C中未示出受训者的手)。AR头戴式耳机12和STSS可被编程来(例如，经由AR头戴式耳机12)接收并且分析(处理)模型表面32、受训者手(未示出)和手术刀30的相对位置数据，并且向受训者提供关于受训者针对手头任务(例如，产生切口以进行肿瘤切除)是否在正确取向上持有手术刀30的信息(输出)。

受训者通过使用手术刀30在模型表面32中切割切口34来进行外科手术模拟会话。AR头戴式耳机和STSS可被编程来基于诸如视觉外观和/或基准参考的提示计算切口34的长度和/或深度。例如，提示可以在模型“皮肤”表面上检测到的1cm方形基准的形式提供，并且其中STSS可被编程来基于切口相对于基准的视觉检测计算距离。另选地，呈电子传感器形式的模型提示可间隔开一定距离，并且按线性或曲线顺序检测到的传感器数量对于STSS可用于计算距离(切口的长度)。

深度(从模型表面到模型主体中的距离)可由视频提示和/或运动提示基于已经延伸到模型的上表面下方或“消失”到模型中的手术刀的数量提供。在这种情况下，手术刀刀片是视觉提示并且由AR头戴式耳机12检测，所述AR头戴式耳机12可检测已经消失到模型中的刀片的百分比并且将其中继到STSS。如果STSS计算出切口34尚未被正确执行(例如，其不满足切口深度的最小编程阈值)，则STSS可被编程来使用此数据计算切口深度，并且向受训者提供适当的教学。

在图3C中，模型表面32可包括模拟体液(诸如模拟血液)，其被放置成使得其可从切口34流动。STSS可被编程来基于例如从模型表面32(例如，肤色)检测到的颜色差异(例如，对于血为红色)来识别此模拟出血36，并且向受训者提供适当的教学，例如像“使用吸力”或“保持压力”。

图4A和图4B例示呈压力传感器38形式的传感器的实例，所述传感器可操作来检测压力，软件编程将所述压力与受训者进度和表现关联。应注意，虽然在此实例中使用了压力传感器，但是应理解，可使用任何类型的传感器，包括例如应变传感器、流量传感器等。例如，受训者的手10a正持有切入模型表面32(图4B)的手术刀30(图4)。在图4A中可看到传感器处于其休眠状态。如图4B可见，传感器38可由压抵其的外科器械检测到，所述传感器38生成使STSS经由AR头戴式耳机或其他HCI(人机接口)向受训者提供某些教学的信号。当受训者经由手术刀30对传感器38施加压力时，传感器38将信号发送到提示接收器，所述提示接收器将信号中继到STSS，从而使STSS生成呈向受训者提供外科手术中的下一组教学形式的输出，例如像呈视觉和/或音频格式的“放置自保持牵开器”。传感器38还可测量由受训者使用手术刀对其施加的力并且将其传输给提示接收器和STSS。STSS可比较从传感器38接收的力值并且将所述值与预设力阈值进行比较。如果感测到的力值在可接受阈值之外，则STSS可通过向受训者生成此信息的输出来做出响应，同时带有关于受训者如何校正和/或改善表现的其他教学的选项。

图5例示根据本发明的实施方案的用于涉及肿瘤切除的外科手术培训会话的外科手术模型的实例。在此实例中，各种传感器被采用来基于感测到的受训者的表现度量来推动受训者课程内容。关于外科手术体模模型40的受训者(未示出)外科手术培训会话引导受训者切除带有供血血管44的肿瘤42。当受训者切除肿瘤42时，血管44被切割，从而释放模拟血液46。模拟血液46开始填充切除腔48，所述切除腔48由传感器50a和50b感测。应注意，传感器可如图所示策略地定位，使得它们可顺序地检测血液填充腔48的量。例如，传感器50a而非传感器50b或50c的触发可指示腔48中“n”立方厘米(“cc”)血液的存在。随着更多的血液进入腔48，传感器50b被触发，其指示“n+1”cc血液的存在。随着更多的血液进入腔48，传感器50c被触发，其指示空腔48中的“n+2”cc血液。可在模型中策略性地放置任何数量的传感器以检测血液量的增加。根据所采用的传感器的类型和感测范围，可选择传感器以便使其仅在与模拟血液物理接触时被激活，或者可每当模拟血液在传感器的预定距离内时被激活，从而警告受训者出血可能会加剧。

可进行STSS编程，使得其基于在具体培训会话或其任何段期间哪一和/或多少传感器被激活和/或传感器的次序来选择信息以提供给受训者。在图5所示的实例中，模拟血液46已经达到传感器50b的水平，这可提示STSS向受训者提供教学以更好地利用吸入管52。如果模拟血液46达到传感器50c的水平，则STSS编程可例如通过提供受训者文本(例如，经由AR头戴式耳机12)和/或语音消息(例如像：“正在发生大量失血——警告麻醉师存在活动性出血。”)向受训者提供教学。海绵51也可被示出为具有传感器53。如果受训者使用海绵51并且在闭合切口时将其留在模型内，则传感器53将向STSS发出信号，所述信号将警告受训者海绵已被留在模型内。STSS还可将与手术中的此错误关联的课程内容从数据库11递送到受训者。

如果模型中存在多个器官，则可在相邻器官内提供传感器以向受训者告知他/她是否损坏或错误地进入了相邻器官的周围空间。例如，如以上参考图1C所讨论的，如果培训会话是关于乳房模型，则肺模型可相对于乳房定位在解剖学上正确的位置。穿刺肺被认为是外科急症。因此，肺可设置有传感器，所述传感器在受训者有意或无意地刺穿肺时激活。在这种传感器激活时，STSS可发出肺穿刺的文本和/或声音警告，同时带有或不带有其他教学以供受训者采取纠正措施。如果要采取纠正措施，则可对这种措施进行分析和定时(例如，通过视频和/或其他提示)，以确定受训者是否根据STSS编程的已接受外科手术纠正措施方案采取措施。

STSS编程可指导受训者在会话期间的任何时间继续培训会话。例如，编程可向受训者提供教学以使用吸入管52和镊子54收回肿瘤42。当受训者使用吸入管52和/或镊子54收回肿瘤时，嵌入在肿瘤42中的压力传感器56可被按压并且因此被激活。STSS编程可包括指示正确的收回压力的阈值压力值。如果基于来自肿瘤压力传感器56的低信号而发生不充分的收回，则STSS可向受训者提供警告，例如，以使用吸入管52执行更多的收回。

此肿瘤切除培训会话可在STSS中进行编程，以要求结扎血管44作为去除肿瘤的手术的一部分。当传感器58感测到阈值压力时，STSS编程将识别血管的结扎。如果缝合线放置在血管44周围但不够紧密，则STSS编程可指导受训者重放或收紧缝合线，以防止例如进一步出血。

图6A和图6B例示旨在用于肾肿瘤切除培训的外科手术体模模型60中提供的模型提示的实例。STSS编程通过(例如，利用形成AR头戴式耳机12的一部分的条形码阅读器或利用诸如图1中所见的23a或23b的单独的条形码扫描仪)扫描条形码62来标识肾肿瘤模型60。条形码62可使STSS编程提供与具体外科手术培训会话(在此实例中为肾肿瘤切除)相匹配的受训者课程内容。应注意，条形码62是模型类型标记的许多可能的实例中的一种(如模型提示)。如上文所讨论的，传感器可检测标记的其他实例包括标记与模型基材和/或油墨或人可见光谱之外的其他着色剂之间的细微颜色差异，以便防止受训者注意到所述标记而可能会在其他方面产生不切实际的培训体检，因为此类标记将不会出现在实际的外科手术中。

可由STSS编程通过肿瘤64与围绕肿瘤64的肾模型基材60之间的感测到的色差来标识模拟的肾肿瘤64及其边界。肾模型60的边缘(在真实的肾中通常被脂肪覆盖)具有独特的标记，所述标记被检测到并且向STSS编程告知肾的这一部分已经暴露。受训者被要求在手术期间评估整个肾，以确保没有遗漏任何病变或其他异常。STSS将指导受训者“揭开”或“暴露”肾，直到STSS编程检测到标记66为止。

在肿瘤64的切除期间，受训者必须标识肾动脉68a和肾静脉68b。STSS编程向受训者提供教学以将临时夹具70仅放置在动脉68a上。如果放置不正确(如由模型提示和/或ID-运动提示和/或静止图像/视频提示中的任一者或多者检测到)，则STSS编程可向受训者提供夹具未恰当放置的指示和/或指导受训者将夹具70移动到正确位置。例如，如果受训者将夹具放置在静脉68b上，则此行为将被检测到(例如，通过放置在静脉68b中或静脉68b上的传感器或通过相机的视觉输入)，并且STSS编程将其标识为医疗急症，因为放置在静脉上将导致肾中有血液流入而无血液流出，从而可能引起肾爆裂。此外，正确的夹具位置垂直于血管，并且夹具的尖端应与血管的边缘交叉。视觉检查(例如，夹具与血管之间的色差)可允许STSS评估夹具相对于动脉的任何重叠和相对定位。

参考图6B，残余的肿瘤由附图标号64’指示。STSS编程可基于诸如与周围区域的剩余颜色差异等视觉数据(例如，静止图像/视频提示)来识别残余的肿瘤64'。然后，STSS编程可指导受训者继续进行肿瘤切除，直到去除所有残余的肿瘤64'为止。在残余的肿瘤64'被完全去除之后，如接收到的提示所识别(例如，在视觉数据中看不到任何剩余颜色差异)，STSS编程可接着指导受训者继续进行培训会话并且移除临时夹具70以恢复流向肾的血流。

图7例示使用易得的机器学习软件来培训STSS的过程。STSS培训是一种脱机过程，其通过以下方式执行：获取感兴趣提示(例如，缝合线质量)以通过使用机器学习软件来标识(例如，缝合质量)以进行图像处理培训。

在图8中，如图7所见生成的预处理图像特性数据由现场可编程门阵列(FPGA)中的多个(通常为数百个)GPU(通用处理单元)和/或多个应用专用数字逻辑元件和/或应用专用集成电路(ASIC)实时用于提供图像是特定对象还是图像特性的可能性的概率估计。这种实时图像处理方法允许使用由STSS解释的提示来标识外科手术进展，并且提供适当的教学以在模拟活动期间提供培训。在此实例中，提示是用户的手，并且器械是提示。分析对象的类型和使用对象的技术两者，然后在认为必要时通过计算机进行校正。

图9是根据本发明的实施方案的使用神经网络培训计算机进行机器和深度学习的流程图。切口间隔用作检测用户技术的实例。第一个框表示对提示接收器的输入(来自AR头戴式耳机视频的图像堆栈)。神经网络基于习得的图像数据库对缝合线样式进行分类，并且确定缝合线之间的间隔距离。将间隔与新手/专家使用数据进行比较，并且输出为表现得分，诸如百分位数。可接受的缝合线间隔和误差的设定阈值接着提示STSS向用户告知缝合线质量和可接受性。

图10是根据本发明的实施方案的使用机器/深度学习的实时对象/信号检测的流程图；

图11例示决策树，所述决策树描绘在多个GPU、ASIC和/或FPGA上并行运行以标识感兴趣区域(AOI)中的“Y”个对象/信号的图9的过程的“N”个实例，所述实例可由STSS用来生成各种系统输出和提示。另外，可对图像进行分类和评分，以用于度量和品质因数。例如，已知诸如缝合线间隔、伤口间隙的属性或其他外科手术属性对于改善外科手术疗效将是期望的。例如，品质因数可以是优秀、良好、中等和差。此处理以帧速率“M”迭代执行，对于模拟图像和/或信号通常以30至100Hz的帧速率运行。在每一帧期间，利用机器学习执行对象检测，之后进行基于检测到的对象来显示/通告教学内容的过程。接下来，对分类的对象和信号印时戳，并且将其存储在数据库中，以进行后期手术教学回放。最后，将运行“时间熔固器”任务，所述任务将占用未使用的处理时间，并且以每秒M帧的速率使处理同步。

图12例示如何在AR头戴式耳机12上呈现教学以提示受训者进行外科手术的下一步。基准和/或条形码用于估计检测到的对象在外科手术视野内的位置。在信号/对象检测阶段期间检测到的对象可覆盖在感兴趣区域的图像上，并且在AR头戴式耳机12上显示，以供受训者10观看。例如，如果外科手术受训者正在学习缝合，则可呈现覆盖，从而显示他们的缝合技术的瞬时得分或品质因数。例如，受训者可通过HCI提供语音提示输入，诸如“使教学推进到下一步”。另外，机器学习还可检测受训者在培训会话的特定阶段是否正在使用正确的器械，并且提示受训者使用正确的器械。

图13例示日志图像/信号，所述日志图像/信号将时戳放在检测到的对象上，并且将所述对象存储在数据库中，以供稍后在回放/汇报模式期间进行检索。

图14例示教学回放模式，所述教学回放模式使用物理模拟器官和时间同步的AR视频/音频/信号从时戳数据库中检索培训会话。可在培训会话的任何部分以与受训者互动的方式开始回放。例如，用户可随意暂停回放，在培训会话期间跳到具体时间，跳到检测到的对象的下一个实例或结束回放会话。报告将在录制/回放会话结束时生成，并且可包括度量、得分和最终报告记录。

尽管已经参考本发明的某些优选的实施方案示出并描述了本发明的设备/方法和系统，但是本领域的技术人员将理解，可在不脱离如所描述的本发明的精神和范围的情况下对形式和细节进行各种改变。