阅读说明：本技术 用于确定响应的反应时间以及使用户界面与正在渲染的内容同步的方法和系统 (Method and system for determining reaction time of response and synchronizing user interface with content being rendered ) 是由 D·C·亨特 C·A·施瑞尔 B·E·玛修 J·C·卢登 M·G·达尔克 B·J·考尔 于 2018-05-01 设计创作，主要内容包括：公开了用于计算从索引记录中发生的索引事件到反应信号的反应时间的示例方法和系统。该示例方法包括：接收计算设备的环境内容的样本；确定环境内容的该样本到与环境内容的该样本匹配的索引记录中的位置标识；基于该位置标识,使该计算设备的用户界面上的内容的显示与该索引记录同步；以及计算该反应时间。该反应信号由该计算设备生成,并且指示用户对该索引事件的响应。(Example methods and systems for calculating a reaction time from an index event occurring in an index record to a reaction signal are disclosed. The example method includes: receiving a sample of environmental content of a computing device; determining a location identification of the sample of environmental content into an index record matching the sample of environmental content; synchronizing display of content on a user interface of the computing device with the index record based on the location identification; and calculating the reaction time. The reaction signal is generated by the computing device and indicates a response of a user to the index event.)

用于确定响应的反应时间以及使用户界面与正在渲染的内容 同步的方法和系统

技术领域

本公开涉及将计算设备上的用户界面与正在渲染的内容同步，以及确定对与正在渲染的内容相关联的内容的选择的反应时间。在一些示例中，来自电视游戏节目的音频可以由计算设备记录，并且用于使计算设备上的用户界面的功能的时序同步，以使用户能够与游戏节目中的选手比赛。

背景技术

游戏节目是选手玩游戏的一种广播、电视或互联网节目，通常确定获奖者并且获得奖励。可以从大量的公共申请人中邀请选手，并且选手可能会与其他玩家或另一队比赛，或者可能只是为了奖励或获得高分而独自参加比赛。

游戏节目的观众或听众经常可以一起玩，并且尝试回答问题并且与选手比赛，尽管从概念上讲比赛只在观众的脑海中。存在一些第二屏幕技术，该技术涉及使用计算设备为电视上的内容提供增强的观看体验，诸如广播内容期间的交互功能，包括在社交网络平台上发布社交媒体。但是，第二屏幕技术的使用仍然不允许观众以逼真的方式与游戏节目中的选手比赛。

发明内容

在一个示例中，描述了一种方法，该方法包括：接收计算设备的环境内容的样本；确定环境内容的样本到与环境内容的样本匹配的索引记录中的位置标识；基于位置标识，使计算设备的用户界面上的内容的显示与索引记录同步；以及计算从索引记录中发生的索引事件到反应信号的反应时间。反应信号由计算设备生成，并且指示用户对索引事件的响应。

又如，描述了一种非暂态计算机可读介质，其上存储有指令，当指令由一个或多个处理器执行时，这些指令使一个或多个处理器执行功能。这些功能包括：接收计算设备的环境内容的样本；确定环境内容的样本到与环境内容的样本匹配的索引记录中的位置标识；基于位置标识，使计算设备的用户界面上的内容的显示与索引记录同步；以及计算从索引记录中发生的索引事件到反应信号的反应时间。反应信号由计算设备生成，并且指示用户对索引事件的响应。

在又一示例中，描述了一种计算设备，该计算设备包括一个或多个处理器，以及存储指令的非暂态计算机可读介质，这些指令在由一个或多个处理器执行时使一个或多个处理器执行功能。这些功能包括：接收计算设备的环境内容的样本；确定环境内容的样本到与环境内容的样本匹配的索引记录中的位置标识；基于位置标识，使计算设备的用户界面上的内容的显示与索引记录同步；以及计算从索引记录中发生的索引事件到反应信号的反应时间。反应信号由计算设备生成，并且指示用户对索引事件的响应。

已经讨论的特征、功能和优点可以在各个示例中独立地实现，或者可以在其他示例中组合，可以参考以下描述和附图来查看其进一步的细节。

附图说明

在所附权利要求书中阐述了认为是例示性示例的特征的新颖特征。然而，当结合附图阅读时，通过参考以下对本公开的例示性示例的详细描述，将最好地理解例示性示例以及优选的使用模式、进一步的目的及其描述。

图1示出了根据示例具体实施的系统100的一个示例。

图2示出了根据示例具体实施的用于执行内容和/或内容样本的位置标识的示例图示。

图3是根据示例具体实施的索引记录的示例时间线。

图4是示出根据示例具体实施的沿索引记录发生的事件的示例时间线。

图5是示出根据示例具体实施的沿索引记录发生的事件的另一个示例时间线。

图6是示出根据示例具体实施的沿索引记录发生的时间事件的示例时间线。

图7A至图7L示出了根据示例具体实施的与索引记录同步的用户界面的示例显示。

图8示出了根据示例具体实施的示例方法的流程图，该方法计算从索引记录中发生的索引事件到反应信号的反应时间。

图9示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图10示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图11示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图12示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图13示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图14示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图15示出了根据示例具体实施的可以与图14的方法一起使用的示例方法的流程图。

图16示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图17示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图18示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图19示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图20示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图21示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图22示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图23示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图24示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

图25示出了根据示例具体实施的可以与图8的方法一起使用的示例方法的流程图。

具体实施方式

现在将在下文中参考附图更充分地描述所公开的示例，在附图中示出了一些但并非全部公开的示例。实际上，可以描述几个不同的示例，并且不应将其解释为限于本文阐述的示例。相反，描述了这些示例，使得本公开为周密且完整的，并且将向本领域的技术人员充分地表达本公开的范围。

在本文所述的示例中，描述了用于在计算设备的用户界面上的内容显示与索引记录同步之后，计算从索引记录中发生的索引事件到反应信号的反应时间的系统、设备和方法。首先，接收计算设备的环境内容的样本，并且确定环境内容的样本到与环境内容的样本匹配的索引记录中的位置标识。位置标识用于将计算设备的用户界面上的内容显示与索引记录同步。随后，计算从索引记录中发生的索引事件到反应信号的反应时间，该反应信号由计算设备生成并且指示用户对索引事件的响应。

示例具体实施包括：计算设备的用户界面启动用于将计算设备与索引记录相关联的游戏体验界面，并且将计算设备与索引记录进行同步使得游戏玩法界面上的显示内容能够跟随索引记录。例如，索引记录可以是索引的电视游戏节目，并且在家中的用户可以观看电视游戏节目并且利用计算设备一起玩。在将游戏玩法界面与电视游戏节目同步之后，计算设备可以向用户提供问题，或者与索引事件相关联的信息，以选择内容作为可能的答案。例如，在用户在计算设备的用户界面上接收到选择之后，提供响应通信，该响应通信指示内容的选择是否与索引事件的答案匹配，或者内容的选择是否为正确答案。

还计算了用户响应的反应时间，并且可用于许多目的以进一步增强用户界面的游戏玩法和功能。在一个示例中，可以将用户的反应时间与选手在游戏节目上花费的反应时间进行比较，以提供对游戏体验的答案。比较的输出可以是确定选手或计算设备的用户中的哪个具有最短的反应时间，以便用户可以在虚拟上或概念上与选手比赛。因此，反应时间指示用户在游戏节目中所花的概念时间量，并且可以与选手进行比较。所描述的示例方法、系统和设备向用户提供了缩略的第二屏幕体验。

现在参考附图，图1示出了根据示例具体实施的系统100的一个示例。虽然图1示出了具有给定配置的系统，但是系统内的组件可以以其他方式布置。该系统包括以任何已知方式渲染和呈现来自媒体流的内容的媒体渲染源102、计算设备104和服务器106。计算设备104可以通过网络105与服务器106通信。

媒体渲染源102可以将媒体流存储在媒体渲染源102上，或者从外部源诸如模拟或数字广播处接收媒体流。在一个示例中，媒体渲染源102可以是广播媒体流(例如，音频和/或视频)和/或其他信息的广播电台或电视内容提供商。因此，媒体流的媒体内容可以包括许多歌曲、电视节目、或任何类型的音频和/或视频记录或其任何组合。媒体渲染源102也可以是任何类型的以记录或现场格式播放音频和/或视频媒体的设备，诸如电视、收音机、计算机等。在另选的示例中，例如，媒体渲染源102可以包括现场表演作为音频源和/或视频源。例如，媒体渲染源102可以通过图形显示器、音频扬声器、MIDI乐器、动画木偶等，或由媒体渲染源102提供的此类呈现的任意组合来渲染或呈现媒体流。

计算设备104包括各自连接到通信总线120的处理器108、通信接口110、数据存储装置112、麦克风114、输出接口116和显示器118。计算设备104还可以包括硬件，以启用计算设备104内部以及计算设备104与其他设备(诸如媒体渲染源102和服务器106)之间的通信。硬件可包括例如发射器、接收器和天线。

计算设备104可以被实现为小外形便携式(或移动)电子设备的一部分，该电子设备诸如移动电话、无线移动电话、个人数据助理(PDA)、平板电脑、笔记本电脑、个人媒体播放器设备、无线网络观看设备、个人头戴式耳机设备、专用设备或包含以上任何功能的混合设备。计算设备104也可以被实现为包括膝上型计算机和非膝上型计算机配置两者的个人计算机。计算设备104也可以是较大设备或系统的部件。

处理器108可以是通用处理器或专用处理器(例如，数字信号处理器、专用集成电路等)。处理器108可以从通信接口110或麦克风114处接收输入，并且根据存储在数据存储装置112中的可执行指令122来处理输入，以生成也可以存储在数据存储装置112中和/或输出到显示器118的输出。处理器108可以被配置为执行可执行指令122(例如，计算机可读程序指令)，该可执行指令存储在数据存储装置112中并且可执行以提供本文所述的计算设备104和/或系统100的功能。尽管在计算设备104中示出了一个处理器，但是在计算设备104中可以包括多个处理器。

通信接口110可以是无线接口和/或一个或多个有线接口，这些接口允许到一个或多个网络或到一个或多个远程设备的短距离通信和长距离通信两者。此类无线接口可以提供一种或多种无线通信协议下的通信，诸如蓝牙、WiFi(例如，电气和电子工程师协会(IEEE)802.11协议)、长期演进(LTE)、蜂窝通信、近场通信(NFC)和/或其他无线通信协议。此类有线接口可以包括以太网接口、通用串行总线(USB)接口或类似接口，以经由电线、双绞线、同轴电缆、光链路、光纤链路或其他物理连接与有线网络进行通信。因此，通信接口110可以被配置为从一个或多个源接收输入数据，并且还可以被配置为向其他源发送输出数据。例如，通信接口110可以通过无线通信或有线通信从媒体渲染源102处接收内容的样本。

计算设备104可以通过通信接口110从媒体渲染源102处接收由媒体渲染源102渲染的内容的样本或媒体流的渲染。在一个示例中，通信接口110可以包括天线，在这种情况下，媒体渲染源102可以向计算设备104无线广播媒体流。然而，根据媒体流的形式，媒体渲染源102可以使用无线或有线通信技术来渲染媒体。在其他示例中，通信接口110可以包括麦克风、摄像机、振动传感器、无线电接收器、网络接口等中的任一个。可以对通信接口110进行预编程，以在没有用户干预的情况下连续捕获媒体样本，诸如记录所有接收到的音频并且将记录存储在数据存储装置112的缓冲区中。缓冲区可以存储多个记录或样本，或者可以在有限的时间内存储记录，使得计算设备104可以以预先确定的间隔记录和存储记录，例如，或以某种方式使得可以向后追溯一定长度的历史以进行分析。在其他示例中，媒体样本的捕获可以由用户激活按钮或其他应用程序以触发样本捕获而引起或触发。

麦克风114可以为计算设备104记录音频样本。例如，麦克风114可以记录计算设备104的环境音频的样本，并且将该样本发送到处理器108。

输出接口116可以类似于通信接口110，并且可以包括天线以向其他设备发送信息。输出接口116还可包括用于连接有线传输接口的任意数量的端口。

显示器118可以是数字显示器和/或触摸屏显示器。显示器118可以接收处理器108的输出，以在显示器118上显示图形用户界面(GUI)或用户界面119。处理器108可以执行可执行指令122，以创建数据布局以及显示器118上的用户界面119的附加功能。用户界面119可以是标准类型的用户界面，该标准类型的用户界面允许用户与除了文本之外还使用图形图像来表示用户可用的信息和动作的计算设备104交互。例如，可以通过直接操纵图形元素来执行动作，这些图形元素包括窗口、按钮、菜单和滚动条。

数据存储装置112可包括或采取一种或多种可由处理器108读取或访问的计算机可读存储介质的形式。计算机可读存储介质可以包括易失性和/或非易失性存储部件，诸如光学、磁性、有机或其他存储器或磁盘存储，其可以全部或部分地与处理器108集成。数据存储装置112被视为非暂态计算机可读介质。在一些示例中，可以使用单个物理设备(例如，一个光学、磁性、有机或其他存储器或盘存储单元)来实现数据存储装置112，而在其他示例中，可以使用两个或更多个物理设备来实现数据存储装置112。

因此，数据存储装置112是非暂态计算机可读存储介质，并且可执行指令122被存储在其上。指令122包括计算机可执行代码。当指令122由处理器108执行时，使处理器108执行功能。此类功能包括接收计算设备104的环境内容的样本，将内容的显示与索引记录同步，以及计算从索引记录中发生的索引事件到反应信号的反应时间，如下文更全面地描述。

输出接口116将信息输出到显示器118或其他部件。因此，输出接口116可以类似于通信接口110，并且也可以是无线接口(例如，发射器)或有线接口。

图1中的系统100还包括计算设备104可以经由无线或有线链路耦接到的网络105(例如，互联网、蜂窝网络、Wifi网络等)。服务器106也耦接到网络105，并且服务器106包括耦接到数据存储装置126的一个或多个处理器124。服务器106的处理器124和数据存储装置126可以类似于计算设备104的处理器108和数据存储装置112。

服务器106可以被配置为索引由媒体渲染源102渲染的媒体内容，并且对索引的内容记录执行内容的样本的位置和/或内容标识。例如，数据存储装置126包括用于执行内容样本的内容标识130的可执行指令128。内容标识130的功能可以包括参考媒体搜索引擎132以搜索索引记录的数据库134，例如，以将内容样本与所存储的信息进行比较，以便对与周围内容样本匹配的索引记录进行比较。数据库134可存储包括用于识别内容样本的信息的索引记录。索引记录可包括媒体记录，诸如音乐、广告、铃声、电影、纪录片、电视和广播节目。每个记录可以由唯一的标识符(例如，sound_ID或program_ID)来识别。另选地，数据库134可以不必为每个索引记录存储音频或视频文件，因为ID可以被用来从其他地方检索文件。数据库134还可附加地或另选地将用于多个索引记录的表示存储为单个数据文件，其中所有索引记录首尾相连，例如，在概念上形成单个媒体内容记录。数据库134可包括其他信息(除了媒体记录之外或不包括媒体记录)，诸如参考签名文件，其包括功能的时间映射集合，该集合描述具有与索引记录的时间线对应的时间维度的索引记录的内容，并且每个特征可以是每个映射的时间点附近的内容的描述。

数据库134还可以包括或存储每个索引记录的信息。例如，元数据可以与每个索引记录一起存储，该索引记录指示有关记录的信息，诸如记录的长度、记录的日期和时间、捕获记录的位置(例如，地理坐标或描述性位置，如咖啡店)、记录的名称或任何其他标识或与记录有关的信息。例如，在其中索引记录为电视游戏节目的示例中，附加信息可包括选手提问的副本或游戏玩法的信息、游戏玩法的答案、选手在游戏节目中回答问题所花费的时间或与游戏玩法有关的其他信息。

数据存储装置126还包括用于执行内容样本的位置标识的可执行指令128。例如，位置标识指示到获取内容样本的索引记录中的偏移。

在示例操作中，计算设备104可以捕获计算设备104的环境内容的样本。在计算设备104接近媒体渲染源102的情况下，环境内容的样本将包括由媒体渲染源102渲染的媒体的样本。计算设备104可以通过网络105将环境内容的样本发送到服务器106，以确定环境内容的样本到与环境内容的样本匹配的索引记录中的位置标识。环境内容的样本可作为查询从计算设备104发送至服务器106。响应于从计算设备104处接收到的查询，服务器106识别位置标识，并且将位置标识的信息返回给计算设备104。

随后，基于位置标识，计算设备104使计算设备104的用户界面119上的内容的显示与索引记录同步。另外，可以由计算设备104和/或服务器106计算从索引记录中发生的索引事件到反应信号的反应时间。反应信号由计算设备104生成，并且指示用户对索引事件的响应。

一般来讲，计算设备104和/或服务器106可以执行功能，如本文所述，包括内容标识以确定样本自身中的内容的身份或环境内容的样本的位置标识。因此，系统100的功能可以由服务器106执行，该服务器可以从计算设备104处接收计算设备104的环境内容的样本以进行处理。

在其他示例中，系统100的功能可以由计算设备104完全执行，该计算设备记录环境内容的样本，并且确定环境内容的样本到与环境内容的样本匹配的索引记录中的位置标识。就这一点而言，计算设备104可以在数据存储装置112内或其他地方包括数据库136，用于存储索引记录。然后，处理器108可以访问数据库136以确定位置标识，并且例如还基于环境内容的样本与存储在数据库136中的索引记录的比较，识别与环境内容的样本匹配的索引记录的身份。数据库136可以类似于服务器106的数据库134，或者可以存储例如随时间推移接收的有限数量的索引记录。

在另外的示例中，本文描述的一些功能可以由计算设备104执行，并且一些功能可以由服务器106执行。

如所提及的，计算设备104和/或服务器106接收计算设备的环境内容的样本，并且确定环境内容的样本到与环境内容的样本匹配的索引记录中的位置标识。位置标识是到获取样本的索引记录中的偏移。例如，偏移指示样本到索引记录中的时间位置(T_S)。在一些示例中，时间位置(T_S)还可以是从索引记录的开始起实耗的时间量。例如，索引记录可以是电视节目，并且时间位置(T_S)可以对应于计算设备104捕获环境内容的样本的节目的实耗的时间量。

计算设备104和/或服务器106还可以对接收到的样本执行内容标识。内容标识识别媒体流，或识别关于或与媒体样本有关的信息。例如，内容标识可以指示样本与之匹配的索引记录的身份，并且提供有关索引记录的信息，包括曲目名称、艺术家、专辑、艺术作品、传记、唱片、演唱会门票、电视节目、电视节目的主持人等。

许多示例技术可用于执行环境内容样本的内容标识和位置标识。例如，对于媒体或音频内容标识(例如，音乐和电视)，已知各种内容标识方法，用于使用已知媒体的数据库来执行媒体样本和媒体样本的特征的计算内容标识。以下美国专利和出版物描述了媒体识别技术的可能示例，并且每个专利的全文都以引用方式并入本文，就如同在本说明书中进行了全面阐述一样：Kenyon等人，美国专利No.4,843,562；Kenyon，美国专利No.4,450,531；Haitsma等人，美国专利申请公布No.2008/0263360；Wang和Culbert，美国专利No.7,627,477；Wang、Avery、美国专利申请公布No.2007/0143777；Wang和Smith，美国专利No.6,990,453；Blum等人，美国专利No.5,918,223；Master等人，美国专利申请公布No.2010/0145708。

作为内容和位置标识功能的一个示例，通过生成等效指纹之间的对应关系来定位具有最大数量线性有关对应关系的索引记录，可以将接收到的内容样本的指纹与索引记录的指纹进行匹配，或者其特征指纹的相对位置与索引记录的相同指纹的相对位置最接近的匹配。

每个指纹都在给定时间发生，因此在将索引记录与样本之间的指纹进行匹配之后，(样本中的匹配指纹中的)第一指纹与索引媒体记录的第一指纹之间的时间差将是样本的时间偏移，例如到索引记录中的时间量。在一些示例中，然后可以识别匹配的索引记录的声音或节目标识符，以确定内容样本的身份以及内容样本到所识别的索引记录中的偏移。

图2示出了根据示例具体实施的用于执行内容和/或内容样本的位置标识的示例图示。相对于图2示出和描述的功能可以由计算设备104和/或服务器106实现。因此，图2所示的部件可以被包括在计算设备104和/或服务器106内。另外，图2中所示的部件可以用处理器执行指令以执行所描述的功能来实现。

首先，将内容样本输入到指纹提取器140，该指纹提取器计算媒体记录的特征或指纹。示出了样本的dB(幅度)随时间变化的示例图，并且该图示出了样本中已识别的地标位置(L₁至L₈)的数量。

样本内计算指纹的特定位置可能取决于样本中的可重现点。此类可重复计算的位置称为“地标”。一种称为Power Norm的地标技术是计算记录中许多时间点的瞬时功率并且选择局部最大值。一种方法是通过直接对波形进行整流和滤波来计算包络。另一种方法是计算信号的希尔伯特变换(正交)，并且使用希尔伯特变换和原始信号的幅度平方和。也可以使用用于计算地标的其他方法。

一旦确定了地标，就在记录中的每个地标时间点处或附近计算指纹。指纹通常是概括在地标时间点处或附近的记录中的特征或一组特征的值或一组值。在一个示例中，每个指纹是单个数值，其是多个特征的散列函数。指纹的其他示例包括频谱切片指纹、多层指纹、LPC系数、倒频谱系数和频谱图峰的频率成分。在一个示例中，为了生成频谱切片指纹，在每个地标时间点的附近执行频率分析以提取顶部的几个频谱峰。然后，指纹值可以是最强频谱峰的单个频率值。有关计算音频样本的特征或指纹的更多信息，请参阅美国专利No.6,990,453，该专利的全部公开内容以引用方式并入本文，就如同在本说明书中进行了全面阐述一样。

指纹提取器140可以生成一组指纹，每个指纹具有对应的地标，并且将用于内容样本的指纹/地标对分别提供给计算设备104和/或服务器106的数据存储装置112/126。例如，可以为内容样本确定指纹和地标对(F₁/L₁、F₂/L₂、…、F_n/L_n)。指纹和地标对可以在数据存储装置112/126中表示为密钥-值对，其中密钥是指纹，并且值是对应的地标。

在对内容样本进行索引之后，然后计算设备104和/或服务器106使用索引样本来与存储在数据库134/136中的索引记录进行比较，以识别哪个索引记录具有与任何索引样本匹配的部分。可以以与生成记录的指纹和地标对并且将其与唯一的标识符(例如，sound_ID或program_ID)一起存储的相同方式对索引记录进行索引。

因此，计算设备104和/或服务器106将样本的指纹和地标对与索引记录的指纹和地标对进行比较以识别匹配。为了识别匹配，通过在等效指纹(或基本上等效的指纹)之间生成对应关系来定位具有多个与样本线性相关的对应关系的索引记录，可以将样本的指纹与索引记录的指纹进行匹配，或者其特征指纹的相对位置与样本相同指纹的相对位置最接近的匹配。

参考图2，其示出了根据示例具体实施的样本的地标和索引记录的散点图142，在该索引记录处指纹匹配(或基本匹配)。在生成散点图142之后，可以识别地标对之间的线性对应关系，并且可以根据线性相关的对的数量对集合进行评分。例如，当可以在允许的公差范围内用实质上相同的线性方程式描述统计上显著数量的对应样本位置和索引记录位置时，可能会出现线性对应关系。

在一个示例中，可以生成样本的指纹/地标对与索引记录的匹配的偏移值的直方图148。偏移值可以是样本与指纹匹配的索引记录之间的地标时间位置的差异。因此，偏移指示样本匹配的索引记录中的位置。图2示出了偏移值的示例直方图148。具有直方图的峰的偏移值(例如，图2中的评分＝28)是获胜时间偏移，其指示用于匹配样本的时间偏移。可以以这种方式处理每个样本以执行位置标识并且生成时间偏移。

根据样本的类型，也可以执行其他形式的媒体样本比较。例如，视频识别算法可以用于识别视频流(例如，电影)内的位置。示例视频识别算法在Oostveen，J.等人的“FeatureExtraction and a Database Strategy for Video Fingerprinting”，Lecture Notes inComputer Science，2314，(2002年3月11日)，第117至128页中进行了描述，该专利申请的全部内容以引用方式并入本文例如，可以通过确定标识了哪个视频帧来导出视频样本到视频记录中的位置。为了识别视频帧，可以将媒体样本的帧划分为行和列的网格，并且对于该网格的每个框，计算像素的亮度值的平均值。可以将空间滤波器应用于计算出的平均亮度值，以得出网格的每个框的指纹位。指纹位可用于唯一地标识帧，并且可与包括已知媒体的数据库的指纹位进行比较或匹配。从帧中提取的指纹位可以称为子指纹，并且指纹框是来自连续帧的固定数目的子指纹。使用子指纹和指纹框，可以执行视频样本的标识。基于媒体样本所包括的帧，可以确定到视频中的位置(例如，时间偏移)。

此外，还可以执行其他形式的内容和/或位置标识和匹配，诸如使用水印方法。例如，在索引记录和相关联样本可能有间隔地嵌入水印的情况下，可以使用水印方法确定时间偏移，并且每个水印可以直接或经由数据库查找间接指定水印的时间或位置。如果索引记录包括直接或间接指示时间或位置偏移值的嵌入水印，则计算设备104可以确定样本到索引记录中的时间偏移。

在示例内，一旦确定了环境内容的样本到索引记录中的位置标识，就可以在位置标识的偏移处将计算设备104的用户界面119上的内容显示与索引记录同步。例如，参考图1，处理器108可以从数据存储装置112处检索或从服务器106处接收待在显示器118的用户界面119上显示的内容，并且将内容同步到媒体渲染源102正在渲染的索引记录的播放。随后，可以计算从索引记录中发生的索引事件到反应信号的反应时间。反应信号由计算设备生成，并且指示用户对索引事件的响应。

图3是根据示例具体实施的索引记录的示例时间线。索引记录示出为在整个索引记录中的时间点具有索引事件。例如，索引事件发生在时间点T_e1、T_e2、…、T_en。索引记录中可以包括任何数量的索引事件。

索引记录可以被预先索引并且存储在计算设备104和/或服务器106上，并且可以手动编码索引事件以与索引记录中的特定时间点相关联。

在一个示例中，索引记录是记录的游戏节目，并且其使用指纹和地标对进行索引，以用于如上所述的内容和位置标识。然后，索引记录具有在相关时间点与索引记录相关联的索引事件。索引事件可以引用游戏玩法开始或发生的游戏节目中的时间点。例如，在游戏节目中，主持人向选手提问，索引事件是指记录游戏节目中主持人何时开始提问的时间点。这样，通过使与游戏节目相关联的内容的显示在计算设备104的显示器118的用户界面119上同步，用户可以在家里与选手一起玩。

在其他示例中，索引事件可以触发用户界面119的功能。例如，在索引记录中遇到索引事件时间点时，计算设备104可以使与索引事件相关联的信息提供给计算设备104的用户界面119。当索引记录包括游戏节目，并且索引事件包括游戏节目的游戏玩法时，则与索引事件相关联的信息可以包括提供对游戏节目的游戏玩法的可能答案。计算设备104的用户可以在电视上观看游戏节目，然后在他们的计算设备104上一起玩。因此，在呈现可能的答案之后，计算设备104的用户界面119可以接收从可能的答案中的内容选择，并且计算设备104生成反应信号。随后，计算从索引记录中发生的索引事件到反应信号的反应时间。这可包括确定索引事件发生与接收到对内容的选择之间的时间量。例如，反应时间可以量化用户回答问题或完成游戏节目中的游戏玩法实例所花费的时间。

图4是示出根据示例具体实施的沿索引记录发生的事件的示例时间线。在图4所示的示例中，用户可以打开电视并且开始观看游戏节目。游戏节目是图4中所示的索引记录。用户可以利用计算设备104来捕获环境内容的样本的记录，该环境内容的样本将记录游戏节目的样本。如上所述，然后计算设备104执行查询150以确定环境内容的样本到游戏节目中的的位置标识。查询150可以具有相关联的发生时间戳152，并且位置标识如上所述确定偏移154。然后，基于位置标识，将计算设备104的用户界面119上的内容显示同步到游戏节目。在用户界面119上显示的内容的数量和类型可以不是游戏节目本身，而是包括与游戏节目的游戏玩法期间相关联或在游戏玩法期间使用的信息。

在索引记录中的某个时刻，发生了索引事件156。此时，用户界面119显示与游戏节目的游戏玩法相关联的信息，并且用户进行选择，此后引起反应信号158的发生。例如，该信息可以显示在触摸屏上，并且可以通过在触摸屏上按下答案/按钮来进行选择。因此，反应信号158具有相关联的时间戳160。然后，计算从索引记录中发生的索引事件156到反应信号158的反应时间162。

在一个示例中，为了计算反应时间162，首先，确定反应信号158(或反应信号158的时间戳160)与记录和查询环境内容样本的时间戳152之间的实耗时间164。随后，将偏移154添加到获取样本是实耗时间的索引记录中，以确定节目偏移166。最后，从节目偏移166中减去发生索引事件156的时间，以确定反应时间162。该计算如下所示。

答案按钮按下时间戳–初始时间戳＝实耗时间

偏移+实耗时间＝节目偏移

节目偏移–事件时间＝反应时间

图5是示出根据示例具体实施的沿索引记录发生的事件的另一个示例时间线。如图5所示，作为计算反应时间162的另一种方法，最初可以在发生索引事件的时间168处启动定时器，并且在收到反应信号158时停止170。计算设备104和/或服务器106可以操作定时器功能。然后，定时器的实耗时间时间是反应时间162。

一旦计算出反应时间162，就可以发生计算设备104和/或服务器106的许多后续动作和功能。例如，用户界面119可以接收对反应信号的响应通信，该响应通信指示内容的选择是否与索引事件的答案匹配。又如，用户界面119可以接收对内容选择的响应通信，该响应通信指示与索引事件的答案匹配的内容的正确选择。

图6是示出根据示例具体实施的沿索引记录发生的时间事件的示例时间线。如图所示，事件在某个时间点发生，并且计算出反应时间(T_rt)。类似地，电视上的游戏节目中选手的反应时间也可以确定为T_c1、T_c2、…、T_cn或对其进行索引。然后，计算设备104和/或服务器106可以将计算设备104的用户的反应时间与选手为提供游戏玩法的答案所花费的反应时间T_c1、T_c2、…、T_cn进行比较，并且可以确定选手或计算设备104的用户中的哪个具有最短的反应时间。例如，该比较可以用于评分目的或在用户界面119上向用户奖励积分。

在一个示例中，游戏玩法可以包括多回合提问，并且最后一回合可以包括成为游戏节目上的选手的计算机/机器，其将具有相关联的反应时间T_cc。当计算机编程的设备充当选手时，计算设备104和/或服务器106可以将计算设备104的用户的反应时间与计算机编程的设备为游戏玩法提供答案的反应时间进行比较，并且确定计算机编程的设备或计算设备的用户中的哪个具有最短的反应时间。

在图6所示的示例中，用户的反应时间比选手1、2、…、n快，但是比选手计算机的反应时间慢。

附加的时间事件可包括在T_to发生的失败/超时事件。可以将反应时间与失败/超时事件时间进行比较，并且在反应时间长于失败/超时事件时间时，可以在用户界面119处接收指示在指定的时间段内未能提供正确答案的响应通信。例如，基于在默认时间跨度内从与索引事件相关联的信息中未接收到对内容的选择，在计算设备104的用户界面119处接收响应通信，该响应通信指示与索引事件的答案匹配的内容的正确选择。

在又一个示例中，如果在游戏节目的选手提供游戏玩法的答案之前未收到反应信号，则计算设备104的用户界面119可以接收响应通信，该响应通信指示与索引事件的答案匹配的内容的正确选择。此处，如果选手在计算设备104的用户之前回答，则该用户可能超时。

图7A至图7L示出了根据示例具体实施的与索引记录同步的用户界面119的示例显示。在图7A中，用户界面119在计算设备104执行初始查询之后显示***页面。此处，通过计算设备104记录电视上正在播放的游戏节目的环境内容的样本来执行初始查询，并且确定内容和/或位置标识以识别该节目。然后，用户界面119与游戏节目相关联以显示对应的内容。该内容可以从服务器106处接收和/或从计算设备104的数据存储器112处检索。用户可以选择“怎么玩”来查看说明卡，然后选择“开始游戏”以发起游戏体验。

在图7B中，用户界面119示出了包括用于玩游戏的指令的说明卡。在图7C中，用户已经开始游戏，并且落在类别/回合卡上并且可以通过选择“开始回合1”来开始回合。

现在，用户界面119与索引记录的游戏玩法同步，并且在发生索引事件时，将用于显示的信息提供给用户界面119。例如，该事件可以包括播放歌曲，并且选手被要求命名歌曲的歌名。因此，在发生索引事件时，用户界面119接收用于显示的内容的选择。在图7D中，内容的选择被示出为由用户界面119显示。用户一边看电视一边收听正在播放的歌曲，试图通过选择来猜测歌曲的歌名。在图7E中，用户界面119被示出为被用户的选择锁定，并且该界面被锁定直到在游戏节目中揭示正确答案为止。

在图7F中，如果用户选择正确的答案，并且示出了动画并且将分数添加到他们的评分中，则用户界面119显示该说明。在图7G中，如果用户选择不正确的答案，并且示出了动画并且不将分数添加到他们的评分中，则用户界面119显示该说明。

对于图7A至图7L所示的示例游戏，在每个类别结束时，将提示用户回答定时问题，以击败计算机编程的选手。在图7H中，用户界面119显示定时问题的示例说明。

在图7I中示出了用户界面119，该用户界面示出了用户选择正确答案并且击败计算机编程的选手的结果。用户界面119将显示动画并且添加对应的分数，以及示出用户的反应时间和计算机编程的选手所花费的时间。

在图7J中示出了用户界面119，该用户界面示出了用户选择正确答案但未击败计算机编程的选手的结果。用户界面119将显示动画并且不添加对应的分数，以及示出用户的反应时间和计算机编程的选手所花费的时间。

在图7K中示出了用户界面119，该用户界面示出了用户选择定时问题与计算机编程的选手比赛的不正确答案的结果。用户界面119将显示动画而不添加对应的分数。

在图7L中示出了用户界面119，该用户界面示出了例如每一回合每个类别中所有歌曲的回顾。

图8示出了根据示例具体实施的示例方法的流程图，该方法计算从索引记录中发生的索引事件到反应信号的反应时间。例如，图8所示的方法200呈现了可以与图1所示的系统100或图1所示的计算设备104和/或服务器106一起使用或由其执行的方法的实施方案。此外，可以使用设备或系统或将其配置为执行图8中所示的逻辑功能。在一些实例中，设备和/或系统的部件可以被配置为执行功能，使得部件被实际配置和构造(利用硬件和/或软件)以实现此类性能。在其他示例中，设备和/或系统的部件可以被布置为适于、能够或利于执行功能，诸如当以特定方式操作时。方法200可包括框202至208中的一个或多个所示出的一个或多个操作、功能或动作。尽管这些框按顺序示出，但是这些框也可以并行地和/或以与本文描述的顺序不同的顺序来执行。而且，各种框可以基于期望的具体实施组合成更少的框，划分成附加的框和/或移除。

应当理解，对于本文所公开的该过程以及其他过程和方法，流程图示出了本实施方案的一种可能的具体实施的功能和操作。就这一点而言，每个框可以表示程序代码的模块、段或一部分，其包括一个或多个指令，这些指令可以由处理器执行以用于实现该过程中的特定逻辑功能或步骤。程序代码可以存储在任何类型的计算机可读介质或数据存储装置上，例如，诸如包括磁盘或硬盘驱动器的存储设备。此外，可以以机器可读格式在计算机可读存储介质上或在其他非暂态介质或制品上对程序代码进行编码。该计算机可读介质可以包括非暂态计算机可读介质或存储器，例如，诸如在短时间内存储数据的计算机可读介质如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)。计算机可读介质还可以包括非暂态介质，诸如二级或永久性长期存储，如只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其他易失性或非易失性存储系统。例如，计算机可读介质可以被认为是有形的计算机可读存储介质。

另外，图8中的每个框以及在本文公开的其他过程和方法内的框可以表示被连线以执行该过程中的特定逻辑功能的电路。另选具体实施包括在本公开的示例实施方案的范围内，其中可以按照所示出或所讨论的顺序无序地执行功能，如根据所涉及的功能，包括基本并发或相反的顺序，如本领域技术人员所理解的。

在框202处，方法200包括接收计算设备104的环境内容的样本。在框204处，方法200包括确定环境内容的样本到与环境内容的样本匹配的索引记录中的位置标识。在框206处，方法200包括基于位置标识，使计算设备104的用户界面119上的内容的显示同步到索引记录。在框208处，方法200包括计算从索引记录中发生的索引事件到反应信号的反应时间。反应信号由计算设备生成，并且指示用户对索引事件的响应。

在示例内，计算设备104的环境内容的样本是计算设备104的环境音频的样本，并且环境音频包括来自电视游戏节目的音频。

在一个示例中，方法200由服务器106执行，并且服务器106从计算设备104处接收计算设备104的环境内容的样本。在另一个示例中，该方法由计算设备104执行，计算设备104确定环境内容的样本到与环境内容的样本匹配的索引记录中的位置标识，并且基于环境内容的样本与计算设备104上的数据库136中存储的索引记录的比较，还识别与环境内容的样本匹配的索引记录。

图9示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如方框210至212所示，用于计算反应时间的附加功能可以包括确定反应信号与记录环境内容的样本的时间戳之间的实耗时间，将偏移添加到获取样本是实耗时间的索引记录中以确定节目偏移，以及从节目偏移中减去发生索引事件的时间以确定反应时间。

图10示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框216至图220所示，附加功能用于计算反应时间可以包括：在索引事件发生时启动定时器，在接收到反应信号时停止定时器，以及确定定时器的实耗时间。

图11示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框222至图226所示，附加功能可包括接收计算设备104的环境内容的一个或多个附加样本，将更新的位置标识识别到获取一个或多个附加样本的索引记录中，以及使用更新的位置标识将计算设备104上的用户界面119与索引记录同步。在该示例中，计算设备104可以通过连续或以周期性间隔记录样本，然后确定新记录的样本的位置标识来在后台轮询，以将用户界面119显示与索引记录重新同步。在服务器106从计算设备104处接收样本并且执行位置识别的示例中，服务器106可以在游戏玩法期间通过选择内容来接收计算设备104的环境内容的新样本，以执行更新的位置标识。

图12示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框228处所示，附加功能包括使计算设备104的用户界面119发起用于将计算设备104与索引记录相关联的游戏玩法界面(如图7A至7L所示)，并且指令基于位置标识到获取样本的索引记录中来指示何时在游戏玩法界面上显示内容。服务器106可以将指令发送到计算设备104，并且/或者计算设备104可以从存储在数据存储装置112中的那些指令处执行指令。

图13示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框230所示，附加功能包括维持计算设备104上的游戏玩法界面与索引记录的播放同步。为了维持同步，例如，可以记录和处理内容的附加样本。

图14示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框232至图234所示，附加功能包括接收计算设备104的环境内容的一个或多个附加样本，以及基于未能确定更新位置标识到获取一个或多个附加样本的索引记录中，在计算设备104的用户界面119上暂停内容的显示。在该示例中，用户可能正在观看电视游戏节目，并且将其录制在数字视频录像机上，并且可能会暂停电视。在这种场景中，不会播放电视音频，并且在计算设备104捕获并且记录环境音频的样本时，计算设备104和/或服务器106将未能使用新样本确定更新位置标识到索引记录中。因此，计算设备104可以暂停用户界面119上的内容的显示以及暂停游戏玩法。

图15示出了根据示例具体实施的可以与图14的方法200一起使用的示例方法的流程图。如框236所示，附加功能用于基于暂停内容的显示，执行随后接收到的计算设备104的环境内容的样本的附加位置标识，以将计算设备104的用户界面119上的内容的显示与索引记录重新同步。因此，一旦发生了暂停，就可以对计算设备104进行编程以更频繁地记录内容的环境样本，以便确定将指示电视游戏节目已经重新开始的更新的位置标识。然后，当游戏节目重新开始时，计算设备104将需要将用户界面119的内容的显示与索引记录重新同步。

图16示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框238所示，附加功能用于将反应时间与索引事件的一个或多个结果进行比较。例如，参考图6示出并且描述了索引事件的示例结果。

图17示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框240至242所示，附加功能用于基于在索引记录中发生的索引事件，向计算设备104的用户界面119提供与索引事件相关联的信息，以及基于从计算设备104的用户界面119处接收与索引事件相关联的信息中的内容选择，生成反应信号。例如，参考图7D示出并且描述了提供与索引事件相关联的信息的示例。

图18示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框244所示，附加功能用于确定索引事件的发生与内容选择的接收之间的时间量。

图19示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框246所示，附加功能用于在计算设备104的用户界面119处接收对内容的选择的响应通信，该响应通信指示对内容的选择是否匹配索引事件的答案。例如，参考图7F至图7G示出并且描述了此类响应通信的示例。

图20示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框248所示，附加功能用于在计算设备104的用户界面119处接收对内容的选择的响应通信，该响应通信指示与索引事件的答案匹配的内容的正确选择。例如，参考图7F示出并且描述了此类响应通信的示例。

图21示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框250所示，附加功能用于基于在默认时间跨度内从与索引事件相关联的信息中未接收到对内容的选择，在计算设备104的用户界面119处接收响应通信，该响应通信指示与索引事件的答案匹配的内容的正确选择。

图22示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框252所示，附加功能用于在用户界面119上为游戏节目的游戏玩法提供可能的答案。

图23示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框254所示，附加功能用于基于游戏节目上的选手提供对游戏玩法的回答之前从与索引事件相关联的信息中未接收到对内容的选择，向计算设备104的用户界面119提供响应通信，该响应通信指示与索引事件的答案匹配的内容的正确选择。

图24示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框256至258所示，附加功能用于将计算设备104的用户的反应时间与选手为提供游戏玩法的答案所花费的反应时间进行比较，并且确定选手或计算设备104的用户中的哪个具有最短的反应时间。如此处所述，用于比较的时间事件示例如图6所示。

图25示出了根据示例具体实施的可以与图8的方法200一起使用的示例方法的流程图。如框260至262所示，附加功能用于将计算设备104的用户的反应时间与计算机编程的设备为提供游戏玩法的答案所花费的反应时间进行比较，并且确定计算设备104的计算机编程的设备或用户中的哪个具有最短的反应时间。如此处所述，用于比较的时间事件示例如图6所示。

图8至图25中示出的方法提供了随着游戏节目进行而具有或不具有同步用户参与的同步“第二屏幕”体验的示例。如果用户参与，则可以更新评分并且将其与游戏节目中的选手进行比较。

计算设备104和/或服务器106可以执行图8至图25中所示的任何方法。此外，执行可实时发生。这些功能可以立即发生，几乎没有延迟，以处理从其他源或通过手动输入接收到的其他数据。实时处理意味着计算设备104和/或服务器106通过连续地处理内容的样本来执行动作。

本文所用术语“基本上”是指不需要精确地实现所列举的特征、参数或值，而是可以偏离或变化，包括例如公差、测量误差、测量精度限制和本领域技术人员已知的其他因素，可能以不排除该特征旨在提供的效果的量出现。

本文公开的系统、设备和方法的不同示例包括各种部件、特征和功能。应当理解，本文公开的系统、设备和方法的各种示例可以以任意组合包括本文公开的系统、设备和方法的任何其他示例的任何部件、特征和功能，并且所有这些可能性都旨在本公开的范围内。

已经出于说明和描述的目的给出了不同的有利布置的描述，并且不旨在是穷举的或限于公开形式的示例。对于本领域的普通技术人员而言，许多修改和变型将是显而易见的。此外，与其他有利示例相比，不同的有利示例可以描述不同的优点。选择并且描述所选的一个示例或多个示例是为了最好地解释示例的原理、实际应用，并且使本领域的其他普通技术人员能够理解本公开的各种示例，并且进行各种修改，以适合预期的特定用途。