使用媒体查看数据提高设备映射图准确度的系统和方法
阅读说明：本技术 使用媒体查看数据提高设备映射图准确度的系统和方法 (System and method for improving device map accuracy using media viewing data ) 是由 泽埃夫·诺伊迈尔 于 2018-04-05 设计创作，主要内容包括：提供了用于确定设备映射系统的准确度分数的方法、设备和计算机程序产品。在一些示例中,准确度分数可以是基于设备映射系统的设备映射和来自自动内容识别部件的观看数据。在这样的示例中,准确度分数可以指示设备映射系统是否将类似的类别分配给具有类似的媒体内容播放器的设备。在这样的示例中,可以确定设备映射是随机的,指示设备映射系统是不准确的。相反,如果确定设备映射具有仅本质上随机的足够低的概率,则可以确定设备映射系统是准确的。(Methods, devices, and computer program products are provided for determining an accuracy score for a device mapping system. In some examples, the accuracy score may be based on a device mapping of a device mapping system and viewing data from an automatic content recognition component. In such an example, the accuracy score may indicate whether the device mapping system assigns similar categories to devices having similar media content players. In such an example, the device mapping may be determined to be random, indicating that the device mapping system is inaccurate. Conversely, if the device mapping is determined to have a sufficiently low probability of being only random in nature, then the device mapping system may be determined to be accurate.)
相关申请的交叉引用
本申请要求2017年4月6日提交的美国临时申请No.62/482,495的权益，其全部内容在此通过引用并入本文。
技术领域
本公开一般涉及提高从连接设备的分析得到的数据的准确性以及其与特定类别的关联。
背景技术
用户越来越多地通过一系列设备访问媒体。然而，确定哪些设备与特定用户相关联可能是困难的。存在声称将设备映射到特定类别(有时称为设备映射图或设备绘图)的许多系统。例如，设备映射系统可以生成指示第一设备和第二设备属于特定类别的设备映射图。在一些示例中，可以基于分配给每个设备的类别将设备映射到特定用户。在其他示例中，将设备分配到家庭范围的设备映射图中。然而，很难评估设备映射的准确性。因此，本领域需要确定和提高设备映射图的准确性。
发明内容
提供了用于通过处理由一个或多个设备播放的媒体(例如，视频和/或音频数据)来确定设备映射系统的准确度分数的方法、设备和计算机程序产品。在一些示例中，准确度分数可以是基于设备映射系统的设备映射。在这样的示例中，设备映射图可以指的是链接相关联在一起的设备。
在一些示例中，准确度分数还可以基于来自自动内容识别(ACR)系统或可以确定正在由一个或多个媒体播放器设备观看的媒体内容的其他系统的媒体内容观看数据。在一些情况下，媒体内容可以包括视频内容(该视频内容可以包括音频内容)或音频内容。可以(例如，使用ACR系统)处理和分析媒体内容以确定正在被一个或多个媒体播放器设备观看的媒体内容，其可以存储为观看数据。在一个说明性示例中，当ACR系统用于确定正在被媒体播放器设备观看的媒体内容时，该媒体播放器设备可以解码与视频节目相关联的视频数据(以及在某些情况下，音频数据)。媒体播放器设备可以将视频的每帧的解码内容放入视频帧缓冲器中以准备显示或者视频帧的像素信息的进一步处理。媒体播放器设备可以处理缓冲的视频数据，并且可以产生表示当前正由播放器设备播放的未知视频段的未知数据点(可以称为“提示点”)。匹配服务器可以接收未知提示点，并且可以将未知提示点与存储的候选提示点进行比较，以确定候选视频段与未知视频段之间的匹配。
然后可以处理观看数据以确定准确度分数。在这样的示例中，媒体观看数据(有时称为观看行为)可以指示媒体播放器设备正在播放的媒体内容。在一些示例中，准确度分数可以指示设备映射系统是否将类似的类别分配给具有类似的媒体内容回放的设备。在这样的示例中，可以将设备映射图与基于随机性分配的设备-类别指定进行比较，以确定设备映射系统的准确度。如果确定设备映射图具有本质上仅仅是随机的足够低的概率，则可以确定设备映射系统是准确的。
在一些示例中，设备映射系统可以使用准确度分数来改进其用于生成设备映射图的过程。例如，设备映射系统可以修改一个或多个操作以尝试提高准确度分数。
在一些示例中，提供一种系统，包括：一个或多个处理器以及包含指令的一个或多个非暂时性机器可读存储介质，当在一个或多个处理器上实行时，所述指令使所述一个或多个处理器执行操作。该操作包括获得分配给媒体播放器设备组的多个类别。使用设备映射系统确定所述多个类别。类别包括用于一组媒体播放器设备的分类。所述操作还包括确定所述媒体播放器设备组的观看行为。通过将由所述媒体播放器设备观看的观看媒体内容与存储的媒体内容相匹配，使用自动内容识别来确定所述观看行为。所述操作还包括确定所述媒体播放器设备组的所述多个类别与所述观看行为之间的相关性，以及使用所确定的相关性确定所述设备映射系统的准确度分数。所述操作还包括将所述准确度分数分配给所述设备映射系统，其中所述准确度分数用于改进所述设备映射系统。
在一些示例中，提供了一种方法，包括：获得分配给媒体播放器设备组的多个类别。使用设备映射系统确定所述多个类别。类别包括一组媒体播放器设备的分类。所述方法还包括确定所述媒体播放器设备组的观看行为。通过将由所述媒体播放器设备观看的观看媒体内容与存储的媒体内容相匹配，使用自动内容识别来确定所述观看行为。所述方法还包括确定所述媒体播放器设备组的所述多个类别和所述观看行为之间的相关性，以及使用所确定的相关性确定所述设备映射系统的准确度分数。所述方法还包括将所述准确度分数分配给所述设备映射系统，其中所述准确度分数用于改进所述设备映射系统。
在一些示例中，提供了一种有形地实施在非暂时性机器可读存储介质中的计算机程序产品，包括当由一个或多个处理器实行时使所述一个或多个处理器执行以下操作的指令：获得分配给媒体播放器设备组的多个类别，其中使用设备映射系统确定所述多个类别，并且其中类别包括一组媒体播放器设备的分类；确定所述媒体播放器设备组的观看行为，其中通过将由所述媒体播放器设备观看的观看媒体内容与存储的媒体内容相匹配，使用自动内容识别来确定所述观看行为；确定所述媒体播放器设备组的所述多个类别和所述观看行为之间的相关性；使用所确定的相关性确定所述设备映射系统的准确度分数；以及将所述准确度分数分配给所述设备映射系统，其中所述准确度分数用于改进所述设备映射系统。
在一些方面，所述媒体播放器设备组的多个类别与观看行为之间的相关性是基于所述多个类别中的观看行为的差异度(variance)。
在一些方面，确定所述设备映射系统的准确度分数包括执行统计假设检验以确定所述媒体播放器设备组的多个类别与观看行为之间的相关性是否是随机的。
在一些方面，所述系统、方法、以及计算机程序产品包括将统计假设检验的结果与随机性阈值进行比较；以及当结果小于所述随机性阈值时，确定所述相关性是随机的。
在一些方面，基于所述统计假设检验的所述结果与所述随机性阈值的比较，为所述设备映射系统确定准确度分数。
在一些方面，媒体内容是视频内容，并且执行所述自动内容识别包括：接收与未知视频段的帧相关联的像素提示点，其中所述像素提示点包括与所述帧对应的一组像素值；识别参考数据点的数据库中的候选参考数据点，其中所述候选参考数据点类似于像素提示点，并且其中所述候选参考数据点包括与候选视频段的候选帧相对应的一个或多个像素值；将标记(token)添加到与候选参考数据点和候选视频段相关联的标记筒(bin)中；确定标记筒中的标记的数量是否超过一个值；以及当所述标记筒中的标记的所述数量超过该值时，将所述未知视频段识别为匹配所述候选视频段。
在一些方面，所述观看行为包括以下中的至少一个或多个：所述媒体播放器设备组观看多个频道中的一个或多个的时间量、与所述媒体播放器设备组的用户相关联的收入、所述媒体播放器设备组的用户的年龄组、所述媒体播放器设备组的用户的教育水平、或所述媒体播放器设备组中的设备的数量。
本发明内容不旨在标识所要求保护的主题的关键或必要特征，也不旨在单独使用以确定所要求保护的主题的范围。应该通过参考本专利的整个说明书、任何或所有附图和每个权利要求的适当部分来理解该主题。
通过参考以下说明书、权利要求和所附附图，前述以及其他特征和实施例将变得更加明显。
附图说明
下面参考以下附图详细描述本发明的说明性实施例：
图1示出了用于更新设备映射图分类系统的系统的示例；
图2A示出了将第一源的观看时间与频道差异度进行比较的图表的示例；
图2B示出了将第二源的观看时间与频道差异度进行比较的图表的示例；
图2C示出了将第三源的观看时间与频道差异度进行比较的图表的示例；
图3示出了计算各种源的f比的示例；
图4示出了用于将准确度分数分配给设备映射图匹配过程的过程的示例；
图5示出了用于评估多个设备与预测统计属性的统计相关性的过程的示例；
图6示出了用于将预测观看行为与由自动内容识别部件测量的实际观看进行比较的过程的示例；
图7示出了用于识别媒体系统正在观看的视频内容的匹配系统的框图的示例；
图8示出了各种设备的处理流程的示例；
图9示出了与第一匹配率等价(equating)的收入代码VS每月观看小时的示例；
图10示出了与第二匹配率等价的收入代码VS每月观看小时的示例；和
图11示出了与收入代码等价的仅在数据集2中找到的媒体设备VS每月观看小时的示例。
具体实施方式
在以下描述中，出于解释的目的，阐述了具体细节以便提供对本发明实施例的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践各种实施例。附图和描述不是限制性的。
随后的描述仅提供示例性实施例，并且不旨在限制本公开的范围、适用性或配置。反之，随后对示例性实施例的描述将为本领域技术人员提供用于实现示例性实施例的使能描述。应当理解，在不脱离所附权利要求中阐述的本发明的精神和范围的情况下，可以对元件的功能和排布进行各种改变。
在以下描述中给出了具体细节以提供对实施例的透彻理解。然而，本领域普通技术人员之一将理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统、网络、过程和其他部件可以以框图形式示出为部件，以便不以不必要的细节模糊实施例。在其他情况下，可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术，以避免模糊实施例。
此外，应注意，各个实施例可被描述为过程，该过程被描绘为流程图、流程示意图，数据流程图，结构图或框图。虽然流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新安排操作的顺序。过程在其操作完成时终止，但可能有额外的步骤未包括在图中。过程可以对应于方法、函数、进程、子例程、子程序等。当过程对应于函数时，其终止可以对应于函数返回到调用函数或主函数。
术语“机器可读存储介质”或“计算机可读存储介质”包括但不限于便携式或非便携式存储设备、光学存储设备以及能够存储、包含、或携带指令和/或数据的各种其他介质。机器可读存储介质或计算机可读存储介质可以包括非暂时性介质，该非暂时性介质可以存储数据并且不包括无线或有线连接传播的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于磁盘或磁带，诸如压缩盘(CD)或数字多功能光盘(DVD)的光学存储介质、闪存、存储器或存储器设备。计算机程序产品可以包括代码和/或机器可实行指令，该代码和/或机器可实行指令可以表示进程、函数、子程序、程序、例程、子例程、模块、软件包、类或指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、参数、参量或存储器内容而耦合到另一代码段或硬件电路。可以使用任何合适的手段来传递、转发或传输信息、参数、参量、数据或其他信息，这些手段包括存储器共享、消息传递、标记传递、网络传输或其他传输技术。
此外，实施例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现。当在软件、固件、中间件或微代码中实现时，用于执行必要任务的程序代码或代码段(例如，计算机程序产品)可以存储在机器可读介质中。处理器可以执行必要的任务。
可以以各种配置提供一些附图描绘的系统。在一些实施例中，系统可以被配置为分布式系统，其中系统的一个或多个部件分布在云计算系统中的一个或多个网络上。
提供了用于确定设备映射系统的准确性的方法、设备和计算机程序产品。在一些示例中，可以确定设备映射系统准确度分数。在一些情况下，准确度分数可以基于设备映射系统的设备映射图。在这种情况下，设备映射图可以包括链接被分类或关联在一起的媒体播放器设备(也称为“设备”或“播放器设备”或“媒体设备”)的信息。在一些示例中，设备(或“播放器设备”或“媒体播放器设备”)可以被定义为网络连接设备，诸如智能手机、平板电脑、智能电视、膝上型电脑、智能手表或其他可穿戴设备，或可以接收和显示媒体内容的任何其他网络连接设备(例如，因特网连接的，宽带网络连接的，蜂窝网络连接的或其他网络连接设备)。在一些示例中，可以基于将一个或多个类别段(或“类别”)分配给包括在设备映射图中的每个设备来生成设备映射图。在这样的示例中，类别段或类别可以包括人口统计属性，诸如年度家庭收入、年龄组、教育程度、电视机的数量、和/或关于娱乐选择的各种偏好、或其任何合适的组合。然而，应该认识到，类别段或类别可以是可以将多个设备关联在一起的任何逻辑组。
在一些示例中，准确度分数可以还基于来自自动内容识别(ACR)部件的观看数据或可以确定正在由一个或多个媒体播放器观看的媒体内容的其他系统的观看数据。在一些情况下，媒体内容可以包括视频内容(可以包括音频内容)或音频内容。可以(例如，使用ACR系统)处理和分析媒体内容以确定一个或多个媒体播放器正在观看哪些媒体内容，其可以存储为观看数据。然后可以处理观看数据以确定准确度分数。在这样的示例中，观看数据(有时称为观看行为)可以指示媒体播放器设备正在播放的媒体内容。在一些示例中，准确度分数可以指示设备映射系统是否将类似的类别分配给具有类似的媒体内容回放的设备。在这样的示例中，可以确定设备映射图是随机的，指示设备映射系统是不准确的。与此相比，如果确定设备映射图在仅本质上随机上具有足够低的概率，则可以确定设备映射系统是准确的。
在一些示例中，设备映射系统可以使用准确度分数来改进其用于生成设备映射图的过程。例如，设备映射系统可以修改一个或多个操作以尝试提高准确度分数。
图1示出了用于更新设备映射图分类系统130(有时称为设备映射系统)的系统的示例。在一些示例中，系统可以包括一个或多个设备110、设备映射图分类系统120、观看行为系统130或其任何组合。应该认识到，系统的一个或多个部件可以组合成更少的部件或分成更多部件。
在一些示例中，来自一个或多个设备110的数据可以由系统的一个或多个部件处理，这些部件包括设备映射图分类系统120和观看行为系统130。一个或多个设备110可以包括膝上型电脑(例如，膝上型电脑112)、平板电脑(例如，第一平板电脑114或第二平板电脑115)、电话(例如，智能电话116)、电视(例如，电视118)、或可以接收和显示媒体内容(例如，听觉或视觉内容)的任何其他网络连接设备。在一些示例中，一个或多个设备110可以包括在一个或多个网络中。
如上，来自一个或多个设备110的数据可以由设备映射图分类系统120处理。处理可以包括(例如，使用类别段生成器122)将一个或多个类别段分配给一个或多个设备110中的每一个，(例如，使用设备映射图生成器124)生成用于一个或多个设备110的设备映射图，以及(例如，使用数据报告生成器126)生成用于设备映射图的数据报告。在一些示例中，可以为设备映射中的每个设备分配至少一个类别段(也称为类别)。在这样的示例中，分配给设备的类别段可以指示设备等级高于与类别段相关联的一个或多个特征和/或用于一个或多个行为的阈值。在一些示例中，设备映射图可以指示多个设备之间的链接或关联。来自一个或多个设备110的数据的说明性示例可以包括来自浏览器和IP地址的信息记录程序(cookies)。
在一些示例中，数据报告生成器126可以生成设备映射图和/或一个或多个类别段的数据报告。在这样的示例中，数据报告可以包括用于一个或多个设备110中的每一个的信息以及对应的类别段。在一个说明性示例中，数据报告可以包括关于设备类型的信息(诸如将智能电视与移动平板电脑区分开)以用于区分电视节目(例如，广播电视，流媒体电视或其他电视节目)回放。例如，确定在家中的电视上或手持设备上是否正在观看特定媒体内容可能是有用的。存在许多其他用途，以获得本领域技术人员公知的关于类别段的信息。
如上所述，一个或多个设备110也可以由观看行为系统130处理。在一些示例中，观看行为系统130可以包括自动内容识别(ACR)引擎132。ACR引擎132可以识别在设备(例如，一个或多个设备110中的设备)上显示或播放的媒体内容(例如，听觉或视觉内容)。在这样的示例中，ACR引擎132还可以识别与媒体内容相关联的频道或其他元数据。
虽然存在可以识别媒体内容的许多方式，但是一种方法(下面参考图7更详细地描述)可以包括接收与未知视频段的帧相关联的像素提示点。在一些示例中，像素提示点可以包括与帧对应的一组像素值。该方法还可以包括识别参考数据点的数据库中的候选参考数据点。在一些示例中，候选参考数据点可以类似于像素提示点。在这样的示例中，候选参考数据点可以包括与候选视频段的候选帧相对应的一个或多个像素值。该方法还可以包括将标记添加到与候选参考数据点和候选视频段相关联的标记筒，并确定标记筒中的标记的数量是否超过一个值。该方法还可以包括：当标记筒中的标记的数量超过该值时，将未知视频段识别为匹配候选视频段。然后可以将未知视频段识别为候选视频段，指示媒体设备正在播放候选视频段。
图7示出了用于识别媒体系统正在观看的视频内容的匹配系统700(例如，ACR引擎132)的框图的示例。在一些示例中，未知内容可以包括一个或多个未知数据点。在这样的示例中，匹配系统700可以将未知数据点与参考数据点匹配，以识别与未知数据点相关联的未知视频段。参考数据点可以包括在参考数据库716中。
匹配系统700(例如，ACR引擎)可以包括播放器设备702和匹配服务器704。播放器设备702可以包括媒体客户端706、输入设备708、输出设备710和一个或多个情景应用程序726。媒体客户端706(可以是电视系统、计算机系统、或能够连接因特网的其他电子设备)可以解码与视频节目728相关联的数据(例如，广播信号、数据包、或其他帧数据)。媒体客户端706可以将视频的每个帧的解码内容放入视频帧缓冲器中用于显示或准备用于进一步处理视频帧的像素信息。在一些示例中，播放器设备702可以是能够接收和解码视频信号的任何电子解码系统。播放器设备702可以接收视频节目728并将视频信息存储在视频缓冲器(未示出)中。播放器设备702可以处理视频缓冲器信息并产生未知数据点(可以称为“提示点”)。媒体客户端706可以将未知数据点传输到匹配服务器704，以与参考数据库716中的参考数据点进行比较。
输入设备708可以包括允许将请求或其他信息输入到媒体客户端706的任何合适的设备。例如、输入设备708可以包括键盘、鼠标、语音识别输入设备、用于从无线设备(例如，从遥控器、移动设备、或其他合适的无线设备)接收无线输入的无线接口、或任何其他合适的输入设备。输出设备710可以包括可以展示或以其他方式输出信息的任何合适的设备，诸如显示器、用于将无线输出传输到无线设备(例如，移动设备或其他合适的无线设备)的无线接口、打印机、或其他合适的输出设备。
匹配系统700可以通过首先从已知视频数据源718采集数据样本来开始识别视频段的过程。例如，匹配服务器104可以采集数据以构建和维护来自各种各样视频数据源718的参考数据库716。视频数据源718可以包括电视节目、电影、或任何其他合适的视频源的媒体供应商。来自视频数据源718的视频数据可以被提供为无线电广播、有线电视频道、来自因特网以及来自任何其他视频数据源的流媒体源。在一些示例中，如下所描述，匹配服务器704可以处理来自视频数据源718的所接收视频，以生成和采集参考数据库716中的参考视频数据点。在一些示例中，来自视频数据源718的视频节目可以由参考视频节目摄取系统(未示出)处理，该参考视频节目摄取系统可以产生参考视频数据点并将它们发送到参考数据库716以进行存储。可以如上所述使用参考数据点来确定随后用于分析未知数据点的信息。
匹配服务器704可以将一段时间(例如，若干天，若干周，若干月、或任何其他合适的时间段)内接收的每个视频节目的参考视频数据点存储在参考数据库716中。匹配服务器704可以构建并连续地或周期性地更新电视节目制作样本的参考数据库716(例如，包括参考数据点，其也可以被称为提示或提示值)。在一些示例中，所采集数据是从周期性视频帧(例如，每五个视频帧、每十个视频帧、每十五个视频帧、或其他合适数量的帧)采样的视频信息的压缩表示。在一些示例中，可以为每个节目源采集每帧的若干数据字节(例如，25字节、50字节、75字节、100字节、或每帧的任何其他字节量)。可以使用任意数量的节目源(诸如25个频道、50个频道、75个频道、100个频道、200个频道、或任何其他数量的节目源)来获得视频。
媒体客户端706可以将通信722发送到匹配服务器704的匹配引擎712。通信722可以包括对匹配引擎712的识别未知内容的请求。例如，未知内容可以包括一个或多个未知数据点，并且参考数据库716可以包括多个参考数据点。匹配引擎712可以通过将未知数据点与参考数据库716中的参考数据相匹配来识别未知内容。在一些示例中，未知内容可以包括由显示器展示的未知视频数据(用于基于视频的ACR)、搜索查询(用于MapReduce系统、Bigtable系统、或其他数据存储系统)、面部的未知图像(用于面部识别)、图案的未知图像(用于图案识别)、或可与参考数据的数据库匹配的任何其他未知数据。参考数据点可以根据从视频数据源718接收的数据得出。例如，数据点可以从视频数据源718提供的信息中提取，并且可以被索引并存储在参考数据库716中。
匹配引擎712可以向候选确定引擎714发送请求以确定来自参考数据库716的候选数据点。候选数据点可以是与未知数据点特定确定距离的参考数据点。在一些示例中，可以通过参考数据点的一个或多个像素(例如，单个像素、表示像素组的值(例如，平均值、平均数、中值或其它值)、或其他合适数量的像素)与未知数据点的一个或多个像素比较来确定参考数据点和未知数据点之间的距离。在一些示例中，当每个样本位置处的像素在特定像素值范围内时，参考数据点可以距未知数据点特定确定距离。
在一个说明性示例中，像素的像素值可以(在红-绿-蓝(RGB)颜色空间中)包括红色值、绿色值和蓝色值。在这样的示例中，通过分别比较对应的红色值、绿色值和蓝色值并确保值在特定值范围内(例如，在0-5值内)，可以将第一像素(或表示第一组像素的值)与第二像素(或表示第二组像素的值)进行比较。例如，当(1)第一像素的红色值在第二像素的红色值的0-255值范围中的(±)5个值内时，(2)第一像素的绿色值在第二像素的绿色值的0-255值范围中的(±)5个值内时，以及(3)第一个像素的蓝色值在第二像素的蓝色值的0-255值范围中的(±)5个值内时，第一像素可以与第二像素匹配。在这样的示例中，候选数据点是与未知数据点近似匹配的参考数据点，导致针对未知数据点识别(与不同媒体段相关的)多个候选数据点。候选确定引擎714可以将候选数据点返回到匹配引擎712。
对于候选数据点，匹配引擎712可以将标记添加到与候选数据点相关联并且被分配给候选数据点所源自的所识别视频段的标记筒中。可以将对应的标记添加到与所识别的候选数据点相对应的所有标记筒中。当匹配服务器704从播放器设备702接收到更多(对应于正在观看的未知内容的)未知数据点时，可以执行类似的候选数据点确定过程，并且可以将标记添加到与所识别的候选数据点对应的标记筒中。在其他标记筒对应于由于相似数据点值(例如，具有相似的像素颜色值)而匹配的候选数据点的情况下，只有一个标记筒对应于正在查看的未知视频内容的段，但是不对应到正在观看的实际段。用于正在观看的未知视频内容段的标记筒将比用于未被观看的段的其他标记筒具有被分配给其的更多标记。例如，当接收到更多的未知数据点时，对应于标记筒的更多数量的参考数据点被识别为候选数据点，导致更多的标记被添加到标记筒中。一旦标记筒包括特定数量的标记，匹配引擎712就可以确定与标记筒相关联的视频段当前正在播放器设备702上显示。视频段可以包括整个视频节目或视频节目的一部分。例如，视频段可以是视频节目、视频节目的场景、视频节目的一个或多个帧、或视频节目的任何其他部分。用于识别媒体内容的系统的示例在美国专利申请No.15/240,801中有所描述，该专利申请的全部内容以所有目的在此通过引用并入。
返回参考图1，在一些示例中，ACR引擎132可以输出所识别的媒体内容(例如，正在由媒体设备观看的视频段)的标识。在这样的示例中，ACR引擎132可以向统计相关器136发送媒体内容的标识、所接收媒体内容所来自的设备的标识，以及与媒体内容相关联的任何其他元数据(例如，媒体内容正在进行播放所在的频道)。
在一些示例中，统计相关器136可以使用从ACR引擎132输出的观看数据来评估设备映射图，以确定使用设备映射图分类系统120生成的类别与分配到不同的类别的设备组的观看行为之间的相关性。在一些情况下，统计相关器136可以确定生成设备映射图的设备映射系统是否准确。图2A、2B和2C示出了用于不同设备映射系统(例如，源A、源B和源C)的图的示例。
在一个说明性示例中，图可以包括用于平均频道观看时间(即，总共花费的时间)的x轴和用于频道差异度的y轴。在这样的示例中，频道差异度可以指示不同频道之间的观看时间的差异度。在一些示例中，图上的每个点(例如，圆圈)可以表示类别段或类别(例如，如上文与类别段生成器124所描述的)。例如，当类别段用于家用设备(例如，多个设备)时，(2,10)处的圆圈可以表示家用设备在2个单位时间(例如，小时、分钟、秒等)中是活跃的，并且在此期间一个或多个频道比一个或多个其他频道被多观看10个单位时间(例如，小时、分钟、秒等)。再例如，当类别段用于设备时，(2,10)处的圆圈可以指示设备在2个单位时间(例如，小时，分钟，秒等)中是活跃的，并且在此期间一个或多个频道比一个或多个其他频道被多观看10个单位时间(例如，小时、分钟、秒等)。
尽管图2A、2B和2C中示出的示例包括平均频道观看时间和频道差异度，普通技术人员将理解除频道观看时间之外的任何其他观看行为(例如，观看类型(诸如数字视频记录(DVR)观看或视频点播(VOD)观看))或观看发生的时间)可由统计相关器136使用。
在一些示例中，统计相关器136可以执行来自ACR引擎132的观看数据(例如，视频段的观看时间)和来自设备映射图分类系统120的设备映射图的统计评估。统计评估可以表示由ACR引擎132检测的设备映射图VS观看数据的预测的准确度。例如，统计评估可以指示具有相似观看数据的设备与分配给设备的类别之间是否存在相关性。作为另一示例，统计相关器136可以确定频道观看如何在每个类别段之间变化。应该认识到，可以使用任何合适的统计评估技术执行统计评估，包括例如差异度分析(ANOVA)、卡方检验、f检验、t检验、其任何组合等。出于说明性目的，ANOVA将在本文中用作示例。然而，普通技术人员将理解，统计相关器136可以使用任何其他合适的统计评估检验来确定相关性。
ANOVA可用于分析逻辑组的平均值(或平均数)之间的差异。在一些示例中，可以针对从设备映射图分类系统120接收的每个类别段计算与ACR引擎132相关联的信息的平均值。例如，对于每个设备，可以计算不同频道之间的观看时间的差异度(例如，如图2A、2B和2C所示)。对于每个类别段，可以在每个设备上对差异度进行平均，以便计算平均差异度。平均差异度可以是信息的平均值。在另一个示例中，针对每个家庭(household)，可以基于所述家庭的复合设备映射图计算与ACR引擎132相关联的信息的平均值。
在一些示例中，ANOVA可以比较两种类型的差异度：每个类别段内的差异度和不同类别段之间的差异度。为了计算差异度，可以计算不同类别段之间的平方和(SS)(称为“之间SS”)：其中是类别段平均值并且是整体均值。在一些示例中，可以计算不同类别段之间的差异度(称为“之间差异度”)：其中k是不同样本的数量。在一些示例中，还可以计算每个类别段内的差异度(称为“之内差异度”)：在一个说明性示例中，可以使用以下等式来获得之内差异度：
在计算之间差异度和之内差异度之后，可以计算F比。F比可以基于之间差异度和之内差异度：F比可以指示数据的随机性量。在一些示例中，可以识别F比的临界值，使得当F值小于临界值时，设备映射系统未通过检验(即，数据被识别为随机的)。图3示出了计算图2A、2B和2C中描述的每个源的F比的示例。可以看出，图3中的F比指示源C和源A(来自图2A和2C)以F>Fcrit通过检验，而源B(来自图2B)未通过检验。在一些示例中，可以根据所分析的设备映射系统来调整临界值。在一些示例中，F比越低，潜在匹配的隐含质量越好。
在一些示例中，统计相关器126可以将消息发送到类别测量系统120(例如，发送到类别段生成器122或设备映射图生成器124)。在这样的示例中，消息可以根据来自一个或多个设备110的媒体内容指示数据报告是否令人满意。在一些示例中，基于统计相关器136执行的统计评估，当确定类别看起来不是随机的时，数据报告可能是令人满意的。使用该方法对设备映射图系统进行评分，可以识别对设备映射图系统的修改并将该修改与其他准确度分数进行比较以确定修改的进度。
图4示出了用于将准确度分数分配给设备映射系统的过程400的示例。在一些示例中，过程400可以由计算机系统执行。
过程400被示为逻辑流程图，其操作表示可以用硬件、计算机指令或其组合实现的操作序列。在计算机指令的背景下，操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，其在由一个或多个处理器实行时，执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序不旨在被解释为限制，并且可以以任何顺序组合任何数量的所描述的操作和/或并行地执行以实现过程。
另外，过程400可以在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可以实现为在一个或多个处理器上通过硬件或其组合集体实行的代码(例如，可执行指令、一个或多个计算机程序、或一个或多个应用程序)。如上所述，代码可以例如以包括可由一个或多个处理器实行的多个指令的计算机程序的形式存储在机器可读存储介质上。机器可读存储介质可以是非暂时性的。
过程400可以包括获得分配给媒体播放器设备组的多个类别(步骤410)。在一些示例中，可以使用设备映射系统来确定多个类别。在这样的示例中，类别可以包括针对一组媒体播放器设备的分类(例如，类别段、设备段、观看段等)，诸如：与媒体播放器设备组的用户相关联的收入、媒体播放器设备组的用户的年龄组、媒体播放器设备组的用户的教育水平、或媒体播放器设备组中的设备的数量。在一些示例中，媒体播放器设备可以是可以接收和显示媒体内容的网络连接设备。媒体播放器设备的示例可以包括智能手机、平板电脑、智能电视、膝上型电脑或任何其他合适的网络连接设备。
过程400还可以包括确定媒体播放器设备组的观看行为(步骤420)。在一些示例中，观看行为可以包括媒体播放器设备组观看多个频道中的一个或多个、(例如，来自DVR的)录制节目、现场节目、点播内容、来自因特网(例如，YouTube或NetFlix)的内容、特定节目类型(例如，体育或真人电视)或其任何组合的视频时间量中的至少一个或多个。在一些示例中，可以使用自动内容识别(ACR)来确定观看行为。例如，ACR可以将由媒体播放器设备观看的观看媒体内容与存储的媒体内容相匹配。在这样的示例中，媒体内容可以是听觉的或视觉的(例如，音频、视频或静止图像)。
在媒体内容是视频内容的示例中，执行自动内容识别可以包括接收与未知视频段的帧相关联的像素提示点，其中像素提示点包括与帧对应的一组像素值；识别参考数据点的数据库中的候选参考数据点，其中候选参考数据点类似于像素提示点，并且其中候选参考数据点包括与候选视频段的候选帧相对应的一个或多个像素值；将标记添加到与候选参考数据点和候选视频段相关联的标记筒中；确定标记筒中的标记的数量是否超过一个值；以及当标记筒中的标记的数量超过该值时，将未知视频段识别为匹配候选视频段。
过程400还可以包括确定媒体播放器设备组的多个类别与观看行为之间的相关性(步骤430)。在一些示例中，媒体播放器设备组的多个类别与观看行为之间的相关性可以基于多个类别中的观看行为的差异度。
过程400还可以包括使用所确定的相关性来确定设备映射系统的准确度分数(步骤440)。在一些示例中，确定设备映射系统的准确度分数包括执行统计假设检验(例如，诸如上述F比检验)以确定媒体播放器设备组的多个类别和观看行为之间的相关性是否是随机的。在一些示例中，过程300还可以包括将统计假设检验的结果与随机性阈值(有时被称为临界值)进行比较，并且当结果小于随机性阈值时确定相关性是随机的。在一些示例中，可以基于统计假设检验的结果与随机性阈值的比较来确定设备映射系统的准确度分数。
过程400还可以包括将准确度分数分配(或发送)到设备映射系统(步骤450)。在一些示例中，准确度分数可用于改进设备映射系统。例如，可以使用优化算法(诸如爬山法)来将更新的准确度分数与准确度分数进行比较，其中在更新设备映射系统的一个或多个参数之后确定更新的准确度分数。
图5示出了用于评估多个设备与预测的统计属性的统计相关性的过程500的示例。在一些示例中，过程500可以由计算机系统(诸如观看行为系统130)执行。
过程500被示为逻辑流程图，其操作表示可以用硬件、计算机指令、或其组合实现的操作序列。在计算机指令的背景下，操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，当由一个或多个处理器执行时，执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序不旨在被解释为限制，并且可以以任何顺序和/或并行地组合任何数量的所描述的操作以实现过程。
另外，过程500可以在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可以作为在一个或多个处理器上通过硬件或其组合集体执行的代码(例如，可执行指令、一个或多个计算机程序、或一个或多个应用程序)实现。如上所述，代码可以(例如，以包括可由一个或多个处理器执行的多个指令的计算机程序的形式)存储在机器可读存储介质上。机器可读存储介质可以是非暂时性的。
过程500可以包括计算一个或多个设备中的每一个的值(步骤510)。在一些示例中，该值可以是设备被调谐到设备可用的一个或多个频道的每个频道的小时数。在一些示例中，一个或多个设备可以由设备映射系统指示。在这样的示例中，设备映射系统可以为一个或多个设备中的每一个提供一个或多个设备的指示和特定类别(有时称为类别段)。
过程500还可以包括对一个或多个设备中的每个设备的值执行统计分析，以识别频道观看在设备映射系统指示的每个段之间如何变化(步骤520)。在一些示例中，统计分析可以是差异度分析(ANOVA)、卡方检验、f检验、t检验等。如果统计分析是ANOVA，则过程500还可以包括：当在段之间存在低量差异度时，确定段被设备映射系统识别较差(步骤530)，当段之间存在高量差异度时，确定段与观看行为相关联(步骤540)，并且执行F-检验(或其他合适的统计分析检验或统计假设检验)以确定在段之间存在低量或高量差异度。
图6示出了用于将预测观看行为与由自动内容识别部件测量的实际观看进行比较的过程600的示例。在一些示例中，过程600可以由计算机系统(诸如观看行为系统130)执行。
过程600被示为逻辑流程图，其操作表示可以用硬件、计算机指令或其组合实现的操作的序列。在计算机指令的背景下，操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，当由一个或多个处理器执行时，执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序不旨在被解释为限制，并且可以以任何顺序和/或并行地组合任何数量的所描述的操作以实现过程。
另外，过程600可以在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可以作为在一个或多个处理器上通过硬件或其组合集体执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用程序)实现。如上所述，代码可以(例如，以包括可由一个或多个处理器执行的多个指令的计算机程序的形式)存储在机器可读存储介质上。机器可读存储介质可以是非暂时性的。
过程600可以包括获得一个或多个设备的设备映射图(步骤610)。在一些示例中，一个或多个设备均可以是构成家用设备的媒体设备。在一些示例中，设备映射图可以由第三方系统生成。在这样的示例中，可以基于原始数据(例如，诸如使用本地局域连接和/或因特网的互联网协议(IP)流量，包括在电子邮件、Facebook、YouTube等上花费的时间)来生成设备映射图。在其他示例中，可以通过从一个或多个设备采集诸如信息记录程序和其他数据挖掘活动的浏览器数据来组装原始数据。
在一些示例中，对设备映射图的请求可以包括设备映射图应该基于的一个或多个设备的指示。在其他示例中，请求可以包括原始数据。本领域普通技术人员将认识到，可以使用本领域已知的专有过程来生成设备映射图。用于生成设备映射图的数据可以从分析在用户访问各种因特网站点时从设备上采集的信息记录程序得出。在一些示例中，可以从远程查询设备内的配置信息得出因特网连接设备的类型。
过程600还可以包括将设备映射图关联到(或映射到)媒体内容观看(步骤620)。在一些示例中，关联可以包括(使用某种形式的内容识别)将设备映射图的IP地址关联到用于媒体内容观看的正被监视的设备的IP地址。在这样的示例中，关联还可以包括将从设备检测到的媒体内容观看与设备映射图的IP地址相关联。将设备映射图与媒体内容观看相关联的示例将是设备映射图预测相关联的家庭喜欢烹饪的东西，因为他们搜索以食物食谱和厨房工具为特征的网站，然后将其映射到他们对食物频道的电视观看。
过程600还可以包括基于来自一个或多个参考源(例如，诸如家庭中的电视的一个或多个设备)的数据生成用于观看统计数据的第一数据库(步骤630)。在一些示例中，第一数据库可以由第三方使用从设备映射图的一个或多个设备收集的关联因特网活动的专有过程来生成。在这样的示例中，专有过程不使用实际的观看记录。在一些示例中，第一数据库可用于将观看者兴趣与媒体内容观看相关联。例如，第一数据库可以将媒体内容观看与产品兴趣(诸如特定汽车品牌)相关联。
过程600还可以包括使用自动内容识别生成用于视频段观看的第二数据库(步骤640)。在一些示例中，(如本文所述)自动内容识别可以识别在一个或多个媒体设备上正在观看的媒体内容。可以分析所识别的媒体内容以确定一个或多个媒体设备正在观看什么。基于正在观看的内容，可以生成第二数据库以包括关于一个或多个设备的查看行为的信息。
过程600还包括使用第一数据库和第二数据库执行统计评估(例如，如上所述的统计相关性)(步骤650)。在一些示例中，统计评估可以比较第一数据库和第二数据库。
过程600还包括基于统计评估来评估设备映射图(步骤660)。例如，如果统计评估指示随机选择了一个或多个类别段，则可以确定设备映射图不恰当。然而，如果统计评估指示一个或多个类别段与观看行为相关，则可以确定设备映射图是准确的。在一些示例中，过程600可以是循环的，使得当步骤660结束时，过程600可以重复步骤630、640、650和660。
图8示出了各种设备的处理流程的示例。在一些示例中，处理流程可以包括媒体设备801。媒体设备801可以生成当前正在媒体显示器801上显示的视频节目的提示点数据(有时称为指纹)。媒体设备801可以将提示点数据发送到提示点管理器802。提示点管理器802可以使用提示点数据和自动内容识别系统(如本文所述)处理和/或识别正在媒体显示器801上显示的内容。
在一些示例中，处理流程还可以包括提示点缓存806。提示点缓存806可以是用于支持提示点数据的摄取(存储)的存储设备。处理流程还可以包括实时参考数据库804。实时参考数据库804可以是当前在一个或多个电视频道上可用的电视节目制作的数据库。实时参考数据库804可以收集和处理一个或多个电视频道，以便用于与来自媒体设备801的提示点数据进行比较，以识别当前正在媒体设备801上显示的视频段。
在一些示例中，处理流程还可以包括搜索路由器803。搜索路由器803可以接受家庭中的一个或多个设备(诸如设备805A、805B、805C和805D)的设备映射图信息，以便用于将设备映射图信息与来自媒体设备801的观看信息相关联。
图9-11示出了表示家庭收入与每月电视观看时间的关联的图表的示例。每个图表来自不同的供应商，并且与从ACR系统的直接测量中学习的电视观看相关联，以检验来自每个供应商的数据的质量。
图9示出了与47％的第一匹配率等价的收入代码VS每月观看小时的示例。可以看出，两个因素不相关的概率在9×10^17处很小。概率指示匹配过程很可能良好。
图10示出了与62％的第二匹配等价的收入代码与每月观看小时的示例。可以看出，与图9相比，两个因素不相关的概率下降了三个数量级。因此，总体上的第二次匹配减少了系统中的随机性并且优于第一次(得分越低越好)。
图11示出了与收入代码等价的仅在数据集2中找到的媒体设备VS每月观看小时的示例。
在前述说明书中，参考本发明的具体实施例描述了本发明的各方面，但是本领域技术人员将认识到本发明不限于此。上述发明的各种特征和方面可以单独使用或联合使用。此外，在不脱离本说明书的更广泛的精神和范围的情况下，可以在除了本文描述的那些之外的任何数量的环境和应用中利用实施例。因此，说明书和附图应被视为说明性的而非限制性的。另外，虽然已经描述了系统，但应该认识到系统可以是一个或多个服务器。另外，ACR引擎132、统计相关器136、外部数据摄取器134、类别段生成器122、设备映射生成器124、数据报告生成器126、设备映射系统、观看行为系统130、设备映射分类系统120等可以由一个或多个服务器实现。
在前面的描述中，出于说明的目的，以特定顺序描述了方法。应当理解，在备选实施例中，可以以与所描述的顺序不同的顺序执行方法。还应当理解，上述方法可以由硬件部件执行，或者可以以机器可实行指令的顺序实施，其可以用于引发机器，诸如编有执行方法的指令的程序的通用或专用处理器或逻辑电路。这些机器可实行指令可以存储在一个或多个机器可读介质上，诸如CD-ROM或其他类型的光盘、软盘、ROM、RAM、EPROM、EEPROM、磁卡或光卡、闪存或其他类型的适用于存储电子指令的机器可读介质。可替换地，可以通过硬件和软件的组合来执行这些方法。
在将部件描述为被配置为执行特定操作的情况下，可以例如，通过设计电子电路或其他硬件来执行操作、通过编程可编程的电子电路(例如，微处理器或其他合适的电子设备)执行操作或其任何组合来完成这种配置。
虽然本文已经详细描述了本申请的说明性实施例，但是应当理解可以以其他方式不同地实施和使用本发明构思，并且所附权利要求旨在被解释为包括这样的变型，除非该变型受现有技术的限制。