具体实施方式

现在将详细参考关于附图讨论的示范性实施例。在一些情况下，将贯穿附图和下面的描述使用相同的参考编号来指代相同或相似的部分。所公开的材料、方法和示例仅是说明性的，而不是为了限制性的。

提供了用于检测和防止视频内容的未授权回放的视频内容安全解决方案。保护视频内容安全已经成为优质内容拥有者和OTT提供商的挑战。大量观众的在线串流和torrent下载已经成为优质视频内容合法分发的主要威胁。优质视频内容可以包括为向大量观众广播而制作的各种视频内容，诸如向OTT服务的用户递送的专业制作的高质量视频内容。根据本公开的一些实施例，视频内容的未授权回放(诸如，盗版内容串流)可以在执行回放的同时被有效地检测，并被中断以停止进一步的回放。这样，一旦其被检测，就可以实时或近乎实时地防止未授权回放。下面将进一步描述示范性解决方案和这种解决方案的优点。

图1A是与本公开的一些实施例一致的用于检测和防止未授权视频内容回放的示范性系统100A的图解表示。如图1A所示，示范性系统100A包括视频源110、显示设备120、比较器130，该比较器130可以是服务器或托管在云中的装置140、数据库150和网络160。图1A中所示的组件和布置只是示范性的，因为用于实施所公开的过程和特征的系统组件可以变化。

视频源110可以是提供视频内容的源。例如，视频源110可以是托管各种视频内容的各种网站或在线视频服务平台。用户可以经由网络连接访问、查看或下载这些视频内容。例如，用户可以访问在线视频服务平台以下载或流式传输电影。用户还可以将电影的副本存储在本地驱动器中或与对等体共享。在一些实施例中，视频源110可以是其中存储视频内容并可由视频显示设备访问和处理的存储介质。例如，视频源110可以是录像带、激光光盘、本地或外部硬盘驱动器、CD或DVD、SD卡、闪存驱动器或与计算设备相关联或托管在计算设备中的任何其他存储的形式。

显示设备120可以包括能够显示视频内容的任何设备。与一些实施例一致，显示设备120可以与视频源110通信并从视频源110获取视频内容。如图1A所示，显示设备120还可以包括视频解码器121、视频渲染器123和比较器客户端模块125。在一些实施例中，显示设备120可以包括智能手机、平板电脑、计算机显示器、TV、车载触屏显示设备或笔记本电脑。视频解码器121可以包括被配置为执行视频编码器的逆向功能并将压缩的视频内容转换为非压缩格式的电路。由视频解码器产生的图像帧可以被输入到视频渲染器123中，用于在显示器上回放解码的视频。比较器客户端模块125与解码器121通信连接，并且可以从由显示设备120正在执行的视频内容的回放中获得解码帧。所获得的解码帧可以由比较器客户端模块125使用以基于视频帧的特征生成视频安全密钥(VSK)。在一些实施例中，VSK可以是基于一个或多个视频内容帧生成的标识符，并且可以唯一地标识视频内容的属性。例如，VSK可以基于以下组合生成：包括在视频帧中的徽标、图像签名和水印。下面结合图6、7A和7B进一步解释生成VSK的示例过程。

在一些实施例中，比较器客户端模块125可以包括可信处理器或与托管在显示设备120的主处理器内的可信执行环境(TEE)相关联的硬件组件。在一些实施例中，比较器客户端模块125也可以是以安装在设备上在TEE内运行的可信应用的形式。例如，TEE可以在显示设备120的主处理器内提供与设备的操作系统同时运行的安全区域。该安全区域对于在其中的执行提供数据保密性和完整性。因此，与相同操作系统中的其他处理相比，TEE内的执行以更高的安全等级被保护。TEE是TEE的示范性实施例，其提供了利用硬件和软件两者来确保数据安全的混合方法。在一些实施例中，VSK的生成可以在TEE中执行，从而相关联的处理和所生成的VSK可以得到保护，免受在相同操作系统中运行的其他应用的篡改或干预。

可以领会的是，显示设备120可以包括其他组件，诸如用于与视频内容相关联的音频内容的解码和渲染组件、视频/音频输入设备(诸如视频摄像机、网络摄像机、麦克风)或类似的设备。显示设备120的配置在此不作限定。下面进一步描述，图2提供了与本公开的实施例一致的显示设备120的另一示例。

比较器130可以是与盗版检测或视频内容安全服务相关联的服务器或应用。比较器130可以是基于计算机的系统的形式，该系统包括计算机系统组件、工作站、存储器设备以及连接这些组件的(多个)内部网络。比较器130可以接收由显示设备120通过比较器客户端模块125生成的一个或多个VSK。比较器130还可以将所接收的VSK(仅为了便于描述而在下文中被称为“回放VSK”)与与认证的(authentic)优质视频内容相关联的VSK(仅为了便于描述而在下文中被称为“认证VSK”)进行比较，以确定所接收的VSK是否与认证VSK相匹配。

在一些实施例中，认证VSK可以由合法的优质内容分发商(诸如优质内容拥有者或OTT提供商)提供给比较器130或相关联的数据库。例如，电影制作者可以制作新电影《皇冠游戏》。在其发布之前，电影制作者可以生成与电影内容相对应的一组VSK，并将该VSK分发到相关联的或授权的实体。额外地或者可替换地，认证VSK可以由比较器130或与比较器130相关联的服务器生成。认证VSK的生成可以涉及用于生成回放VSK的相同或类似的逻辑/处理。例如，比较器130可以由盗版检测服务平台操作。电影制作者可以利用盗版检测服务平台来检测和防止《皇冠游戏》的未授权(或盗版)回放。电影制作者可以将电影的部分或整体的视频内容提供给盗版检测服务平台。然后，盗版检测服务平台(使用比较器130或相关联的服务器)可以基于所接收的视频内容，生成与《皇冠游戏》相对应的认证VSK。

如上所述，比较器130可以访问与由一个或多个优质内容分发商提供的各种优质视频内容相对应的认证VSK。当比较器130从显示设备120接收基于在显示设备120上执行的视频回放而生成的回放VSK时，比较器130可以将所接收的回放VSK与各种认证VSK进行比较，以确定回放VSK是否匹配认证VSK中的任何一个。如果所接收的VSK与对应于优质视频内容(例如，电影《皇冠游戏》)片段的认证VSK相匹配，则意味着显示设备120当前正在执行与《皇冠游戏》相关联的视频回放。

在一些实施例中，比较器130可以被托管在云140中。云140可以经由互联网提供云计算平台，并且可以被远程访问。比较器130还可以与数据库150相关联。数据库150可以包括一个或多个物理或虚拟存储器，并且可以被配置为存储与比较器130执行的处理相关联的数据。例如，数据库150可以包括由存储器控制器设备(例如，(多个)服务器等)或软件控制的一个或多个数据库的任意组合，诸如文档管理系统、Microsoft SQL数据库、SharePoint数据库、Oracle^TM数据库、Sybase^TM数据库、或其他关系型数据库或非关系型数据库(诸如Hadoop^TM序列文件、HBase^TM或Cassandra^TM)。在一些实施例中，数据库150可以被配置为存储认证VSK、从显示设备(诸如显示设备120)接收的回放VSK以及VSK比较数据。虽然数据库150被示出为连接到比较器130的外部设备，但数据库150也可以作为内部组件驻留在比较器130内或驻留在云140内。在一些实施例中，数据库150可以包括计算组件(例如，数据库管理系统、数据库服务器等)，该计算组件被配置为接收和处理对于存储在数据库的存储器设备中的数据的请求，并从数据库中提供数据。

网络160促进显示设备120、比较器130和/或系统100A的其他组件之间的信息的通信和共享。例如，网络160可以促进各种在线视频源与显示装置120之间的通信。网络160可以是提供通信、交换信息和/或促进信息交换的任何类型的网络。例如，网络160可以是互联网、局域网、蜂窝网、公共交换电话网(“PSTN”)或其他合适的连接。例如，显示设备120可以经由网络160将生成的回放VSK发送到比较器130。

如果比较器130确定所接收的VSK匹配于与优质视频内容的片段相关联的认证VSK，则比较器130可以向显示设备120发送与该优质视频内容的片段相关联的授权回放源列表。这样，显示设备120可以确定视频源110是否包括在授权回放源列表中。作为示例，《皇冠游戏》的电影制作者可以授权一系列视频服务平台，诸如TV频道、网站、视频服务提供商或符合制作者的安全政策要求的某些设备，以提供《皇冠游戏》供观看。这些视频服务平台将被认为是授权回放源，因为它们被电影制作者授权以合法方式提供《皇冠游戏》。例如，如果显示设备120通过比较器客户端模块125确定视频源110不包括在从比较器130接收的授权回放源列表中，显示设备120可以实时停止回放。

图1B是与本公开的一些实施例一致用于检测和防止视频内容的未授权回放的示范性系统100B。如图1B所示，比较器130可以与一个或多个与视频服务提供商相关联的优质内容管理服务器通信。在示范性系统100B中，比较器130与优质内容管理服务器170通信。优质内容管理服务器170可以被配置为管理特定视频服务提供商的优质视频内容。例如，优质内容管理服务器170可以通过VSK比较来实施视频内容安全解决方案。当比较器130从显示设备120接收回放VSK时，比较器130可以将回放VSK重定向或转发到优质内容管理服务器170，以用于与对应于在此管理的优质内容的认证VSK进行进一步比较。如上文参照图1A所述，由优质内容管理服务器170执行的比较处理可以类似于由系统100A中的比较器130执行的比较处理。如果优质内容管理服务器170确定回放VSK与对应于其管理的优质视频内容片段的认证VSK相匹配，则其可以直接或间接地将与该优质视频内容片段相关联的授权回放源列表发送给显示设备120。

可以理解的是，图1A和1B仅是示范性的，并且系统100A和100B可以包括额外的或可替代的配置，这些配置不限于此。此外，在一些实施例中，描述为由系统的一个组件执行的处理可以由另一组件执行。例如，由比较器130执行的处理可以由显示设备120托管，诸如在TEE中或由比较器客户端模块125执行。在一些实施例中，由比较器客户端模块125执行的处理可以只被要求在离线模式(没有互联网连接)中实现盗版检测，诸如当回放视频源从本地存储装置(例如，本地驱动器或视频磁盘)获得时。在这种情况下，可以使用显示设备芯片的可信/安全环境内的内部比较器模块(诸如比较器客户端模块125)。

图2是与本公开的一些实施例一致的示范性显示设备200的图解表示。显示设备200可用于实施计算机程序、应用、方法、进程或其他软件，以执行本公开中描述的实施例。显示设备200可以充当上面参照图1A和1B描述的显示设备120。如图2中所示，显示设备200包括存储器接口202、一个或多个处理器204(诸如数据处理器、图像处理器和/或中央处理单元)，以及外设接口206。存储器接口202、一个或多个处理器204和/或外设接口206可以是分离的组件，也可以集成在一个或多个集成电路中。显示装置200中的各种组件可以通过一个或多个通信总线或信号线耦合。一个或多个处理器204可以是可信处理器或托管TEE的处理器，如上文参照图1A所述，用于与VSK生成和传输有关的处理的安全执行。

可以将传感器、设备和子系统耦合到外设接口206以促进多个操作。例如，可以将运动传感器210、光传感器212和接近传感器214耦合到外设接口206，以促进定向、照明和接近功能。其他传感器也可以连接到外设接口206，诸如定位系统(例如，GPS接收器)、温度传感器、生物识别传感器或其他传感设备，以促进相关功能。可以利用摄像机子系统220和光学传感器222(例如，电荷耦合设备(“CCD”)或互补金属氧化物半导体(“CMOS”)光学传感器)以促进摄像机功能，诸如记录照片和视频剪辑。在显示设备200以智能手机的形式实施的情况下，可以将各种其他传感器嵌入到该设备中。

可以通过一个或多个无线/有线通信子系统224来促进通信功能，该子系统可以包括以太网端口、无线电频率接收器和发射器，和/或光学(例如，红外)接收器和发射器。无线/有线通信子系统224的具体设计和实施方式取决于显示装置200意图在其上操作的通信网络。例如，在一些实施例中，显示装置200包括设计为在GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络和网络上操作的无线/有线通信子系统224。

音频子系统226可以耦合到扬声器228和麦克风230，以促进使能语音的功能，诸如语音识别、语音复制、数字记录和电话功能。

I/O子系统240可以包括触摸屏控制器242和/或(多个)其他输入控制器244。触摸屏控制器242可以与触摸屏246耦合。触摸屏246和触摸屏控制器242可以例如使用多个触摸灵敏度技术中的任何一个来检测接触和移动或其中断，该多个触摸灵敏度技术包括但不限于电容式、电阻式、红外式和表面声波技术，以及其它接近传感器阵列或用于确定与触摸屏246的一个或多个接触点的其它元件。触摸屏246可用于显示解码和渲染的视频回放，以用于用户观看。虽然图2中示出了触摸屏246，但I/O子系统240可以包括显示屏幕(例如，CRT或LCD)来代替触摸屏246。

(多个)其他输入控制器244与其他输入/控制设备248耦合，诸如一个或多个按钮、摇杆开关、拇指轮、红外端口、USB端口和/或指针设备(诸如手写笔(stylus))。例如，触摸屏246还可以用于实施虚拟或软按钮和/或键盘。

存储器接口202可以耦合到存储器250。存储器250可以包括高速随机存取存储器和/或非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光学存储设备和/或闪存(例如，NAND、NOR)。存储器250可以存储操作系统252，诸如DARWIN、RTXC、LINUX、iOS、UNIX、OS X、WINDOWS或嵌入式操作系统。操作系统252可以包括用于处理基本系统服务和用于执行依赖于硬件的任务的指令。在一些实施例中，操作系统252可以是内核(例如，UNIX内核)。

存储器250还可以存储通信指令254，以促进与一个或多个额外设备、一个或多个计算机和/或一个或多个服务器(诸如上文参照图1A所述的比较器130)进行通信。存储器250可以包括：图形用户界面(GUI)指令256，以促进图形用户界面处理；传感器处理指令258，以促进传感器相关的处理和功能；电话指令260，以促进电话相关的过程和功能；电子消息传递(messaging)指令262，以促进电子消息传递相关的过程和功能；网络浏览指令264，以促进网络浏览相关的过程和功能；媒体处理指令266，以促进媒体处理相关的过程和功能；GPS/导航指令268，以促进GPS和导航相关的过程和指令；摄像机指令270，以促进摄像机相关的过程和功能；和/或其他软件指令272，以促进其他过程和功能。

上面识别的指令和软件应用中的每一个可以对应于用于执行本文所述的一个或多个功能的指令集。例如，媒体处理指令266可以包括用于解码和渲染从视频源获得的视频内容的指令，诸如上面参照图1A描述的视频源110。视频内容可以通过无线/有线通信子系统224传输到显示设备200，并且还可以存储在存储器250中。然后可以在触摸屏246上显示视频内容。(多个)处理器204可以获得解码帧，以用于生成与视频回放相对应的回放VSK。与本文所述功能相对应的指令可以被实施为分离的软件程序、过程或模块。存储器250可以包括额外的指令或较少的指令。此外，显示装置200的各种功能可以在硬件和/或软件中实施，包括在一个或多个信号处理和/或特定应用集成电路中实施。

图3是与本公开的一些实施例一致的以服务器形式实施的示范性比较器300的图解表示。比较器300可以是单个服务器，或者可以配置为包括多个服务器、服务器场、云或计算机的分布式计算机系统，这些服务器、服务器场、云或计算机交互操作以执行与所公开的实施例相关联的一个或多个处理和功能。比较器300可以充当上面参照图1A描述的比较器130。

如图3所示，比较器300包括互连子系统或组件的总线302(或其它通信机构)，以用于在比较器300内传递信息。比较器300还包括一个或多个处理器310、存储程序330和数据340的一个或多个存储器320、输入/输出(“I/O”)设备350以及网络接口360。例如，程序330可以包括操作系统332和比较程序334。网络接口360可以包括调制解调器、以太网卡或被配置为与如图1A所示的网络160交换数据的任何其它接口。如图1A中所示，比较器300还可以与数据库150相关联。

处理器310可以是被配置为执行本文所公开的方法和功能的一个或多个处理设备，诸如由Intel^TM或AMD^TM制造的微处理器。处理器310可以包括同时执行并行处理的单核或多核处理器。例如，处理器310可以是配置有虚拟处理技术的单核处理器。在一些实施例中，处理器310可以使用逻辑处理器来同时执行和控制多个进程。处理器310可以实施虚拟机技术，或者其他技术以提供执行、控制、运行、操纵、存储等多个软件进程、应用、程序等的能力。在一些实施例中，处理器310可以包括被配置为提供并行处理功能以允许比较器300同时执行多个进程的多核处理器布置(例如，双核、四核等)。可以理解的是，可以实施提供本文所公开的能力的其他类型的处理器布置。

存储器320可以是易失性或非易失性的、磁性的、半导体的、磁带的、光学的、可移动的、不可移动的、或其他类型的存储设备或有形或非暂态的计算机可读介质，其存储一个或多个程序330，诸如操作系统332和比较程序334，以及数据340。例如，常见的非暂态介质形式包括闪存驱动器、软盘、硬盘、固态驱动器、磁带或任何其它磁性数据存储介质、CD-ROM、任何其它光学数据存储介质、带有孔洞图案的任何物理介质、RAM、PROM和EPROM、FLASH-EPROM或任何其它闪存、NVRAM、高速缓存、寄存器、任何其它存储器芯片或盒、以及它们的网络版本。

程序330包括被配置为使得处理器310执行与所公开的实施例一致的一个或多个功能的一个或多个软件模块。此外，处理器310可以执行从比较器300的一个或多个组件远程定位的一个或多个程序。例如，比较器300可以访问在执行时执行与公开的实施例有关的功能的一个或多个远程程序。

程序330还包括当由一个或多个处理器(诸如处理器310)执行时执行操作系统功能的操作系统332。举例来说，操作系统332可以包括Microsoft Windows^TM、Unix^TM、Linux^TM、Apple^TM操作系统、个人数字助理(PDA)类型的操作系统，诸如Apple iOS、Google Android、Blackberry OS或其他类型的操作系统。因此，所公开的实施例可以与运行任何类型的操作系统332的计算机系统一起操作和运作。比较器300还可以包括软件，该软件在由处理器执行时，提供通过网络接口360的与网络160的通信和/或到一个或多个用户设备(诸如显示设备120)的直接连接。

比较程序334可以包括一个或多个软件模块，以用于执行从显示设备(诸如显示设备120)接收的回放VSK与对应于优质视频内容的认证VSK之间的比较，以确定是否存在匹配。例如，可以通过回放VSK和认证VSK之间的差值，诸如两个VSK之间的汉明距离，来测量VSK之间的相似度。下面参照图5和图8进一步解释比较过程的示例。

在一些实施例中，比较器300可以被配置为管理各种优质视频内容，并且可以存储对应于优质视频内容的每个片段的各种VSK。为了提高比较过程的效率，可以使用机器学习模型来缩小潜在相似VSK的范围。然后可以针对识别出的潜在相似VSK执行比较。这样，可以减少VSK比较过程所需的计算资源，并且可以更有效地识别匹配的VSK。作为示例，优质视频内容可以被分类为不同的类别和子类别。分类可以基于视频内容的主题、发布时间(或首播时间)、演艺人员、制作者、来源国等。作为示例，基于视频内容的主题，优质视频内容可以分类为动作或冒险、动漫、电影、喜剧、邪典(cult)电影、剧情、纪录片、音乐、科幻和奇幻、体育或TV节目。每个类别还可以包括不同的子类别。例如，TV节目还可以包括犯罪TV节目、军事TV节目、食品和旅行、TV恐怖、青少年TV节目等。类似地，优质内容也可以基于其制作者、广播公司或分发商进行分类，诸如由或制作的视频内容。在一些实施例中，优质视频内容可以基于不同的分类来组织，并且视频内容的一个片段可以对应于不同的类别或子类别，这些类别或子类别不限于此。例如，视频内容的一个片段可以基于分发商被分类为通过的节目、基于主题分类为恐怖电影、基于首播时间分类为2019年的节目、由导演X执导的节目和包括演员Y的节目。

当比较器300接收到回放VSK时，比较器300可以首先确定可以潜在地包括匹配认证VSK的类别或子类别，以识别各种认证VSK内的子组，用于进一步比较。该子组的识别可以基于以下任意组合：所接收的VSK、视频回放的一个或多个特性(诸如相应帧的特征)、与回放的描述有关的信息、或与用户账户有关的信息(诸如视频观看历史或观看偏好)。例如，盗版的视频可以在徽标部分或在由视频源110提供的标题描述中带有指示“HBO”的相应描述。由分发的视频内容可以被识别并包括在要与所接收的回放VSK进行比较的认证VSK的子组中。子组的识别还可以基于与用户相关联的信息。例如，基于用户的账户信息和视频观看历史，显示设备120或比较器130可以基于用户已经观看的科幻内容的百分比来确定用户具有对科幻幻想节目的偏好。比较器300可以使用科幻幻想作为识别用于与所接收的VSK的比较的认证VSK子组的额外的标准。可以使用各种机器学习模型来有效地识别VSK的子组，诸如神经网络、循环神经网络、卷积神经网络、生成对抗网络、决策树以及基于集成方法的模型(诸如随机森林)。

数据340可以包括与由处理器310执行的处理相关联的各种信息。例如，在一些实施例中，数据340可以包括由比较器300从显示设备120接收的回放VSK以及与视频回放有关的其他信息，诸如回放的日期和时间、回放进度、识别视频源110的信息以及识别显示设备120和相关联的用户账户的信息。在一些实施例中，数据340还可以存储关于与用户账户相关联的视频观看历史的信息，包括用户已经观看过的优质内容、对于视频内容的某些类别的用户偏好以及与先前观看盗版材料有关的信息。还可以分析这种数据，以协助未来的盗版检测。在一些实施例中，数据340还可以包括对应于各种认证VSK的授权播放源列表。当比较器130确定所接收的回放VSK与对应于优质视频内容的特定片段的认证VSK相匹配时，比较器130可以确定授权提供该优质视频内容片段的授权回放源列表。可以理解的是，数据340可以包括类似地存储在数据库150中的信息，并且可以与数据库150共享或同步数据。

I/O设备350可以具有允许由比较器300接收和/或发送数据的一个或多个接口，其用于从设备接收信号或输入并向一个或多个设备提供信号或输出。例如，比较器300可以包括使比较器300能够接收来自操作者或管理员(未示出)的输入的、用于与一个或多个输入设备(诸如一个或多个键盘、鼠标设备等等)接口的接口组件。可以理解的是，图3中所示的配置仅仅是示范性的，并且比较器300可以包括替代的或额外的组件，这些组件不受本公开的限制。

图4是与本公开的一些实施例一致的用于检测和防止视频内容的未授权回放的系统的不同组件之间的示范性交互400的图解表示。如上文参照图1A在系统100A中描述的组件在此作为示例并为便于描述而使用。如图4所示，该交互包括步骤401-409。

在步骤401中，显示设备120从视频源110获得视频内容。从视频源110获得视频内容可以通过串流服务、下载或torrent，这在此不作限定。在一些实施例中，视频源110可以从显示设备120内的存储器组件获得。显示设备120可以执行所获得的视频内容的视频回放。

在步骤403中，比较器客户端模块125从解码器121获得一个或多个解码的视频帧。基于所获得的解码帧中的一个或多个解码帧，比较器客户端模块125可以生成一个或多个回放VSK。

在步骤405中，比较器客户端模块125将(多个)生成的回放VSK发送到比较器130。然后，比较器130可以确定所生成的回放VSK是否与对应于优质视频内容的多个认证VSK中的一个认证VSK相匹配。

在一些实施例中，在比较器客户端模块125将所生成的回放VSK发送到比较器130之后，它可以从比较器130接收指示回放VSK的接收的签名确认信号(ACK)。接收签名ACK可以帮助确保回放VSK被成功发送，并且在传输期间没有被转移到另一实体或被篡改。例如，对于由比较器客户端模块125生成并发送到比较器130的每个回放VSK，可以从比较器130接收相应的签名ACK。因此，如果任何回放VSK在传输过程期间被拦截或重定向到另一网络实体(并且比较器客户端模块125没有从比较器130接收到签名ACK)，则它可以基于ACK的缺失而被立即检测。

在步骤407中，如果比较器130确定所接收的回放VSK与多个认证VSK中的一个认证VSK相匹配，则比较器130将与该认证VSK相对应的授权回放源列表发送到显示设备120。例如，比较器130可以确定所接收的回放VSK与对应于《皇冠游戏》的认证VSK相匹配。然后，比较器130可以将《皇冠游戏》的授权回放源列表发送到显示设备120。该列表可以被发送到显示设备120内的比较器客户端模块125。

在步骤409中，如果比较器客户端模块125确定该视频源110不包括在从比较器130接收的授权回放源中，比较器客户端模块125可以向解码器121(通过显示设备120的处理器)发出指令以中断该回放。例如，该指令可以指示解码器121停止解码视频内容，从而禁用视频回放。可以理解的是，如图4中所示的交互400仅是示范性的。与本公开的一些实施例一致，可以包括替代的或额外的处理。

图5是与本公开的一些实施例一致的用于检测和防止视频内容的未授权回放的示范性过程500。在一些实施例中，过程500可以由显示设备120执行。如图5中所示，过程500包括步骤510-560。

在步骤510中，显示设备120内的比较器客户端模块125在视频回放期间从解码器(诸如解码器121)获取视频帧。例如，在用户开始串流视频内容之后，解码器121对内容进行解码并生成解码的图像帧。比较器客户端模块125可以直接从解码器121获得解码的视频帧的集合。解码的视频帧可以在它们生成后被立即获得，使得可以在回放被执行时立即或近乎实时地执行盗版检测。在一些实施例中，可以通过安全路径执行从解码器121到比较器客户端模块125的解码帧的传输，以确保安全并避免篡改。

在步骤520中，比较器客户端模块125基于获得的视频帧生成回放VSK。在一些实施例中，一个VSK可以对应一个解码的视频帧，并且可以向比较器130提供对应于不同的解码的视频帧的多个VSK以用于比较。

在一些实施例中，可以为每个解码帧生成一个VSK。可替换地，可以为从获取的解码帧中选择的某些帧生成VSK。例如，可以选择具有区别或动态图像特征的帧来生成VSK。具有全屏纯色的帧，诸如全屏黑/白图像帧，或缺乏区分特征的其他帧可以被跳过或丢弃，因为这种一般帧可以被包括在各种优质视频内容中。因此，基于这种帧生成的VSK可以与包括在各种优质视频内容中的VSK相匹配，从而对识别与视频回放相对应的优质视频内容的特定片段几乎没有产生帮助。

在一些实施例中，为了确保VSK可以基于解码帧实时或近乎实时地生成，可以设置基于一个解码帧生成VSK的计算时间阈值。基于具体实施方式，该阈值可以是可调整的。例如，比较器客户端模块125生成一个VSK的计算时间阈值可以设置为半毫秒或一毫秒。如果对于某个帧，生成VSK的计算时间超过阈值，则可以丢弃该帧。可以选择另一解码帧(诸如最近解码的帧)用于生成VSK。这样，检测过程中涉及的延迟可以最小化。

在步骤530中，显示设备120将生成的回放VSK发送到比较器130。生成的回放VSK的传输可以由比较器客户端模块125或在TEE中执行，以避免篡改或干预。在一些实施例中，为了确保传输过程的安全性，生成的回放VSK可以被加密。显示设备120可以将加密的回放VSK发送至比较器130。此外，如上文针对步骤405所描述的，在比较器客户端模块125将生成的回放VSK发送至比较器130后，可以从比较器130接收指示回放VSK的接收的签名ACK。这可以帮助确保由比较器130成功地接收回放VSK，并且在传输期间没有被转移到另一实体或被篡改。

在步骤540中，如果比较器130确定回放VSK与认证VSK相匹配，则显示设备120接收与认证VSK相关联的授权回放源列表。例如，如果比较器130确定回放VSK与对应于《皇冠游戏》的认证VSK相匹配，那么比较器130可以向显示设备120发送《皇冠游戏》的授权回放源列表。

在步骤550中，显示设备120确定视频回放的源是否包括在授权回放源列表中。也就是说，如果该视频回放的源未被列出，则指示该源并非来自合法源，并且可能是盗版内容。

在步骤560中，如果确定该视频回放的源不包括在授权回放源列表中，则显示设备120可以中断该视频回放并阻止用户进一步观看内容。利用本文提供的解决方案，可以实时或近乎实时地停止视频内容的未授权回放(诸如观看盗版内容)。给定对于生成回放VSK和VSK的比较所需的处理时间，可以涉及很少的延迟。一旦VSK被比较和匹配，就可以停止视频回放，并且因此有效地遏制盗版行为。

图6是与本公开的一些实施例一致的用于生成图像签名的示范性过程600。所生成的图像签名可以用于生成回放VSK。在一些实施例中，过程600可以由显示设备120执行，例如，使用比较器-客户端模块125。如图6中所示，过程600包括步骤610-650。

在步骤610中，从从解码器121获取的解码帧的集合中选择解码帧。在一些实施例中，可以为每秒钟捕获的帧获得一个解码帧。换句话说，获取解码帧的频率可以取决于视频内容的帧速率。例如，如果视频内容以60fps播放，那么可以在每60帧中获得一个帧。类似地，如果视频内容以30fps播放，则可以在每30帧中获得一个帧。获取解码帧的频率可以基于具体实施方式的要求进一步调整，本文不对此限定。

在步骤620中，识别帧的帧部分，该帧部分排除帧的边界区域。在一些实施例中，所识别的帧部分可以排除，例如，上、下、左和右的约20％(或其它百分比)的帧的边缘。图7A示出了识别帧内的帧部分的示例实施方式。如图7A中所示，比较器客户端模块125获得解码帧711。基于帧711识别帧部分713。帧部分713可以具有与帧711相同的中心点，同时排除边界区域。帧部分713可以具有与帧711相同的宽高比(aspect ratio)。例如，如果帧711的宽高比为16:9，则所识别的帧部分713也可以是16:9。

排除边界区域有助于消除可能基于原始视频内容添加或操纵的图像元素或经受恒定变化的元素引起的噪声。例如，这种元素可以包括运营商/广播公司徽标；各种语言、字体和大小的字幕；在记分板上显示的变化的分数；以及新闻推送或广告的滚动横幅。作为示例，一些用户可能在观看某些视频内容时打开字幕。字幕可能被设置为占据屏幕的顶部区域或屏幕的底部部分，并且还可以为不同的语言。去除具有潜在字幕的边界区域可以防止基于相同视频内容的回放VSK的生成被由不同字幕的存在引入的噪声所干扰。因此，盗版检测将不会因为视频内容中字幕的添加或变化而被规避或影响。

在一些实施例中，可以使用类似的处理生成对应于优质视频内容的认证VSK。用于提前创建认证VSK的图像帧的窗口大小可以大于(或等于)比较器客户端模块125用来实时计算回放VSK的窗口大小。在使用不同大小的窗口的情况下，可以实施滑动窗口机制，以在较大的窗口的范围内搜索较小的窗口，以检测例如用稍微不稳定与未对齐的摄录机记录的内容。例如，一些盗版内容可以通过使用摄录机偷运进提前的电影放映中记录视频内容来创建。由于摄录机在记录过程期间可能不稳定或未对齐，因此录制的内容可能只包括屏幕的部分或屏幕的某些部分有时被遮挡。

在步骤630中，比较器客户端模块125将所识别的帧部分转换为灰度。将所识别的帧部分转换为灰度的一个优点是消除由色彩频率变化引起的中断。

在步骤640中，如果帧部分的宽高比为4:3，则转换的帧部分被压缩并缩放为8×8的矩阵，如果帧部分的宽高比为16:9，则转换的帧部分被压缩并缩放为16×9的矩阵。

在步骤650中，使用哈希逻辑将比特分配到矩阵以生成图像签名。在一些实施例中，可以基于无维度像素梯度或分辨率的变化在矩阵中先垂直分配比特并且然后水平分配比特。无维度像素梯度可以指的是仅指示像素暗度中的变化而不指示朝向像素暗度的方向的梯度。在一些实施例中，视频内容的宽高比大于1(例如，4:3或16:9)。因此，对其首先垂直分配比特的图像签名可以产生更准确的图像特征的表示，并且促进了匹配案例的更快的识别。如图7B中的示例所示，帧721(其也可以是帧部分)具有16:9的宽高比，这是广泛使用的，诸如用于在宽屏TV中使用的图像。帧723至727帧分别具有1:1、3:2和4:3的宽高比。在社交媒体资料照片中使用的图像可以具有1:1的宽高比(723)。来自35mm胶片的图像可以具有3:2的宽高比(725)。在TV或数码相机上使用的一些视频图像可以具有4:3的宽高比(727)。对于帧721，存在16个垂直列C1至C16和9个水平行R1至R9。如果在比特分配过程中首先考虑垂直列，则可以利用设定数量的字节提取更多信息。例如，当读取18个字节时，可以提取关于2列(C1和C2)的信息。相反，如果在比特分配过程中首先考虑水平行，利用18个字节，只能完全提取关于1行的信息。换句话说，如果先垂直分配比特，则可以利用更少的被读取的字节获得更多的图像噪声熵。

可以根据图像签名生成回放VSK和认证VSK两者。例如，对8×8矩阵分配比特后，可以获得128字节的图像签名(64(垂直)+64(水平))。类似地，对于16×9矩阵，可以获得288字节的图像签名(144(垂直)+144(水平))。生成的图像签名可用作回放VSK。可以基于视频回放的其他帧生成额外的回放VSK。也就是说，可以基于相同视频生成一组VSK。在一些实施例中，可以基于图像签名以及额外的元素(诸如包括在帧中的徽标或包括在帧中的水印)来生成回放VSK。例如，视频内容的一些帧可以包括制作者或分发商的徽标。徽标特征可以被识别并用于生成回放VSK。可以使用的各种标识检测技术不受限于此。

图8是与本公开的一些实施例一致的用于检测和防止视频内容的未授权回放的示范性过程800。过程800可以由，例如，如上文参照图1A所描述的比较器130执行。如图8中所示，过程800包括步骤810-860。

在步骤810中，比较器130存储多个认证VSK。该多个认证VSK可以对应于各种优质视频内容。例如，比较器130可以与OTT提供商相关联，并且被配置为针对该OTT提供商提供的各种优质视频内容执行盗版检测。该多个认证VSK可以从优质视频内容拥有者接收，或者由比较器130基于优质视频内容生成。在一些实施例中，认证VSK可以基于类似于用以生成回放VSK的那些过程的过程来生成，诸如上面参照图5-图6描述的那些过程。比较器130可以将多个认证VSK存储在相关联的内部或外部数据库中，诸如数据库150。

在一些实施例中，认证VSK可以基于视频帧的集合生成，该视频帧的集合不同于包括在与优质视频内容相关联的促销(promotional)内容中的视频帧、优质视频内容的介绍性帧(诸如带有演艺人员列表的帧)、或缺乏区别特征的一般帧。例如，在新电影的官方发布之前，该电影的一些短剪辑可以包括在为促销而设计的电影预告片中。预告片可以包括可以在各种用户设备上访问和显示的视频帧。当用户在显示设备上执行预告片的回放时，对这种回放的盗版检测和中断可以不是必需的。因此，在一些实施例中，可以基于不包括在预告片中的视频帧来生成与该电影相对应的认证VSK，使得将对应于这种帧的回放VSK从VSK比较过程中排除。此外，具有全屏纯色的帧，诸如全屏黑/白图像帧，或其他缺乏区分特征的帧可以被跳过或丢弃。这种一般帧可以包括在各种优质视频内容中，并且因此在将视频内容的特定片段与其他进行区分方面几乎没有提供价值。

此外，在一些实施例中，对应于一些优质视频内容的认证VSK可以具有相关联的有效期。例如，对应于新电影的认证VSK可以在它发布后的前六个月内有效。该前六个月可能是盗版行为造成最大威胁的时段。有效期可以取决于所涉及的具体优质内容而变化。在一些实施例中，认证VSK的有效期可以与盗版检测服务的期限相关联。例如，在比较器130与为不同内容提供商管理各种优质内容的盗版检测代理相关联的情况下，不同的内容提供商可能已经签订了不同时间段的盗版检测服务合同。

在步骤820中，比较器130从显示设备(诸如显示设备120)接收回放VSK。回放VSK可以基于由显示设备当前执行的视频回放生成。

在步骤830中，比较器130使用机器学习模型识别多个认证VSK内的认证VSK的子组。该认证VSK的子组可以对应于与视频回放的内容属于相同类别的优质视频内容，并且因此包括潜在的匹配认证VSK。步骤830包括类似于上述参照图3描述的处理，此处不再重复。

在步骤840中，比较器130确定所接收的回放VSK与包括在子组中的一个或多个认证VSK中的每一个认证VSK之间的汉明距离。汉明距离可以表示两个VSK之间的差异。汉明距离越小，两个VSK之间的相似度越高。例如，在一些实施例中，图像签名可以用来表示VSK，并且可以是二进制数据串的形式。这种VSK之间的汉明距离可以指示其中两个比特不同的比特位置的数量，其指示了两个帧之间不同的像素的计数。

在步骤850中，当回放VSK与认证VSK之间的汉明距离小于预设阈值时，比较器130可以确定该回放VSK与该认证VSK相匹配。预设阈值可以取决于具体实施方式进行调整。在一些实施例中，如果识别出多个认证VSK具有小于预设阈值的、距回放VSK的汉明距离，则可以将对应于最小汉明距离的认证VSK确定为匹配认证VSK。在一些实施例中，如果没有发现匹配认证VSK，则过程800可以返回到步骤820，以接收一个或多个额外的回放VSK用于与认证VSK的比较，以识别匹配认证VSK。此外，如果在接收和比较预设数量的VSK之后，没有发现匹配认证VSK，则过程800可以终止。可以由比较器130生成消息，该消息指示没有发现匹配认证VSK。该消息还可以被发送到显示设备120。

在步骤860中，比较器130将与匹配认证VSK相关联的授权回放源列表发送到显示设备120。如果回放VSK与认证VSK相匹配，则意味着该回放对应于与该认证VSK相关联的优质视频内容。然后，比较器130可以获得允许提供或托管该优质视频内容的授权回放源列表。该列表可以用以确定从其获得回放内容的视频源(诸如视频源110)是否是授权回放源之一。在一些实施例中，一旦识别出匹配认证VSK，可以立即或以最小的延迟将授权回放源列表发送到显示设备120，使得，如果确定视频源110是未授权的源，则可以近乎实时地采取行动以中断回放。

在一些实施例中，在确定基于一个解码帧的回放VSK与认证VSK相匹配后，可以接收一个或多个回放VSK。比较器130可以确定对应于来自相同视频回放的不同解码回放帧的多个回放VSK是否与对应于相同优质视频内容的认证VSK相匹配。如果多个回放VSK与对应于相同优质视频内容的认证VSK相匹配，那么比较器130可以以高置信度确定该视频回放对应于该优质视频内容。作为示例，可以从显示设备120接收第一回放VSK。该第一回放VSK可以基于第一解码帧生成。比较器130可以确定该第一回放VSK匹配于与《皇冠游戏》相关联的认证VSK。可以从显示设备120接收第二回放VSK，该第二回放VSK可以基于来自由显示设备120当前执行的相同视频回放的不同解码帧生成。然后，比较器130可以确定该第二回放VSK是否对应于另一认证VSK。如果该第二回放VSK与《皇冠游戏》的另一认证VSK相匹配，则指示至少两个解码帧与《皇冠游戏》的两个帧相匹配。比较器130因此可以以更高的置信度确定该视频回放是《皇冠游戏》的版本。通过比较和匹配多个回放VSK，可以避免由相似或一般帧引起的不匹配。

在一些实施例中，可以设置匹配阈值，以指示在比较器130确认匹配并向显示设备120发送授权回放源列表之前必须针对视频内容的相同片段的认证VSK相匹配的VSK的数量。继续上面的示例，如果第一回放VSK与《皇冠游戏》的认证VSK相匹配，并且第二VSK与优质视频内容的不同片段的认证VSK相匹配，则显示设备120可以发送额外的回放VSK以用于由比较器130进一步的比较，以确保准确匹配。

在一些实施例中，比较器130可以从显示设备120获得识别视频源110的信息，而不是将授权回放源列表发送给显示设备120。当识别出匹配认证VSK时，比较器130可以确定视频源110是否包括在授权回放源列表中并向显示设备120发送相应的通知。在一些实施例中，该通知还可以包括中断视频回放的指令。

在一些实施例中，本文提供的解决方案可以协助视频服务提供商或分发商确保供应商或设备符合其视频安全政策。根据一些实施例，显示设备可以使用可信处理器或具有与可信执行环境(TEE)相关联的预装逻辑的其他硬件组件、片上系统(SOC)组件，或通过与视频内容安全或反盗版解决方案(诸如安全补丁)相关联的软件代码来实施回放VSK的生成或传输。视频服务提供商可能希望确保显示设备包括用于实施反盗版解决方案的这些硬件或软件组件，使得可以检查在显示设备上执行的回放。以OTT提供商为示例，OTT提供商可以通过用户可以安装在他们的设备上的应用提供视频服务。视频服务应用可以被配置为识别相应的显示设备是否符合硬件或软件要求。

作为示例，视频服务应用可以检查显示设备上是否存在具有预装逻辑的硬件组件(诸如芯片组或处理器)。如果确定这种硬件组件不存在于显示设备上，则视频服务应用可以向与OTT提供商相关联的管理服务器(诸如比较器130或相关联的服务器)发送相应的通知。然后，管理服务器可以通过视频服务应用发送指令，指示通过视频服务应用提供的视频服务的中断或停止。例如，如果视频服务应用确定设备上不存在用于实施诸如本文所公开的那些反盗版解决方案的硬件组件，则OTT提供商的管理服务器可以向显示设备发送指令，以阻止任何合法的优质视频内容的回放。

类似地，OTT提供商可以通过安全补丁可替代地实施反盗版解决方案。例如，OTT提供商可以发布包括用于实施本文所公开的用于检测和防止未授权回放的方法的软件代码的软件更新。视频服务应用可以检查软件更新是否安装。如果确定软件更新没有安装，则可以暂停通过视频服务应用提供的正常视频服务，直到安装完成。这样，OTT服务提供商可以确保使用视频服务应用的任何用户设备符合安全要求。

利用本文提供的解决方案，可以近乎实时地检测和防止未授权回放，并有效地遏制盗版。作为示例，利用本文所公开的一些解决方案，用户显示设备(使用程序或通过应用)可以在视频回放期间捕获解码帧，并生成该解码帧的唯一标识符(诸如上面描述的VSK)。生成的标识符可以被加密并发送到后端(诸如云中的比较器)用于分析。比较器可以将所接收的回放标识符与对应于原始、优质视频内容的标识符进行比较。如果比较器确定该回放标识符与优质视频内容片段的标识符相匹配，则比较器可以连同被许可播放或托管该优质视频内容的授权回放源列表通知显示设备。显示设备可以检查回放的视频源是否包括在所接收的列表中。如果该视频源不包括在该接收的列表中，则显示设备可以中断视频回放。可替换地，在少量回放帧的标识符与相同优质视频内容相匹配后，可以中断回放。相应地，如果从盗版网站播放回放(并且因此不包括在授权回放源列表中)，则可以实时或仅在观看了非常有限的数量的帧之后停止回放。

本文所公开的解决方案具有以下额外的优点。只要生成了认证的标识符并且能被比较器访问，这些解决方案就能帮助防止优质视频内容在其正式发布之前的盗版和非法消费。此外，使用基于帧内容生成的唯一标识符可以避免混淆或移除，这可以被用来避免徽标或水印检测。此外，因为用于生成标识符的帧部分比实际帧小，所以还可以检测使用不稳定的手持摄录机记录的视频内容的回放。此外，即使在设备上没有安装OTT提供商的合法视频服务应用，也可以在显示设备上执行盗版检测。此外，本公开还提供了OTT提供商可以使用以确保芯片组或SOC供应商遵守提供商的安全策略的解决方案。例如，显示设备可能已经安装了由OTT提供商提供的视频服务应用。视频服务应用可以检查显示设备上是否存在用于实施反盗版解决方案的硬件组件(诸如TEE处理器或芯片组)或软件代码。如果显示设备上不存在这种硬件组件或软件代码，则视频服务应用可以停止执行正常的视频服务。

前述描述已经出于例示的目的呈现。它不是详尽的，也不限于所公开的精确形式或实施例。从所公开的实施例的说明书和实践的考虑，实施例的修改和改编将是显而易见的。例如，虽然某些组件已被描述为彼此耦合，但这种组件可以彼此集成或以任何合适的方式分布。

而且，虽然本文已经描述了例示性实施例，但范围包括具有基于本公开的等效元素、修改、遗漏、组合(例如，跨各种实施例的方面)、改编和/或改变的任何和所有实施例。权利要求中的元素应基于权利要求中采用的语言进行广泛地解释，而不是限于本说明书中或在申请的起诉期间描述的示例，这些示例应被解释为非排他性的。此外，所公开的方法的步骤可以以任何方式进行修改，包括重新排序步骤和/或插入或删除步骤。

公开的特征和优点从详细的说明书中是显而易见的，因此，意图是使所附权利要求覆盖落在公开的真正精神和范围之内的所有系统和方法。如本文所使用的，不定冠词“一(a/an)”表示“一个或多个”。类似地，复数术语的使用不一定表示复数，除非它在给定的上下文中是毫无疑义的。本文使用的关系术语，如“第一”和“第二”，仅用于将一个实体或操作与另一个实体或操作区分。这种术语不一定要求或指示所描述的实体或操作之间的任何强制性序列、顺序或关系。此外，诸如“包括”“包含”或其任何其他变化的术语可以包含非排他性的包含。由于从研究本公开将很容易出现众多的修改和变化，所以不希望将公开限制于图示和描述的精确结构和操作上，因此，所有合适的修改和等价物可以诉诸于落在本公开的范围内。

从本文所公开的实施例的说明书和实践的考虑，其他实施例将是显而易见的。意图是将说明书和示例仅考虑为示例，所公开的实施例的真正范围和精神由权利要求指示。