具体实施方式

在实现本申请的过程中，发明人发现基于IP架构的专业视音频制作、传输系统正逐渐成熟。基于传统IP网络架构和通用COST网络设备降低了专业媒体设备使用门槛，但节目信号的传输方式由传统基带信号的形态转变为以RTP协议为载体的IP节目流也带来了技术形态的转型，尤其是IP节目流传输的原始数据转变成了数据量巨大的以太IP数据包，这对IP架构的制播系统的数据分析带来了新的挑战。

针对上述问题，本申请实施例中提供了一种节目流数据抓取方法、装置、计算设备及可读存储介质，通过将需要抓包的待处理节目流进行分片，并调用多项成对分片后的多个待处理节目元数据进行缓存处理，再将分开缓存的多个待处理节目元数据进行合并，以此来实现对待处理节目流的无损抓包，得到待处理节目流对应的原始数据，即目标节目流数据，以便后续分析。

本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

请结合参阅图1，图1为本申请实施例提供的节目流数据抓取系统的场景交互示意图，在本申请实施例中，节目流数据抓取系统可以包括计算机设备100以及与计算机设备100通信连接的网络设备200，在本申请实施例中，网络设备200可以是交换机、路由器等通用设备，网络设备200与多个媒体设备通信连接，在本申请实施例中，媒体设备可以是指参与IP在线节目制作的设备。例如，媒体设备可以是摄像机、切换台等，而媒体设备产生的媒体流，也就是IP节目流。多个媒体流产生的节目流汇聚于网络设备200，计算机设备100便可以通过网络设备200对各个节目流进行处理。在本申请实施例的其他实施方式中，节目流数据抓取系统也可以由更多或者更少的组件构成，在此不做限制。

请结合参阅图2，图2为本申请实施例提供的节目流数据抓取方法的一种步骤流程示意图，该节目流数据抓取方法可以由图1中的计算机设备100作为执行主体执行实施。下面对该节目流数据抓取方法进行详细的介绍。

步骤S201，响应于抓包准备指令，通过网络设备200从多个节目流中获取待处理节目流。

步骤S202，对待处理节目流进行分片，得到多个待处理节目元数据。

步骤S203，调用多个线程将多个待处理节目元数据进行缓存。

步骤S204，响应于抓包开始指令，从缓存的多个待处理节目元数据中输出多个目标节目元数据。

步骤S205，响应于抓包停止指令，将输出的多个目标节目元数据进行合并，得到目标节目流数据。

在本申请实施例中，用户可以通过计算机设备100配置的显示界面，或者是通过网络与计算机设备100通信连接的网页发起指令。在节目制作和播放的过程中，若出现了故障，那么需要对故障进行分析排查，例如，在节目进行播放的过程中，由摄像机产生的视频流出现了故障，需要获取该视频流的原始数据。该摄像机产生的视频流则为多个节目流中需要确定的待处理节目流。

在本申请实施例中，计算机设备100可以通过配置自身的光纤网卡来接收网络设备200发出的节目流，在根据抓包准备指令确定出需要处理的待处理节目流后，可以将其进行分片操作，以此得到多个待处理节目元数据。应当理解的是，在本申请实施例中需要处理的待处理节目流可以是超高清视频信号，例如标准的ST-2110-20 4K UHD视频信号，其数据带宽为8.8Gbps，数据包发包率约为17000/pps，由于数据量过大导致了现有的抓包工作再数据获取的过程中导致丢包的现象。而通过上述方案，对其进行分片后，能够对每个待处理节目元数据进行无损的抓取，然后再将无损抓取的待处理节目元数据进行合并，得到完整的目标节目流数据。如此设计，使得在获取目标节目流数据的过程中不会因节目流的带宽过大和发包率过高导致的丢包现象发生，实现了对需要分析的节目流的原始数据的完整获取。为了进一步提高对于目标节目流数据的处理效率，线程与待处理节目元数据可以一一对应。

在一种可能的实施方式中，抓包准备指令包括节目流特征；前述步骤S201可以通过以下详细的实施方式执行实施。

子步骤S201-1，响应于抓包准备指令，将节目流特征发送至网络设备200，以使网络设备200根据节目流特征从多个节目流中确定出待处理节目流.

子步骤S201-2，接收网络设备200发送的待处理节目流。

在本申请实施例中，抓包指令中可以包括节目流特征，以便网络设备200能够准确地从多个节目流中确定出待处理节目流。示例性的，节目流量特征可以包括目的地址、目的端口、组播的源地址和源端口以及上层定义流量类型等，在此不做限制。

在一种可能的实施方式中，请结合参阅图3，计算机设备100包括多核处理器，多核处理器包括多个处理内核，计算机设备100配置有网络驱动程序接口规范；前述步骤S202可以通过以下详细的步骤实现。

子步骤S202-1，调用网络驱动程序接口规范对待处理节目流进行分片，得到与多个处理内核数量相同的多个待处理节目分片数据。

子步骤S202-2，将多个待处理节目分片数据发送至对应的处理内核中进行处理，得到多个待处理节目元数据。

在本申请实施例中，为了能够实现无损抓包，建立高速无阻塞的数据处理通道较为关键。计算机设备100利用配置的网络驱动程序接口规范(Network Driver InterfaceSpecification，简称NDIS)将待处理节目流快速分片，以便得到多个待处理节目分片数据，并利用网络驱动程序接口规范将每个待处理节目分片数据发送给指定的处理内核进行处理。为了能够更加清楚的描述本申请实施例提供的方案，在本申请实施例中，网络驱动程序接口规范可以是以NDIS中间件驱动的形式应用在计算机设备100中实现上述功能。

应当理解的是，在本申请实施例中，分片后的每个待处理节目分片数据都是由单独的一个处理内核进行处理的，整个过程是并行进行的，而分片后的每个待处理节目分片数据的带宽、数据包发包率以及其他指标均不会超过计算机设备100的技术架构瓶颈，能够快速地进行处理。

在一种可能的实施方式中，前述步骤S203可以通过以下详细的实施方式实现。

子步骤S203-1，确定出目标处理内核的本地内存，调用目标线程将目标待处理节目元数据缓存至本地内存。

其中，目标待处理节目元数据为多个待处理节目元数据中的任意一个，目标处理内核为目标待处理节目元数据对应的处理内核，目标线程为目标待处理节目元数据对应的线程。

应当理解的是，对于本申请实施例提出的多核处理器CPU(central processingunit，中央处理器)，其每个处理内核都可以配置有一个直连本地内存，处理内核在该本地内存中进行数据处理的效率是最高的，而在相关技术中，处理内核除了能够访问本身的本地内存，也可以访问其他内存，以此来提高自身处理出具的效率。而在本申请实施例中，为了能够对无损数据快速进行抓包，需要确定出每个处理内核的本地内存，然后指定将每个处理内核处理得到的待处理节目元数据缓存至各自的本地内存中，以此来满足网卡后台数据吞吐量的需求。

在一种可能的实施方式中，在前述子步骤S203-1执行之前，前述步骤S203还可以包括以下实施例。

子步骤S203-2，判断本地内存是否达到预设内存阈值。

若是，则执行子步骤S203-3。

子步骤S203-3，清空预设时间节点前的内存数据；

若否，则执行前述子步骤S203-1。

在本申请实施例中，在执行前述步骤之前，可能已经做过多次同样的工作，即已经利用本方案进行了多次抓包操作，此时各个处理内的本地内存并不是空闲的，可以在将待处理节目元数据缓存之前判断本地内存是否达到预设内存阈值，若已经达到，可以采用数据翻滚的形式进行维护，例如，可以清空预设时间节点之前的缓存数据。

为了能够更加清楚的描述本申请实施例提供的方案，下面进行示例性的描述。当前已经对需要分析的视频流进行了分片处理，即将执行将视频流对应的目标待处理节目元数据缓存至本地内存的操作，此时本地内存的容量可以为16G，预设内存阈值可以是14G，而判断当前的本地内存已经达到了15G，因此需要进行清理。预设时间节点可以是三天前，若将三天前的内存数据清理后，此时的本地内存容量为14.5G，依旧超过了预设内存阈值，可以发出提醒，由用户手动进行数据清理。当本地内存的大小未达到预设内存阈值后，可以将目元数据缓存至本地内存。在本申请实施例的其他实施方式中，对于本地内存的检测也可以是实时的、定时的，在此不做限制。

在一种可能的实施方式中，前述步骤S205可以通过以下方式实现。

子步骤S205-1，根据抓包停止指令将输出的多个目标节目元数据进行合并，并放入预设容器完成格式封装，得到目标节目流数据。

在本申请实施例中，为了能够是的合并的目标节目流数据能够被用户分析查看，可以对其进行封装，例如mp4、ts、ps、avi、flv等一些常用的封装格式，在此不做限制。

在一种可能的实施方式中，本申请实施例还提供以下的实施方式。

步骤S206，生成目标节目流数据的文件传输协议下载路径。

其中，文件传输协议下载路径用于表征预设下载位置。

步骤S207，响应于抓包下载指令，将目标节目流数据下载至文件传输协议下载路径表征的预设下载位置。

在本申请实施中，为了方便用户对抓取的原始数据，即目标节目流数据进行下载，可以在获取目标节目流数据后同步生成目标节目流数据的文件传输协议(File TransferProtocol，简称FTP)下载路径，在用户发出抓包下载指令后，便可以基于将目标节目流数据下载至文件传输协议下载路径表征的预设下载位置，至此，通过上述方案，用户已经拿到了无损的需要分析的原始数据。应当理解的是，在用户下载到目标节目流数据后，便可以直接调用wireshark、matlab等工具进行数据查看和分析，同时为了能够不断的优化方案，在每次抓包过程中，用户也可以将抓取的数据包总量、磁盘空间、当前数据流状态、抓包网卡工作状态等关键信息上报监控，例如，可以提供API接口(Application ProgrammingInterface，应用程序接口)以供第三方监控系统对接。

为了能够更加清楚的描述本申请实施例提供的方案，下面提供一个较为完整的实施方式。

首先，用户可以通过网页或者显示屏发送抓包准备指令给计算机设备100，计算机设备100基于抓包准备指令从接入网络设备200的多个节目流中根据节目流特征找到用户想要分析监控的待处理节目流。然后，可以利用网络驱动程序接口规范NDIS对待处理节目流进行快速分片，并将分片得到的多个待处理节目分片数据发送至对应的处理内核中进行处理，得到多个待处理节目元数据。接着，再将多个待处理节目元数据分别缓存至对应的处理内核的本地内存中，至此，整个过程不会发生丢包，每个待处理节目元数据都是无损的。最终，用户发起抓包停止指令，可以将抓取的多个目标节目元数据合并得到目标节目流数据，封装输出，用户下载得到目标节目流数据即为无损无丢包的原始数据，便可以对其进行分析处理。

本申请实施例一种节目流数据抓取装置110，应用于计算机设备100，计算机设备100与网络设备200通信连接，网络设备200用于接收多个节目流，请结合参阅图4，节目流数据抓取装置110包括：

准备模块1101，用于响应于抓包准备指令，通过网络设备200从多个节目流中获取待处理节目流。

抓包模块1102，用于对待处理节目流进行分片，得到多个待处理节目元数据；调用多个线程将多个待处理节目元数据进行缓存；响应于抓包开始指令，从缓存的多个待处理节目元数据中输出多个目标节目元数据。

输出模块1103，用于响应于抓包停止指令，将输出的多个目标节目元数据进行合并，得到目标节目流数据。

在一种可能的实施方式中，抓包准备指令包括节目流特征；准备模块1101具体用于：

响应于抓包准备指令，将节目流特征发送至网络设备200，以使网络设备200根据节目流特征从多个节目流中确定出待处理节目流；接收网络设备200发送的待处理节目流。

在一种可能的实施方式中，计算机设备100包括多核处理器，多核处理器包括多个处理内核，计算机设备100配置有网络驱动程序接口规范；抓包模块1102具体用于：

调用网络驱动程序接口规范对待处理节目流进行分片，得到与多个处理内核数量相同的多个待处理节目分片数据；将多个待处理节目分片数据发送至对应的处理内核中进行处理，得到多个待处理节目元数据。

在一种可能的实施方式中，抓包模块1102具体用于：

确定出目标处理内核的本地内存，将目标待处理节目元数据缓存至本地内存；目标待处理节目元数据为多个待处理节目元数据中的任意一个，目标处理内核为目标待处理节目元数据对应的处理内核。

在一种可能的实施方式中，抓包模块1102具体还用于：

判断本地内存是否达到预设内存阈值；若是，则清空预设时间节点前的内存数据；若否，则执行将目标待处理节目元数据缓存至本地内存的步骤。

在一种可能的实施方式中，输出模块1103具体用于：

根据抓包停止指令将输出的多个目标节目元数据进行合并，并放入预设容器完成格式封装，得到目标节目流数据。

在一种可能的实施方式中，输出模块1103还用于：

生成目标节目流数据的文件传输协议下载路径；文件传输协议下载路径用于表征预设下载位置；响应于抓包下载指令，将目标节目流数据下载至文件传输协议下载路径表征的预设下载位置。

需要说明的是，前述节目流数据抓取装置110的实现原理可以参考前述节目流数据抓取方法的实现原理，在此不再赘述。应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，准备模块1101可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上准备模块1101的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

本发明实施例提供一种计算机设备100，计算机设备100包括处理器及存储有计算机指令的非易失性存储器，计算机指令被处理器执行时，计算机设备100执行前述的节目流数据抓取装置110。如图5所示，图5为本发明实施例提供的计算机设备100的结构框图。计算机设备100包括节目流数据抓取装置110、存储器111、处理器112及通信单元113。

为实现数据的传输或交互，存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接。例如，可通过一条或多条通讯总线或信号线实现这些元件相互之间电性连接。节目流数据抓取装置110包括至少一个可以软件或固件(firmware)的形式存储于存储器111中或固化在计算机设备100的操作系统(operating system，OS)中的软件功能模块。处理器112用于执行存储器111中存储的节目流数据抓取装置110，例如节目流数据抓取装置110所包括的软件功能。

本申请实施例提供一种可读存储介质，可读存储介质包括计算机程序，计算机程序运行时控制可读存储介质所在计算机设备执行前述至少一种可能的实施方式中的节目流数据抓取方法。

综上所述，采用本申请实施例提供的节目流数据抓取方法、装置、计算机设备及可读存储介质，能够基于纯软件形态部署在通用IT环境下，完全摆脱专用抓包硬件，进而实现了单通道4K UHD IP流实无损抓包，能够基于IP架构的IP节目制播系统的相关业务数据抓包，包括ST-2110-20视频、ST-2110-30音频、ST-2110-40辅助数据、IMGP、PTP等业务数据的抓包。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。