流量镜像的数据处理方法及其系统

文档序号:1849656 发布日期:2021-11-16 浏览:3次 >En<

阅读说明:本技术 流量镜像的数据处理方法及其系统 (Data processing method and system of flow mirror image ) 是由 沈渊 曹辉 滕建斌 于 2021-08-13 设计创作,主要内容包括:本发明涉及一种流量镜像的数据处理方法,包括如下步骤:利用镜像端口获取流量数据;识别流量数据的边界,以将流量数据分割为若干数据包;将数据包发送给应用层。本发明有效地解决了传统网络流量数据处理困难的问题,通过优化数据的处理方式,以减小后续分析难度,缩短处理时间,加快处理速度,提升处理效率。(The invention relates to a data processing method of flow mirror image, comprising the following steps: acquiring flow data by using a mirror image port; identifying a boundary of the traffic data to divide the traffic data into a plurality of data packets; and sending the data packet to an application layer. The invention effectively solves the problem of difficult data processing of the traditional network flow, reduces the subsequent analysis difficulty, shortens the processing time, accelerates the processing speed and improves the processing efficiency by optimizing the data processing mode.)

流量镜像的数据处理方法及其系统

技术领域

本发明涉及计算机技术领域,特指一种流量镜像的数据处理方法及其系统。

背景技术

传统的数据获取方法是通过开启网络设备的端口镜像功能,将网络流量全部存储至分析软件中进行后续处理分析,然而由于引入软件的网络流量没有进行筛选,重复流量多,增加了分析难度,降低了后续数据处理的速度,效率较低。

发明内容

本发明的目的在于克服现有技术的缺陷,提供一种流量镜像的数据处理方法及其系统,解决了传统网络流量数据处理困难的问题,通过优化数据的处理方式,以减小后续分析难度,缩短处理时间,加快处理速度,提升处理效率。

实现上述目的的技术方案是:

本发明提供了一种流量镜像的数据处理方法,包括如下步骤:

利用镜像端口获取流量数据;

识别流量数据的边界,以将流量数据分割为若干数据包;

将数据包发送给应用层。

本发明提出了一种流量镜像的数据处理方法,通过利用镜像端口获取流量数据后,识别流量数据的边界,以将流量数据分割为若干数据包,进而将数据包发送给应用层,这种方式直接对流量数据进行了处理,解决了传统网络流量数据处理困难的问题,通过优化数据的处理方式,以减小后续分析难度,缩短处理时间,加快处理速度,提升处理效率。

本发明流量镜像的数据处理方法的进一步改进在于,网络层中客户端与服务端TCP连接,获取流量数据时,还包括:

跟踪TCP的连接状态以获取对应的TCP报文,获取TCP报文中的序列号,当序列号异常时,向应用层报警。

本发明流量镜像的数据处理方法的进一步改进在于,还包括:

对应客户端和服务端建立第一缓存区和第二缓存区;

获取客户端和服务端的流量数据并分别存储至第一缓存区和第二缓存区。

本发明流量镜像的数据处理方法的进一步改进在于,还包括:

根据TCP报文中的标志位确定TCP的连接进度;

若连接进度为TCP连接的第二次握手或第一次挥手或第三次挥手时,则复位第一缓存区和第二缓存区。

本发明流量镜像的数据处理方法的进一步改进在于,还包括:

将流量数据转化为小端模式,进而分割形成若干数据包。

本发明还提供了一种流量镜像的数据处理系统,包括:

采集模块,以利用镜像端口获取流量数据;

处理模块,用于识别流量数据的边界,并将流量数据分割为若干数据包;以及

传输模块,用于将数据包发送给应用层。

本发明流量镜像的数据处理系统的进一步改进在于,网络层中客户端与服务端TCP连接;

该数据处理系统还包括连接跟踪模块以及与连接跟踪模块通讯连接的报警模块,该连接跟踪模块用于获取TCP报文并根据TCP报文中的标志位确定TCP的连接进度,报警模块用于获取连接跟踪模块中的TCP报文,且判断TCP报文中的序列号是否异常,当序列号异常时,向应用层报警。

本发明流量镜像的数据处理系统的进一步改进在于,还包括对应客户端和服务端建立的第一缓存区和第二缓存区,分别用于存储客户端和服务端的流量数据。

本发明流量镜像的数据处理系统的进一步改进在于,还包括与第一缓存区和第二缓存区控制连接的复位模块,当连接跟踪模块跟踪到TCP的连接进度为第二次握手或第一次挥手或第三次挥手时,复位模块复位第一缓存区和第二缓存区。

本发明流量镜像的数据处理系统的进一步改进在于,还包括与采集模块和处理模块通讯连接的转化模块,用于将流量数据转化为小端模式并发送给处理模块进行分割。

附图说明

图1为本发明流量镜像的数据处理方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

参阅图1,本发明提供了一种流量镜像的数据处理方法及其系统,通过利用镜像端口获取流量数据后,识别流量数据的边界,以将流量数据分割为若干数据包,进而将数据包发送给应用层,这种方式直接对流量数据进行了处理,解决了传统网络流量数据处理困难的问题,通过优化数据的处理方式,以减小后续分析难度,缩短处理时间,加快处理速度,提升处理效率。下面结合附图对本发明流量镜像的数据处理方法及其系统进行说明。

参阅图1,显示了本发明流量镜像的数据处理方法的流程图。下面结合图1,对本发明流量镜像的数据处理方法及其系统进行说明。

如图1所示,本发明提供了一种流量镜像的数据处理方法,包括如下步骤:

利用镜像端口获取流量数据;

识别流量数据的边界,以将流量数据分割为若干数据包;

将数据包发送给应用层。

作为本发明的一较佳实施方式,网络层中客户端与服务端TCP连接,获取流量数据时,还包括:

跟踪TCP的连接状态以获取对应的TCP报文,获取TCP报文中的序列号,当序列号异常时,向应用层报警。

较佳地,通过跟踪并记录TcpPacket类的SequenceNumber属性以及PayloadData.Count属性以判断序列号是否异常,若序列号重复则表明可能出现重传包,若序列号跳号则表明可能出现丢包的情况,可根据实际情况删除、提取或拆分对应的数据包。

进一步的,还包括:

对应客户端和服务端建立第一缓存区和第二缓存区;

获取客户端和服务端的流量数据并分别存储至第一缓存区和第二缓存区。

进一步的,还包括:

根据TCP报文中的标志位确定TCP的连接进度,即TCP的SYN及ACK标志位均置1时,为TCP连接的第二次握手时,当TCP标志位FIN、ACK置1时,为TCP连接的第一次挥手或第三次挥手;

若连接进度为TCP连接的第二次握手或第一次挥手或第三次挥手时,则复位第一缓存区和第二缓存区。

具体的,复位缓存区包括清空缓冲区中未处理字节以及复位相应的TCP序列号等操作。

较佳地,还包括:

将流量数据转化为小端模式,进而分割形成若干数据包。

本发明的具体实施方式如下:

获取流量数据,跟踪网络层中客户端和服务端的TCP连接状态,获取对应的TCP报文,根据TCP包围中的标志位确定TCP的连接进度,当处于TCP连接的第二次握手或第一次挥手或第三次挥手时,复位第一缓存区和第二缓存区;

根据实际需求可将流量数据转化为小端模式,以适应X86架构;

有些流量数据的头部定义了包长或有些流量数据通过字符标记了边界,根据其包长或字符标记分割流量数据并形成若干数据包,将数据包发送给应用层;

在获取流量数据的过程中监控TCP报文中的序列号,若序列号出现重复或跳号等情况时,可能出现重传包、粘包或是丢包的情况,此时向应用层报警,可根据实际情况删除、提取或拆分对应的数据包。

本发明还提供了一种的流量镜像的数据处理系统,包括:

采集模块,以利用镜像端口获取流量数据;

处理模块,用于识别流量数据的边界,并将流量数据分割为若干数据包;以及

传输模块,用于将数据包发送给应用层。

进一步的,网络层中客户端与服务端TCP连接;

该数据处理系统还包括连接跟踪模块以及与连接跟踪模块通讯连接的报警模块,连接跟踪模块用于获取TCP报文并根据TCP报文中的标志位确定TCP的连接进度,该报警模块用于获取连接跟踪模块中的TCP报文,且判断TCP报文中的序列号是否异常,当序列号异常时,向应用层报警。

具体的,还包括对应客户端和服务端建立的第一缓存区和第二缓存区,分别用于存储客户端和服务端的流量数据。

进一步的,还包括与第一缓存区和第二缓存区控制连接的复位模块,当连接跟踪模块跟踪到TCP的连接进度为TCP连接的第二次握手或第一次挥手或第三次挥手时,则复位第一缓存区和第二缓存区。

较佳地,还包括与采集模块和处理模块通讯连接的转化模块,用于将流量数据转化为小端模式并发送给处理模块进行分割。

本发明提供的系统实际实施的操作方式如下:

采集模块获取流量数据,连接跟踪模块跟踪网络层中客户端和服务端的TCP连接状态,获取对应的TCP报文,根据TCP包围中的标志位确定TCP的连接进度,当处于TCP连接的第二次握手或第一次挥手或第三次挥手时,复位模块复位第一缓存区和第二缓存区;

根据实际需求可利用转化模块将流量数据转化为小端模式,以适应X86架构;

有些流量数据的头部定义了包长或有些流量数据通过字符标记了边界,利用处理模块根据其包长或字符标记分割流量数据并形成若干数据包,传输模块将数据包发送给应用层;

在采集模块获取流量数据的过程中,报警模块监控TCP报文中的序列号,若序列号出现重复或跳号等情况时,可能出现重传包、粘包或是丢包的情况,此时报警模块向应用层报警,可根据实际情况删除、提取或拆分对应的数据包。

以上结合附图实施例对本发明进行了详细说明,本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而,实施例中的某些细节不应构成对本发明的限定,本发明将以所附权利要求书界定的范围作为本发明的保护范围。

7页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种通信方法及装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!