阅读说明：本技术 一种农业大数据的数据传输速率影响分析及tcp调优 (Data transmission rate influence analysis and TCP (Transmission control protocol) optimization of agricultural big data ) 是由 吴健哲 于 2020-05-26 设计创作，主要内容包括：本发明公开了一种农业大数据的数据传输速率影响分析及TCP调优,包括数据传输速率影响因素和TCP调优两个部分,所述数据传输速率影响因素分析如下操作：包括以下组成部分：a.窗口长度、b.往返延时、c.缓冲速率、d.proc/sys/net下相关参数、e.内核插口api、f.ACK、g.链路长度、h.发送、接受窗口/接受缓存大小等八个组成部分,所述TCP调优通过修改linux内核参数提高缓冲可以提高传输速度且包括sysctl命令和/proc文件系统以及ipv4协议栈的sysctl两种主要接口。本发明对农业大数据的数据传输速率影响因素进行分析和总结,并总结出八组影响因素,能够方便使用者更好的对农业大数据的数据传输速率进行针对性的处理和优化,从而便于提高数据传输速率,进而提高大数据平台的工作效率。(The invention discloses data transmission rate influence analysis and TCP (transmission control protocol) tuning of agricultural big data, which comprises two parts, namely a data transmission rate influence factor and TCP tuning, wherein the data transmission rate influence factor analysis comprises the following operations: the method comprises the following components: a. the TCP optimization method comprises eight components of window length, b round-trip delay, c buffer rate, related parameters under d.proc/sys/net, e.kernel socket api, f.ACK, g.link length, h.sending, window receiving/buffer receiving size and the like, wherein the TCP optimization can improve transmission speed by modifying linux kernel parameters to improve buffering, and comprises two main interfaces of sysctl commands, a proc file system and sysctl of an ipv4 protocol stack. The invention analyzes and summarizes the data transmission rate influence factors of the agricultural big data, summarizes eight groups of influence factors, and can facilitate the user to better perform targeted processing and optimization on the data transmission rate of the agricultural big data, thereby facilitating the improvement of the data transmission rate and further improving the working efficiency of a big data platform.)

一种农业大数据的数据传输速率影响分析及TCP调优

技术领域

本发明涉及农业大数据技术领域，具体为一种农业大数据的数据传输速率影响分析及TCP调优。

背景技术

农业大数据是融合了农业地域性、季节性、多样性、周期性等自身特征后产生的来源广泛、类型多样、结构复杂、具有潜在价值，并难以应用通常方法处理和分析的数据集合，农业大数据保留了大数据自身具有的规模巨大、类型多样、价值密度低、处理速度快、精确度高和复杂度高等基本特征，并使农业内部的信息流得到了延展和深化。随着互联网技术的发展和社会的进步，大数据在农业领域也得到了广泛应用。由于农业大数据网络对数据实时性要求高，数据传输速率会成为大数据平台的工作效率提升的瓶颈。TCP是当前广泛使用的传输层协议，它为用户提供了可靠的传输服务。

然而，现有的农业数据传输的过程中存在以下的问题：(1)发送端与接收端距离较远的情况下，数据传输的速度较慢，容易出现来回文件传输速度相差较大的问题；(2)现用于农业大数据的数据缺乏一套TCP调优的方法。为此，需要设计相应的技术方案解决存在的技术问题。

发明内容

本发明的目的在于提供一种农业大数据的数据传输速率影响分析及TCP调优，解决了背景技术中所提出的问题，满足实际使用需求。

为实现上述目的，本发明提供如下技术方案：一种农业大数据的数据传输速率影响分析及TCP调优，包括数据传输速率影响因素和TCP调优两个部分，所述数据传输速率影响因素分析如下操作：包括以下组成部分：a.窗口长度、b.往返延时、c.缓冲速率、d.proc/sys/net下相关参数、e.内核插口api、f.ACK、g.链路长度、h.发送、接受窗口/接受缓存大小等八个组成部分，所述TCP调优通过修改linux内核参数提高缓冲可以提高传输速度且包括sysctl命令和/proc文件系统以及ipv4协议栈的sysctl两种主要接口，具体的调优方式如下：由于/proc/sys/net目录内容的临时性，建议把TCP/IP参数的修改添加到/etc/sysctl.conf文件，然后保存文件，使用命令“/sbin/sysctl-p”来使之立即生效。

作为本发明的一种优选实施方式，所述TCP协议通过滑动窗口来实现流量控制，因而传输速率＝窗口长度/往返延时，可以看出影响传输速率的两大因素：窗口长度和往返延时。

作为本发明的一种优选实施方式，所述proc/sys/net下相关参数通过修改/proc/sys/net下的相关参数提高TCP socket的默认发送/接收缓冲从而提高TCP传输速度。

作为本发明的一种优选实施方式，所述内核插口api通过调用内核插口api的形式修改其进程内的发送/接收缓冲而不对其他socket造成影响。

作为本发明的一种优选实施方式，所述ACK包含两个非常重要的信息：期望收到的下一字节的序号n，当前的窗口大小，当收到ACK＝36时窗口才会滑动，当前面还有字节未接收单收到后面字节的情况下，窗口不会滑动，以确保对端会对这些数据重传，这是TCP滑动窗口实现的面向流的可靠性，所以在网络丢包的情况会严重影响TCP的传输速度，在此场景下用UDP测量并无丢包或丢包率极低情况，所以可以忽略丢包产生的影响。

作为本发明的一种优选实施方式，所述链路长度通过链路的两端分别挂至于服务器上进行测量。

作为本发明的一种优选实施方式，所述发送、接受窗口/接受缓存大小由接收窗口受接收缓冲影响，而实际情况是接收窗口无法完全占完接收缓存的内存，这是由于窗口所发送接收的载荷需要一个数据包的载体来进行传输，linux中是skb，另外为了让载荷工作，需要为其封装TCP头，IP头，以太头等，所以一个TCP数据包中的内存除了窗口大小的TCP数据体外，还有TCP头，IP头，以太头等协议头开销还有skb结构体的载体开销。

与现有技术相比，本发明的有益效果如下：

1.本方案对农业大数据的数据传输速率影响因素进行分析和总结，并总结出八组影响因素，能够方便使用者更好的对农业大数据的数据传输速率进行针对性的处理和优化，从而便于提高数据传输速率，进而提高大数据平台的工作效率。

2.在大数据平台应用中可以通过修改插口缓存来增加传输性能，可以在不修改内核参数的情况下提高缓冲大小，从而增加tcp传输速率。

附图说明

图1为本发明的整体实验模拟示意图；

图2为本发明所述数据传输速率影响因素示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种技术方案：一种农业大数据的数据传输速率影响分析及TCP调优，包括数据传输速率影响因素和TCP调优两个部分，所述数据传输速率影响因素分析如下操作：包括以下组成部分：a.窗口长度、b.往返延时、c.缓冲速率、d.proc/sys/net下相关参数、e.内核插口api、f.ACK、g.链路长度、h.发送、接受窗口/接受缓存大小等八个组成部分，所述TCP调优通过修改linux内核参数提高缓冲可以提高传输速度且包括sysctl命令和/proc文件系统以及ipv4协议栈的sysctl两种主要接口，具体的调优方式如下：由于/proc/sys/net目录内容的临时性，建议把TCP/IP参数的修改添加到/etc/sysctl.conf文件，然后保存文件，使用命令“/sbin/sysctl-p”来使之立即生效。

作为本发明的一种优选实施方式，所述TCP协议通过滑动窗口来实现流量控制，因而传输速率＝窗口长度/往返延时，可以看出影响传输速率的两大因素：窗口长度和往返延时。

进一步改进地，如图1所示：所述proc/sys/net下相关参数通过修改/proc/sys/net下的相关参数提高TCP socket的默认发送/接收缓冲从而提高TCP传输速度。

进一步改进地，如图1所示：所述内核插口api通过调用内核插口api的形式修改其进程内的发送/接收缓冲而不对其他socket造成影响。

进一步改进地，如图1所示：所述ACK包含两个非常重要的信息：期望收到的下一字节的序号n，当前的窗口大小，当收到ACK＝36时窗口才会滑动，当前面还有字节未接收单收到后面字节的情况下，窗口不会滑动，以确保对端会对这些数据重传，这是TCP滑动窗口实现的面向流的可靠性，所以在网络丢包的情况会严重影响TCP的传输速度，在此场景下用UDP测量并无丢包或丢包率极低情况，所以可以忽略丢包产生的影响。

进一步改进地，如图1所示：所述链路长度通过链路的两端分别挂至于服务器上进行测量。

具体地，所述发送、接受窗口/接受缓存大小由接收窗口受接收缓冲影响，而实际情况是接收窗口无法完全占完接收缓存的内存，这是由于窗口所发送接收的载荷需要一个数据包的载体来进行传输，linux中是skb，另外为了让载荷工作，需要为其封装TCP头，IP头，以太头等，所以一个TCP数据包中的内存除了窗口大小的TCP数据体外，还有TCP头，IP头，以太头等协议头开销还有skb结构体的载体开销。

在使用时：本发明模拟方式：在模拟业务场景中，在相距200km的A、B两地之间。B地服务器往A地服务器文件拷贝速率(scp,ftp)较慢，只有A地往B地速率的一半。A地的服务器往B地服务器传输文件的速度大约320Mb/s,B地服务器往A地服务器的速度大约只180Mb/s。为了排查问题，将两台服务器挂在链路两端进行测量。本文中的测试软件是netperf-2.4.5，首先用UDP模式进行传输，UDP报文在直连的波分链路上几乎无丢包现象。所以UDP在千兆链路的双向传输吞吐量均达到了900Mb/s左右的正常链路速度；而在TCP模式下的报文下的传输吞吐量和SCP，FTP传输速率类似。传输过程及速度如下1图所示，实验中为了排除三层交换机和防火墙包交换对传输速度的可能影响，通过netperf改变发送报文大小(512Bytes-10000Bytes)，速度无明显变化，经过大量的实验排查，排除了光纤链路接口光功率，路由交换设备等问题。由于链路过长，链路时延为主要时延。用linux自带时延测试工具mtr测试结果发现B到A的时延比A到B的时延长0.7ms。由此可知，往返时延对B往A的传输速度有影响。

所有的TCP/IP参数都位于/proc/sys/net的目录下，本场景下仅考虑与缓冲相关的内核参数，调优的内核变量存在两种主要接口：sysctl命令和/proc文件系统，ipv4协议栈的sysctl参数主要是sysctl.net.core、sysctl.net.ipv4，对应的/proc文件系统是/proc/sys/net/core和/proc/sys/net/ipv4。对/proc/sys/net目录下内容的修改都是临时的，任何修改在系统重启后都会丢失。而/etc/sysctl.conf是一个允许你改变正在允许中的Linux系统的接口。他包含了一些TCP/IP堆栈和虚拟内存的高级选项，可以用来控制Linux网络配置，由于/proc/sys/net目录内容的临时性，建议把TCP/IP参数的修改添加到/etc/sysctl.conf文件，然后保存文件，使用命令“/sbin/sysctl-p”来使之立即生效。例如：

net.core.rmem_defaut＝256960

net.core.rmem_max＝4088000

net.core.wmem_default＝256960

net.core.wmem_max＝4088000

net.ipv4.tcp_mem＝131072 262144 524288

net.ipv4.tcp_rmem＝8760 2000000 4088000

net.ipv4.tcp_wmem＝8760 2000000 4088000。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。