阅读说明：本技术 一种自适应前向纠错方法、装置、介质和设备 (Adaptive forward error correction method, apparatus, medium and device ) 是由 温建伟 于 2018-09-03 设计创作，主要内容包括：本发明涉及无线网络通信技术领域,特别涉及一种自适应前向纠错方法、装置、介质和设备。根据本发明实施例提供的方案,可以根据接收端网络质量参数来确定待发送信息块对应的冗余数据数量,从而可以根据确定出的冗余数据数量,确定对应的前向纠错编码方式,使得冗余数据数量和前向纠错编码方式可以根据接收端的网络质量进行自适应的调整,从而可以满足不同的网络质量的需要,适应无线网络传输的抖动特性,避免造成网络拥塞。(The present invention relates to the field of wireless network communication technologies, and in particular, to a method, an apparatus, a medium, and a device for adaptive forward error correction. According to the scheme provided by the embodiment of the invention, the quantity of the redundant data corresponding to the information block to be sent can be determined according to the network quality parameters of the receiving end, so that the corresponding forward error correction coding mode can be determined according to the determined quantity of the redundant data, and the quantity of the redundant data and the forward error correction coding mode can be adaptively adjusted according to the network quality of the receiving end, thereby meeting the requirements of different network qualities, adapting to the jitter characteristic of wireless network transmission and avoiding network congestion.)

一种自适应前向纠错方法、装置、介质和设备

技术领域

本发明涉及无线网络通信技术领域，特别涉及一种自适应前向纠错方法、装置、介质和设备。

背景技术

在多媒体网络通信(如源自网页实时通信(WebRTC))中，前向纠错(FEC)和丢包重传是抵抗网络错误的重要手段。由于FEC可以提供比丢包重传更快的数据恢复，并且不需要接收信道，因此FEC尤其适合于多媒体网络通信。

FEC是发送端在发送数据前通过计算编码获得一定的冗余数据，将需要发送的数据和获得的冗余数据一起发送给接收端，使得接收端可以根据增加的冗余数据来检测和纠正数据传输过程中发生的错误。

在多媒体网络通信，如WebRTC中FEC通常使用静态FEC方案，如，采用里所码(RS)编码，在待发送信息块(一个待发送信息块可以包括k个编码数据，即k个原始编码数据)基础上通过计算，编码获得n-k个冗余数据，最终发送n个编码数据到接收端，包括n个编码数据的数据帧结构可以如图1示意，在图1中以原始编码数据为视频编码数据为例进行示意。

对于FEC，冗余数据的多少决定了接收端解码后能够处理的错误数量。但是静态FEC方案，冗余数据数量是固定的，无法满足多媒体网络通信过程中信道质量变化的要求，若冗余数据数量过大，非常可能造成网络拥塞。

发明内容

本发明实施例提供一种自适应前向纠错方法、装置、介质和设备，用于解决冗余数据数量固定导致的容易造成网络拥塞的问题。

一种自适应前向纠错方法，所述方法包括：

若接收到待发送信息块，确定接收端网络质量参数，所述网络质量参数用于描述接收端的网络质量；

根据确定出的所述网络质量参数，确定所述待发送信息块对应的冗余数据数量；

根据确定出的所述冗余数据数量，确定所述待发送信息块对应的前向纠错编码方式。

一种自适应前向纠错装置，所述装置包括：

网络质量确定模块，用于若接收到待发送信息块，确定接收端网络质量参数，所述网络质量参数用于描述接收端的网络质量；

冗余数据确定模块，用于根据确定出的所述网络质量参数，确定所述待发送信息块对应的冗余数据数量；

编码方式确定模块，用于根据确定出的所述冗余数据数量，确定所述待发送信息块对应的前向纠错编码方式。

本发明还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现如上所述方法的步骤。

本发明还提供了一种自适应前向纠错设备，包括存储器、处理器、收发器以及总线接口；所述处理器，用于读取存储器中的程序，执行：通过所述收发器接收到待发送信息块时，确定接收端网络质量参数，所述网络质量参数用于描述接收端的网络质量，根据确定出的所述网络质量参数，确定所述待发送信息块对应的冗余数据数量，根据确定出的所述冗余数据数量，确定所述待发送信息块对应的前向纠错编码方式。

根据本发明实施例提供的方案，可以根据接收端网络质量参数来确定待发送信息块对应的冗余数据数量，从而可以根据确定出的冗余数据数量，确定对应的前向纠错编码方式，使得冗余数据数量和前向纠错编码方式可以根据接收端的网络质量进行自适应的调整，从而可以满足不同的网络质量的需要，适应无线网络传输的抖动特性，避免造成网络拥塞。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术提供的数据帧结构示意图；

图2为本发明实施例一提供的自适应前向纠错方法的流程示意图；

图3为本发明实施例二提供的自适应前向纠错方法的示意图；

图4为本发明实施例三提供的自适应前向纠错装置的结构示意图；

图5为本发明实施例四提供的自适应前向纠错设备的结构示意图。

具体实施方式

在本发明提供的方案中，可以基于接收端的网络质量参数进行冗余数据数量的调整，从而使得确定出的前向纠错编码方式可以满足不同网络质量的需要，适应无线网络传输的抖动特性。在保证实现差错恢复的同时，通过冗余数据的自适应调整，可以减少网络带宽的占用，减少过多的冗余数据造成的网络拥塞。

进一步的，在本发明实施例中，可以为不同的待发送信息块分配不同的优先级，从而可以结合不同的优先级实现差异化的冗余数据数量设置。特别的，发明人发现，在多媒体网络通信过程中，不同数据对接收端解码后得到的多媒体质量的影响是不同的。因此，优选的，本发明实施例中还提出，可以根据待发送信息块对应的数据来源，确定待发送信息块的优先级，从而可以结合接收端的网络质量参数和待发送信息块的优先级，来调整冗余数据数量，使得确定出的前向纠错编码方式可以进一步满足不同数据的质量需求差异，使得接收端得到的多媒体质量更高。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

本发明实施例一提供一种自适应前向纠错方法，该方法的步骤流程可以如图2所示，包括：

步骤101、确定接收端网络质量参数。

在本步骤中，可以在接收到待发送信息块时，例如，接收到编码器编码后输出的待发送信息块时，确定接收端网络质量参数，所述网络质量参数可以理解为用于描述接收端的网络质量。

所述网络质量参数可以但不限于包括网络带宽和丢包率中的至少一个。

具体的，可以但不限于通过接收端反馈的接收者报告(RR)报文，确定接收端网络带宽。并可以但不限于根据接收端反馈的RR报文，确定接收端的丢包率。

步骤102、确定冗余数据数量。

在本步骤中，可以根据确定出的所述网络质量参数，确定待发送信息块对应的冗余数据数量。即在本步骤中，可以根据接收端的网络质量，调整冗余数据数量。

以网络质量参数为网络带宽和丢包率为例，可以但不限于通过以下方式中的至少一种来确定待发送信息块对应的冗余数据数量：

方式一、在网络带宽大于第一带宽，且丢包率小于第一丢包率时，确定不大于第一数量的冗余数据数量；

在方式一的情况下，可以理解为，接收端的网络带宽比较充裕，而且网络状况比较好，而少量的丢包对解码影响不大，此时，可以减少前向纠错编码的复杂度，减少冗余数据，以尽量减少网络带宽的占用。

方式二、在网络带宽大于第二带宽，且丢包率大于第二丢包率时，确定不小于第二数量的冗余数据数量；

在方式二的情况下，可以理解为，接收端的网络带宽比较充裕，但是网络稳定性比较差，容易出现丢包。此时，可以增加前向纠错编码的复杂度，适量增加冗余数据，提高数据的错误恢复能力，从而提高接收端的多媒体解码质量。

方式三、在网络带宽小于第三带宽，且丢包率大于第三丢包率时，确定不大于第三数量的冗余数据数量。

在方式三的情况下，可以理解为，当接收端的网络带宽出现不足，伴随着出现丢包率比较高，此时，可以适当降低前向纠错编码复杂性，减少冗余数据，从而降低多媒体传输的码率，减少对网络带宽的占用，至少保证原始编码数据的顺利传输。

需要说明的是，上述三种方式中的第一带宽、第二带宽和第三带宽取值可以相同，也可以不相同。类似的，第一丢包率、第二丢包率和第三丢包率取值可以相同，也可以不相同。以第一丢包率、第二丢包率和第三丢包率取值相同为例，均可以取值为接收端在设定时长内的平均丢包率，接收端在设定时长内的平均丢包率也可以但不限于根据接收端反馈的RR报文确定。

步骤103、确定前向纠错编码方式。

在本步骤中，可以根据确定出的所述冗余数据数量，确定所述待发送信息块对应的前向纠错编码方式。例如，根据确定出的所述冗余数据数量，确定所述待发送信息块对应的RS编码方式。

优选的，在步骤102之前，本实施例还可以包括步骤101’。在图2中，以步骤101’在步骤101之后，步骤102之前执行为例进行说明，当然，步骤101’不限于在步骤101之后，步骤102之前执行：

步骤101’、确定待发送信息块的优先级。

在本步骤中，可以确定待发送信息块的优先级。优先级的设置方式可以为任意方式。

具体的，可以但不限于根据待发送信息块对应的数据来源，确定待发送信息块的优先级。即，可以根据数据来源的不同，为待发送信息块确定不同的优先级。

例如，视频编码数据中产生的媒体序列(GOP)可以理解为是由多个媒体帧组成，其中包括帧内编码帧(I帧)、帧间预测编码帧(P帧)和双向预测编码帧(B帧)。

I帧是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码，可以简单理解为一张静态画面。GOP中的第一个帧始终都是I帧，I帧是GOP中的关键帧，其他帧的解码都需要依赖I帧，没有I帧无法实现解码。

P帧需要参考前面的I帧才能进行解码，因此可以理解为其重要程度低于I帧。表示的是当前帧画面与前一帧(前一帧可能是I帧也可能是P帧)的差别。解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。

B帧记录的是本帧与前后帧的差别。也就是说要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。因此，可以理解为B帧的重要程度也低于I帧。

基于上述理解，可以但不限于理解为I帧的重要性高于P帧和B帧。如果设置优先级越高，重要性越高，此时，可以为数据来源为I帧的待发送信息块分配更高的优先级。而采用对GOP的非均等保护，对I帧的参数集进行重点保护，可以有效的保护重要数据，提高媒体图像的恢复质量。

此时，可以理解为优先级可以按照以下方式设置：

对应数据来源为视频编码数据中帧内编码帧I帧的待发送信息块的优先级，高于对应数据来源为视频编码数据中帧间预测编码帧P帧和双向预测编码帧B帧的待发送信息块的优先级。

需要说明的是，由于I帧数据量一般比较大，且大部分超过网络最大传输单元(MTU)，为了实现对I帧数据传输的保护，因此，一般会将I帧数据分割形成多个待发送信息块。

在包括步骤101’时，步骤102可以具体包括：根据确定出的所述网络质量参数和待发送信息块的优先级，确定待发送信息块对应的冗余数据数量。

即，可以结合接收端的网络质量和待发送信息块的重要性，来共同确定待发送信息块对应的冗余数据数量。如果设置优先级越高，重要性越高，可以理解为，在根据确定出的所述网络质量参数，确定待发送信息块对应的冗余数据数量的基础上，可以为优先级越高的待发送信息块，确定越多的冗余数据数量，从而保证重要性较高的待发送信息块的传输可靠性。

下面通过一个具体的实例对本发明实施例一提供的方案进行说明。

实施例二

本发明实施例二提供一种自适应前向纠错方法，该方法的示意图可以如图3所示，包括：

在通过编码器得到包括k个原始编码数据(可以简单记为k个编码数据)的待发送信息块时，可以根据待发送信息块对应的数据来源，确定待发送信息块的优先级，并可以确定接收端网络质量参数，从而结合确定待发送信息块对应的冗余数据数量。

例如，结合待发送信息块的优先级，在网络带宽大于第一带宽，且丢包率小于第一丢包率时，确定出的冗余数据数量可以如图3中m1部分所示。即针对接收端的状态，发送端可以动态选择不同的前向纠错编码方案。当接收端所处的网络带宽有限同时丢包率一般的情况下，可以适当减少冗余数据，减少网络带宽占用的同时，确保数据传输的可靠性，保证多媒体解码的质量。

结合待发送信息块的优先级，在网络带宽大于第二带宽，且丢包率大于第二丢包率时，确定出的冗余数据数量可以如图3中m2部分所示。即，当接收端所处的网络环境丢包率比较高同时网络带宽又比较充裕，此时，发送端可以通过增加冗余数据提高FEC的错误恢复能力。

结合待发送信息块的优先级，在网络带宽小于第三带宽，且丢包率大于第三丢包率时，确定出的冗余数据数量可以如图3中m3部分所示。即，当接收端的网络带宽出现不足，此时，发送端应尽量降低数据传输的码率，因此，可以尽量减少冗余数据，甚至可以直接进行原始编码数据传输。

m1、m2和m3部分的长度可以但不限于理解为与冗余数据数量的多少成正比，如图3所示，可以理解为m2部分表示的冗余数据数量大于m1部分表示的冗余数据数量，m1部分表示的冗余数据数量大于m3部分表示的冗余数据数量。

通过如图3所示至少三种不同方案的选择，可以在差错恢复和拥塞影响两方面进行折中，最终实现更好地保护多媒体传输质量，提高多媒体解码后的质量。

进一步的，根据确定出的冗余数据数量，可以确定待发送信息块对应的前向纠错编码方式，并可以通过实时传输协议(RTP)封包发送给接收端。接收端解码器(Decoder)解码后，即可以得到多媒体数据。

与实施例一基于同一发明构思，提供以下的装置。

实施例三

本发明实施例三提供一种自适应前向纠错装置，该装置的结构可以如图4所示，包括：

网络质量确定模块11用于若接收到待发送信息块，确定接收端网络质量参数，所述网络质量参数用于描述接收端的网络质量；冗余数据确定模块12用于根据确定出的所述网络质量参数，确定所述待发送信息块对应的冗余数据数量；编码方式确定模块13用于根据确定出的所述冗余数据数量，确定所述待发送信息块对应的前向纠错编码方式。

所述网络质量参数包括网络带宽和/或丢包率。

所述冗余数据确定模块12用于根据确定出的所述网络质量参数，确定所述待发送信息块对应的冗余数据数量，包括以下方式中的至少一种：

在网络带宽大于第一带宽，且丢包率小于第一丢包率时，确定不大于第一数量的冗余数据数量；或者，

在网络带宽大于第二带宽，且丢包率大于第二丢包率时，确定不小于第二数量的冗余数据数量；或者，

在网络带宽小于第三带宽，且丢包率大于第三丢包率时，确定不大于第三数量的冗余数据数量。

所述装置还包括优先级确定模块14：

所述优先级确定模块14用于确定所述待发送信息块的优先级；所述冗余数据确定模块12具体用于根据确定出的所述网络质量参数和待发送信息块的优先级，确定所述待发送信息块对应的冗余数据数量。

所述优先级确定模块14具体用于根据所述待发送信息块对应的数据来源，确定所述待发送信息块的优先级。

优先级可以但不限于按照以下方式设置：

对应数据来源为视频编码数据中帧内编码帧I帧的待发送信息块的优先级，高于对应数据来源为视频编码数据中帧间预测编码帧P帧和双向预测编码帧B帧的待发送信息块的优先级。

现有技术中，只有固定的FEC冗余度及错误保护，无法满足无线网络多媒体通信过程中传输信道抖动的特性要求，同时也未考虑不同重要性的媒体数据传输的服务质量(QoS)需求差异。本发明提出的方案中，提供了基于网络质量的自适应FEC编码方案，以及基于数据重要性的非匀等FEC冗余保护机制，弥补了现有技术的不足。针对无线信道传输的特点及多媒体数据在媒体呈现方面重要性的差异，提出了动态FEC调整方案，可适应无线网络传输的抖动特性，并可以降低网络带宽占用，同时获得更好的多媒体通信主观感受。

基于同一发明构思，本发明实施例提供以下的设备和介质。

实施例四

本发明实施例四提供一种自适应前向纠错设备，该设备的结构可以如图5所示，包括存储器21、处理器22、收发器23以及总线接口；所述处理器22用于读取存储器21中的程序，执行：通过所述收发器23接收到待发送信息块时，确定接收端网络质量参数，所述网络质量参数用于描述接收端的网络质量，根据确定出的所述网络质量参数，确定所述待发送信息块对应的冗余数据数量，根据确定出的所述冗余数据数量，确定所述待发送信息块对应的前向纠错编码方式。

所述网络质量参数可以但不限于包括网络带宽和/或丢包率。

所述网络质量参数包括网络带宽和丢包率时，所述处理器22用于根据确定出的所述网络质量参数，确定所述待发送信息块对应的冗余数据数量，包括以下方式中的至少一种：在网络带宽大于第一带宽，且丢包率小于第一丢包率时，确定不大于第一数量的冗余数据数量；或者，在网络带宽大于第二带宽，且丢包率大于第二丢包率时，确定不小于第二数量的冗余数据数量；或者，在网络带宽小于第三带宽，且丢包率大于第三丢包率时，确定不大于第三数量的冗余数据数量。

所述处理器22还用于确定所述待发送信息块的优先级；所述处理器22用于根据确定出的所述网络质量参数，确定所述待发送信息块对应的冗余数据数量，包括：根据确定出的所述网络质量参数和待发送信息块的优先级，确定所述待发送信息块对应的冗余数据数量。

所述处理器22用于确定所述待发送信息块的优先级，包括：根据所述待发送信息块对应的数据来源，确定所述待发送信息块的优先级。

其中，优先级可以但不限于按照以下方式设置：

对应数据来源为视频编码数据中帧内编码帧I帧的待发送信息块的优先级，高于对应数据来源为视频编码数据中帧间预测编码帧P帧和双向预测编码帧B帧的待发送信息块的优先级。

可选的，所述处理器22具体可以包括中央处理器(CPU)、特定应用集成电路(ASIC，application specific integrated circuit)，可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列(FPGA，field programmable gate array)开发的硬件电路，可以是基带处理器。

可选的，所述处理器22可以包括至少一个处理核心。

可选的，所述存储器21可以包括只读存储器(ROM，read only memory)、随机存取存储器(RAM，random access memory)和磁盘存储器。存储器21用于存储至少一个处理器22运行时所需的数据。存储器21的数量可以为一个或多个。

本发明实施例五提供一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，当可执行程序被处理器执行时，实现本发明实施例一提供的方法。

在具体的实施过程中，计算机存储介质可以包括：通用串行总线闪存盘(USB，Universal Serial Bus flash drive)、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的存储介质。

在本发明实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性或其它的形式。

在本发明实施例中的各功能单元可以集成在一个处理单元中，或者各个单元也可以均是独立的物理模块。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备，例如可以是个人计算机，服务器，或者网络设备等，或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(universal serial bus flash drive)、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。