具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

为了便于本领域技术人员理解本发明的技术方案，在介绍本申请实施例之前，首先对本申请中涉及的相关概念进行解释说明：

一、加权概率以及加权概率模型；

令X＝{x₁，x₂，...，x_n}是有限个值或可数个可能值的随机过程。除非特别声明，这个随机过程的可能值的集合都将记为非负整数的集合A＝{0，1，2，...，s}，即x_i∈A(i＝1，2，...，n)。于是对于A中一切数值有概率空间：

其中x∈A。由于随机过程必须转移到集合A中的某个数值，所以在任意时刻i有：

其中0≤p(x)≤1。于是，任意时刻i累积分布函数F(a)可以用p(x)表示为：

F(a)＝∑_x≤a p(x) (3)

其中0≤F(a)≤1，a∈A。这里提供一组示例：若离散随机变量X具有概率质量函数p(0)＝0.5，p(1)＝0.3，p(2)＝0.2，则F(0)＝p(0)＝0.5，F(1)＝p(0)+p(1)＝0.8，F(2)＝p(0)+p(1)+p(2)＝1.0。

设x_i为伯努利随机变量，则x_i∈{0，1}，x_i的概率质量函数p(0)＝P(x_i＝0)＝1-p，p(1)＝P(x_i＝1)＝p，其中0≤p≤1，i＝1，2，...，n。随机过程X存在2ⁿ种可能性，且每个X都是长度为n的二进制序列。显然，2ⁿ种可能性中，部分二进制序列存在很明显的形态特征(规律)。例如：一些二进制序列满足“序列中连续符号1的个数最多为t个”。又比如一些二进制序列满足“序列中连续符号1的个数最多为t个，且序列中连续符号0的个数最多为s个”。由于形态特征已知，所以t和s为已知可数的正整数。其中，伯努利随机变量为：假定一个试验，分别用X＝1和X＝0代表试验结果的成功与失败；X的概率质量函数为p(0)＝P(X＝0)＝1-p，p(1)＝P(X＝1)＝p，其中p(0≤p≤1)为试验结果成功的概率；随机变量X称为伯努利随机变量。

因此，当随机过程X呈现某种已知的形态特征时，其在信息编码技术领域有如下应用：

(1)数据压缩；因为二进制序列中t个连续的符号1后必然出现一个符号0，则二进制序列的形态特征为已知的信息，去除该符号0后进行无损编码可提升压缩效果。即不同形态特征的二进制序列采用不同的方法去除冗余信息。

(2)数据校验；若译码出的二进制序列不满足“序列中连续符号1的个数最多为t个”，则译码出错，于是可用于数据校验。不同的形态特征，可构造不同码率的信道编码方法。

(3)数字水印；通过改造任意二进制序列，使其满足某一形态特征。然后进行无损编码，从而构造数字水印编码方法。

显然，此类二进制序列(即随机过程)中，当前符号状态与之前相邻有限个符号状态有关。

以二进制序列满足形态特征“序列中连续符号1的个数最多为2个”为例，该序列是由“0”，“10”和“110”组成。基于马尔可夫链或条件概率分析，符号0存在三种概率质量函数，分别为p(0|0)，p(0|1)，p(0|1，1)。符号1存在两种概率质量函数，分别为p(1|0)和p(1|1)。编码时，因为二进制序列作为信源是已知的，所以每个符号使用的概率质量函数均能准确选择。但是译码时无法准确选择概率质量函数，比如已经译码出“0”(首个符号译码时可约定概率质量函数)，因符号0存在三种概率质量函数，无法正确选择。同理符号1也无法正确选择概率质量函数。若已经译码出“01”，因存在两种概率质量函数p(1|1)或p(0|1)，所以通过已经译码的结果来推测下一个符号也不可行。当已经译码出“011”，因“011”后必然是符号0，所以存在唯一的选择p(0|1，1)。

当编码后的数据被篡改或传输出错时，每个符号均可能译码错误，采用马尔可夫链或条件概率构造编译码方法不可行。总结上述原因，基于概率定理，为该类二进制序列构造编译码方法需满足三个条件：

(1)每译码一个符号x存在唯一已知的概率质量函数p(x)，p(x)可以是由译码(编码的逆过程)结果推测出唯一已知的概率质量函数，例如已经译码出“011”，因“011”后必然是符号0，所以存在唯一的概率质量函数p(x)＝p(0|1，1)。

(2)存在一个表征着序列形态特征的已知变量r，也可以是已知函数f(i)(i＝1，2，...，n)的值，即r＝f(i)。序列的形态特征不同，r的值也应当不同。

(3)编译码时r应当作用于序列每个位置对应符号的概率质量函数。

可定义函数来构造编译码方法，如(或)，(或)等，则整个编译码过程均可准确选择概率质量函数和r。本发明称r为概率质量函数的形态特征系数，简称权系数。由于(或)，使得产生多项式不方便推理和分析，所以下面基于定义加权概率质量函数和加权累积分布函数，并通过分析这两个函数得出r的数理性质。因p(x)和r已知，并且因x不同而不同，所以可简单标记为

定义1、加权概率质量函数为：

p(a)为a的概率质量函数，0≤p(a)≤1，r为权系数，r是已知的正实数。显然，所有符号的加权概率之和为：

定义2、加权累积分布函数(简称加权分布函数)为：

F(a，r)＝rF(a)＝r∑_x≤a p(x) (6)

根据定义2，将序列X的加权分布函数记为F(X，r)。令n＝1时F(X，r)为：

F(X，r)＝rF(x₁)＝rF(x₁-1)+rp(x₁)

如图1所示，n＝2时，选择x₁对应的区间[F(x₁-1，r)，F(x₁，r))，由于F(x₁，r)＝F(x₁-1，r)+rp(x₁)，所以区间长度为 然后，将区间[F(x₁-1，r)，F(x₁-1，r)+rp(x₁))的长度乘以权系数r，若r＜1时，区间缩小；若r＞1时区间扩大；若r＝1时区间不变。于是区间变成了[F(x₁-1，r)，F(x₁-1，r)+r²p(x₁))，接着将r²p(x₁)按照式(1)中各符号的概率质量分割成k+1份，分割后符号0对应区间为[F(x₁-1，r)，F(x₁-1，r)+r²p(x₁)p(0))；符号1对应的区间为[F(x₁-1，r)+r²p(x₁)p(0)，F(x₁-1，r)+r²p(x₁)(p(0)+p(1)))；符号2对应的区间为[F(x₁-1，r)+r²p(x₁)(p(0)+p(1))，F(x₁-1，r)+r²p(x₁)(p(0)+p(1)+p(2)))，类推且F(x₁-1，r)＝rF(x₁-1)，得：

F(X，r)＝rF(x₁-1)+r²F(x₂)p(x₁)＝rF(x₁-1)+r²F(x₂-1)p(x₁)+r²p(x₁)p(x₂)

此时，区间长度为r²p(x₁)p(x₂)。如图2所示：

类推，n＝3时：

F(X，r)＝rF(x₁-1)+r²F(x₂-1)p(x₁)+r³F(x₃)p(x₁)p(x₂)＝rF(x₁-1)+r²F(x₂-1)p(x₁)+r³F(x₃-1)p(x₁)p(x₂)+r³p(x₁)p(x₂)p(x₃)

于是，令类推可得：

将满足式(7)的加权分布函数的集合定义为加权概率模型，简称加权模型，记为{F(X，r)}。若X_i∈A＝{0，1}，则称{F(X，r)}为二元加权模型。令：

H_n＝F(X，r) (8)

因x_i必须取A中的值，所以p(x_i)≥0。显然式(8)至(10)为区间列，L_i，H_i是序列X在时刻i(i＝1，2，...，n)变量x_i对应的区间上下标，R_i＝H_i-L_i是区间的长度。{[L_n，H_n)}为定义在加权概率模型上的区间列。将式(8)至(10)用迭代式表达为：

L_i＝L_i-1+R_i-1F(x_i-1，r) (12)

H_i＝L_i+R_i (13)

显然，式(7)中r为已知实数，将(7)称为静态加权模型。若r在时刻i等于已知函数值ω_i，即ω_i＝f(i)，f(i)为已知函数，于是系数序列为W＝{ω₁，ω₂，...，ω_n}，则(7)可表达为：

满足式(14)的加权分布函数的集合称为动态加权模型。当ω₁＝ω₂＝…＝ω_n＝r时，F(X，W)＝F(X，r)。若ω₁＝ω₂＝…＝ω_n＝r＝1，则F(X，W)＝F(X，1)＝F(X)。

基于式(15)的迭代式为：

R_i＝R_i-1p(x_i) (16)

L_i＝L_i-1+R_i-1F(x_i-1) (17)

H_i＝L_i+R_i (18)

于是有定理1、若权系数ω_i(i＝1，2，...，n)满足0＜ω_i≤1时， 成立。

定理1的证明过程如下：

∵0＜ω_i+1≤1，由式(11)至(13)得R_i+1＝R_iω_i+1p(x_i+1)；

∴0＜R_i+1≤R_ip(x_i+1)；

∵L_i+1＝L_i+R_iω_i+1F(x_i+1-1)，其中R_iω_i+1F(x_i+1-1)≥0；

∴L_i+1≥L_i；

∵H_i+1＝L_i+1+R_i+1，且R_i+1＞0；

∴L_i+1＜H_i+1；

∵H_i+1＝L_i+R_iω_i+1F(x_i+1-1)+R_ip(x_i+1)＜L_i+R_i(F(x_i+1-1)+p(x_i+1))；

∵F(x_i+1)＝F(x_i+1-1)+p(x_i+1)，由于F(x_i+1)≤ω_i+1，且ω_i+1≤1；

∴H_i+1≤L_i+R_i＝H_i；

根据定理1，通过归纳法可得定理2：

定理2、任意i＝1，2，...，n，若权系数ω_i满足0＜ω_i≤1，有

任意i有ω_i＝1，则称{F(X，W)}为标准模型；任意i有0＜ω_i≤1且存在ω_i＜1，则称{F(X，W)}为收缩模型；任意i有ω_i≥1且存在ω_i＞1，则称{F(X，W)}为扩张模型。

二、加权概率模型的信息熵；

设离散无记忆信源序列X＝(x₁，x₂，...，x_n)(x_i∈A，A＝{0，1，2，...，s})，当权系数r＝1时，由所以由香农信息熵定义，X的熵为(对数以s+1为底)：

当r≠1时，定义具有概率的随机变量x_i的自信息量为：

设集合{x_i＝a}(i＝1，2，...，n；a∈A)中有c_a个a。当r已知，信源序列X的总信息量为：

于是平均每个符号的信息量为：

定义3、令H(X，r)为加权模型信息熵(单位为：比特/符号)：

于是有定理3、离散无记忆信源序列X＝(x₁，x₂，...，x_n)(X_i∈A，A＝{0，1，2，...，s}，i＝1，2，...，n)通过加权概率模型无失真编码，最小极限为H(X，r_max)(r_max为最大权系数)。

定理3的证明过程如下：

任意r＞r_max时，L_n∈[L_n，H_n)∧L_n∈[L_n-1，H_n-1)∧…∧L_n∈[L_i，H_i)不成立，即无法还原序列X。当0＜r≤1时，-log r≥0，有H(X，r)≥H(X)；当1＜r≤r_max时，-log r＜0，有H(X，r)＜H(X)，显然最小极限值为H(X，r)＝-log r_max+H(X)。

定理3给出的是静态加权模型的信息熵。而在动态加权模型中，当系数序列W＝{ω₁，ω₂，...，ω_n}已知时，根据独立离散随机序列X，其加权概率为：

根据对数运算法则可得：

由于集合{x_i＝a}(i＝1，2，...，n；a∈A)中有c_a个a，所以：

显然，式(26)可变换为：

然后将式(28)平均到每个符号，则有：

因所以于是：

令

可得H(X，W)＝-logr-H(X)。当r≤r_max时，L_n∈[L_n，H_n)∧L_n∈[L_n-1，H_n-1)∧…∧L_n∈[L_i，H_i)成立。

本发明的实施例；

根据上述现有理论：设长度为n的任意二进制序列X，其中符号0和符号1的概率为p(0)和p(1)。根据信息论，序列X的信息熵H(X)＝-p(0)log₂ p(0)-p(1)log₂ p(1)。设加权概率模型编码后的结果为n，根据上式(23)有：

-n log₂ r+nH(X)＝n (32)

化简可得：

r＝2^H(x)-1 (33)

因0≤H(X)≤1，所以0.5≤r≤1.0。根据上述定理2，因为 且[L_i，H_i)唯一的与符号x_i对应，所以可无损译码。以图1和图2为例，因为所以解码出x₁。同理解码出x₂。显然，加权概率模型编码算法是无损的。于是通过式(32)，加权概率模型可以将二进制序列X无损的转换为等长度的二进制序列Y。

于是得出结论一：二进制序列Y中符号均匀分布，即p(0)＝p(1)＝0.5。

结论一的证明过程如下：根据信息论，序列Y的信息熵为H(Y)＝-p(0)log₂ p(0)-p(1)log₂ p(1)。因序列Y为加权概率模型无损编码后的结果，所以H(Y)＝H(X，r)。由于序列X和Y等长，所以有nH(Y)。当且仅当H(Y)＝1时，式(32)成立，所以根据H(Y)可得p(0)＝p(1)＝0.5。于是序列Y中符号0和符号1的概率均等，即符号均匀分布。

于是，根据该结论一，任意二进制序列X可以由式(33)给出加权系数，通过加权概率模型无损编码为完全随机的二进制序列Y，且二进制序列Y也可无损的还原序列X。因序列X已知，所以H(X)确定，则r已知，即r与序列X的熵一一对应。因0≤H(X)≤1，所以r∈[0.5，1.0)。

若仅已知长度为n的二进制序列X(序列X中符号0和符号1均匀分布)，设定r∈[0.5，1.0)通过加权模型译码为长度为n的序列Y。显然不同的r可以得出不同熵的序列Y。

结论二：已知长度为n的二进制序列X中符号均匀分布，且任意给定权系数r∈[0.5，1.0)经加权概率模型译码的结果为二进制序列Y，则序列Y必然满足：

(1)H(Y)＜H(X)＝1；(2)序列Y的长度为n。

结论二的证明过程如下：

当二进制序列X已知时，根据结论一，加权系数r与序列Y一一对应。由于r已知，所以由式(33)可得：

H(Y)＝1+log₂ r (34)

若r＝1.0，因为完全随机的二进制序列X有H(X)＝1，由式(33)可得1＝2^H(Y)-1，则H(Y)＝1，所以H(Y)＝H(X)。加权概率模型译码过程为等熵变换过程，所以r＜1.0。若0.5≤r＜1.0，-1≤log₂ r＜0代入式(34)，得0≤H(Y)＜1。于是H(Y)＜H(X)＝1，加权概率模型译码过程是无损降熵变换过程。因加权概率模型是无损编译码过程，且所以译码后的序列Y的长度为n。

根据结论二，任意二进制序列X中符号满足均匀分布，可以被认为是序列Y基于已知权系数r的加权概率模型编码后的结果。使用0.5≤r＜1.0将序列X进行加权概率模型译码时，得到二进制序列Y，即0≤H(Y)＜1。然后设r＝1.0对随机序列Y进行加权编码得到序列Z。因为H(Y)＜1，所以根据香农无失真定理，序列Z的长度必然小于n(可通过香农无失真定理证明)。

根据上述结论一和结论二，参照图3，提供第一个实施例，一种基于加权概率模型的无损压缩方法，方法包括以下步骤：

S100、将序列长度为n且符号均匀分布的二进制序列X等长无损降熵为序列长度为n的二进制序列Y，其中等长无损降熵过程所使用的第一权系数r₁的取值范围为：r₁∈[0.5，1.0)。

步骤S100的具体实施方式为：

S101、设定初始参数：R₀＝1，L₀＝0，i＝1，j＝0以及r₁，r₁取区间[0.5，1.0)中的任意值；

步骤S101中的参数r₁可以[0.5，1.0)区间内任意设置。参数r₁的选取决定了本方法的压缩率。

S102、根据编码公式L_i＝L_i-1+R_i-1F(x_i-1，r₁)以及H_i＝L_i+R_i，计算二进制序列X中第i个符号0的区间上标值 其中x_i表示二进制序列X中的第i个符号，R_i，L_i，H_i为编码参数，p(x_i)表示第i个符号x_i的质量概率函数，表示第i个符号x_i的加权质量概率函数；

S103、判断Y与的大小，若输出符号0，j＝j+1；若输出符号1；

S104、i＝i+1，若j≤n，跳转至步骤S102；若j＞n，得到二进制序列Y；

S200、通过加权概率模型将二进制序列Y无损压缩为二进制序列Z，其中加权概率模型所使用的第二权系数r₂的取值为：r₂＝1。

步骤S200的具体实施方式为：

S201、设定初始参数：R₀＝1，L₀＝0，i＝1，j＝0，V＝0以及r₂＝1；

为了方便计算和描述，在步骤S201中增加一个参数V，参数V的初始值为0，参数V用于表征加权模型编码后L_i的值。

S202、编码二进制序列Y中的第i个符号，若第i个符号为符号0，进入步骤S203；若二进制序列Y中的第i个符号为符号1，跳转至步骤S204；

S203、根据编码公式R_i＝R_i-1p(x_i)、L_i＝L_i-1+R_i-1F(x_i-1，r₂)计算R_i和L_i的值，R_i＝R_i-1p(0)，F(-1)＝0，则L_i＝L_i-1；i＝i+1；跳转至步骤S205；

S204、根据编码公式R_i＝R_i-1p(x_i)和L_i＝L_i-1+R_i-1F(x_i-1，r₂)计算R_i和L_i的值，R_i＝R_i-1p(0)，因F(0)＝p(0)，L_i＝L_i-1+R_i-1p(0)；

S205、若i≤n，则跳转至步骤S202；若i＞n，V＝L_n，结束编码，输出V，V即为二进制序列Z。

本实施例提供的一种基于加权概率模型的无损压缩方法，首先序列X基于上述结论二无损降熵为等长的序列Y，然后序列Y通过加权概率模型(r₂＝1)无损压缩为序列Z。

本实施例提供的基于加权概率模型的无损压缩方法的有益效果在于：

根据最大熵定理，均匀分布的二进制序列将无法再进行无损压缩，现有的熵编码均遵从该定理。本方法实施例的核心是提供了一种等长无损降熵变换的过程，因为对均匀分布的二进制序列(对应上述步骤中的二进制序列X)进行了等长无损降熵处理(对应得到的二进制序列Y)，所以使得均匀分布的二进制序列可以进行无损压缩。压缩率由式(34)给出，且与自定义的权系数有关。显然本方法的压缩率优于现有的熵编码算法。而且由于本方法是以比特为单位的编译码过程，无需大量的硬件缓存和编码，且可以分段并行处理，所以运算的硬件资源少。本方法可应用的场景主要有：已经压缩过的图像、视频、文件再进行压缩，且压缩比可通过权系数(对应r₁)自定义

参照图4，基于第一个实施例，本发明的第二个实施例，还提供一种基于加权概率模型的无损解压方法，需要说明的是，本方法是上述第一个实施例提供的基于加权概率模型的无损压缩方法的逆过程，两者是基于同一个发明构思，本基于加权概率模型的无损解压方法包括以下步骤：

S300、通过加权概率模型将二进制序列Z无损解压为二进制序列Y。

步骤S300的具体实施方式为：

S301、设定初始参数：R₀＝1，L₀＝0，i＝1，j＝0，V；

步骤S301中的参数V均已知，参数V对应第一个实施例的步骤S205中的V。二进制序列Z的长度已知。

S302、根据编码公式L_i＝L_i-1+R_i-1F(z_i-1，r₂)以及H_i＝L_i+R_i，计算二进制序列Z中第i个符号0的区间上标值

S303、判断V与的大小，若输出符号0，j＝j+1；若输出符号1；

S304、i＝i+1；若j小于或等于二进制序列Z的序列长度，跳转至步骤S302；若j大于二进制序列Z的序列长度，得到二进制序列Y。

S400、将二进制序列Y等长无损增熵变换成二进制序列X。

步骤S400的具体实施方式为：

S401、设定初始参数：R₀＝1，L₀＝0，i＝1，j＝0，V₁＝0以及r₁；

步骤S401的参数r₁为已知，参数r₁对应第一个实施例中步骤S101中的r₁，二进制序列Y的序列长度已知，为n。为了方便计算和描述，在步骤S401中增加一个参数V₁，参数V₁的初始值为0，参数V₁用于表征加权模型编码后L_i的值。

S402、编码二进制序列Y中的第i个符号，若第i个符号为符号0，进入步骤S403；若二进制序列Y中的第i个符号为符号1，跳转至步骤S404；

S403、根据编码公式和L_i＝L_i-1+R_i-1F(y_i-1，r₁)计算R_i和L_i的值，F(-1)＝0，则L_i＝L_i-1；i＝i+1；跳转至步骤S405；

S404、根据编码公式和L_i＝L_i-1+R_i-1F(y_i-1，r₁)计算R_i和L_i的值，因进入步骤S405；

S405、若i≤n，跳转至步骤S402；若i＞n，V₁＝L_n(V₁＝X)，结束编码，增熵变换完成。V₁即为二进制序列X。

本实施例提供的一种基于加权概率模型的无损解压方法是上述第一个实施例方法的逆过程，主要包括：首先序列Z解码出序列Y；然后序列Y通过基于上述结论二无损增熵变换为序列X。

本实施例方法是第一个实施例方法的逆过程，本实施例方法与第一个实施例方法是同一个发明构思，此处不赘述其有益效果。

参照图5，本发明第三个实施例，提供了一种编码设备，该设备可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。具体地，该编码设备包括：一个或多个控制处理器和存储器，这里以一个控制处理器为例。控制处理器和存储器可以通过总线或者其他方式连接，这里以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的编码设备对应的程序指令/模块。控制处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而实现上述第一个实施例所述的基于加权概率模型的无损压缩方法和/或第二个实施例所述的基于加权概率模型的无损解压方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该基于编码设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个控制处理器执行时，执行上述第一个实施例所述的基于加权概率模型的无损压缩方法和/或第二个实施例所述的基于加权概率模型的无损解压方法。

本发明第四个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行上述第一个实施例所述的基于加权概率模型的无损压缩方法和/或第二个实施例所述的基于加权概率模型的无损解压方法。

通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read Only Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。