阅读说明：本技术 基于fpga的超高清视频的远距离传输系统 (Ultra-high-definition video remote transmission system based on FPGA ) 是由 刘富春 汪磊 李向阳 于 2020-04-18 设计创作，主要内容包括：本发明公开了一种基于FPGA的超高清视频的远距离传输系统,包括MIPI-CSI2解码模块和3G-SDI编码模块。MIPI-CSI2解码模块：接收由图像传感器传输过来的4Lane MIPI-CSI2数据信号和1Lane MIPI-CSI2时钟信号,其图像分辨率为3840*2160*30,检测到数据信号并解析出来YUV422格式的有效数据。3G-SDI编码模块：接收由MIPI-CSI2解码模块解析出来的YUV422格式的有效数据,YUV422格式的有效数据再转换成YCrCb4:2:2格式的有效数据,最后将YCrCb4:2:2格式的有效数据编码成3G-SDI视频信号,分辨率为1920*1080*60,通过两路3G-SDI传输超高清视频信号。从而实现MIPI-CSI2视频信号转换成2*3G-SDI视频信号。利用SDI损耗低的特性进行远距离传输,解决MIPI-CSI2超高清视频信号传输距离不远的问题。(The invention discloses a remote transmission system of ultra-high-definition video based on FPGA, which comprises an MIPI-CSI2 decoding module and a 3G-SDI coding module. MIPI-CSI2 decoding module: the method comprises the steps of receiving a 4Lane MIPI-CSI2 data signal and a 1Lane MIPI-CSI2 clock signal which are transmitted by an image sensor, wherein the image resolution is 3840 × 2160 × 30, detecting the data signal and analyzing effective data in a YUV422 format. 3G-SDI coding module: the method comprises the steps of receiving effective data in YUV422 format analyzed by an MIPI-CSI2 decoding module, converting the effective data in YUV422 format into effective data in YCrCb4:2:2 format, finally coding the effective data in YCrCb4:2:2 format into a 3G-SDI video signal with the resolution of 1920 x 1080 x 60, and transmitting the ultra-high definition video signal through two paths of 3G-SDIs. Therefore, the conversion of the MIPI-CSI2 video signal into the 2 x 3G-SDI video signal is realized. The remote transmission is carried out by utilizing the characteristic of low SDI loss, and the problem that the transmission distance of the MIPI-CSI2 ultra-high definition video signal is short is solved.)

基于FPGA的超高清视频的远距离传输系统

技术领域

本发明专利涉及视频信号的编解码技术，具体涉及一种基于FPGA的超高清视频的远距离传输系统。

背景技术

超高清视频技术可以广泛用于医疗诊断治疗、道路监控等多种领域，例如现代医疗诊断和手术中常用的内窥镜系统，可以通过一个小皮肤切口得到内部身体器官的清晰视图。现代医疗技术如内窥镜系统等，对视频质量提出了更高的要求，朝着更高的视频分辨率，更长的距离传输，更突出的视觉效果发展。随着对视频分辨率要求的提高，超高清(4k)视频的远距离传输对带宽和传输的信号完整性提出了更高的要求。这也是制约目前超高清(4k)内窥镜无法普及的关键瓶颈。超高清(4k)视频的分辨率是高清的4倍。

800万甚至1000万像素以上的图像传感器的输出接口普遍是MIPI-CSI2，并行的DVP接口只适合传输低分辨率图像数据，传输高分辨率图像数据稳定性差。MIPI-CSI2接口并不适合远距离传输，其不失真传输距离为30cm。由于内窥镜系统的图像传感器和图像处理主机距离达到5m，而MIPI-CSI2数据并不能直接传输5m长的距离。目前适合远距离传输的视频接口是SDI，理论不失真距离可达75m，比HDMI不失真距离长，能够实现4K视频5m以上距离的稳定传输。

由于现有超高清分辨率视频远距离传输困难，目前市场上的内窥镜产品普遍处在高清分辨率这一阶段，超高清分辨率视频的远距离传输成为制约分辨率提高的最大因素。

发明内容

本发明鉴于以上背景完成，本发明基于FPGA，实现MIPI-CSI2视频数据的输入，2*3G-SDI视频的输出。完成对MIPI-CSI2格式数据的解码工作，实现对2*3G-SDI的编码工作。

为达到上述目的，本发明的技术方案是这样实现的，包括：

MIPI-CSI2解码模块：接收由图像传感器传输过来的4Lane MIPI-CSI2数据信号，1LaneMIPI-CSI2时钟信号。利用时钟信号作为基准检测数据信号，解析出来YUV422格式的视频信号。

3G-SDI编码模块：接收由MIPI-CSI2解码模块解析出来为YUV422格式的视频信号，然后将其编码成YCrCb4:2:2格式的3G-SDI视频信号。整个系统的输入是4路MIPI-CSI2视频信号，输出是两路YCrCb4:2:2格式的3G-SDI视频信号。

进一步地，从图像传感器传输过来的4Lane MIPI-CSI2数据差分信号，1Lane时钟差分信号，通过异或操作提取时钟信号，作为高速模式下解串模块的时钟，系统识别出传输线的高速模式和低功率模式，完成HS-RX高速接收状态和LP-RX低速接收状态的切换。

进一步地，在LPS状态下检测LP-RX两根IO线的电平，检测(LP-11)(LP-01)(LP-00)的变化顺序，从LPS状态下进入高速模式。在高速模式下检测到同步序列00011101，由紧接着的Data ID字节数据信息确定收到的数据属于长包结构还是短包结构，针对不同的包结构进行不同的解析。

进一步地，若确定为短包结构，解析帧结构信息，提取帧头和帧尾关键信息，用来控制状态机，为接下来的视频数据的解析工作做准备。

进一步地，若确定为长包结构，提取出Word Count信息，ECC信息，有效的YUV422格式的视频信息，以及CHECKSUM信息。并计算长包的ECC和CHECKSUM值，和提取出来的ECC和CHECKSUM值进行比较，确定传输过程中有没有出现传输错误的问题。将提取出来的视频信息按照Y和UV进行分类，分别放到相应的亮度FIFO和色度FIFO中。

进一步地，所述亮度FIFO和色度FIFO的内容，其视频整体分辨率是3840*2160*30，分成2个1920*1080*60进行传输。这两个1920*1080*60视频信息分别各自通过1根SDI线发送出去，总体输出是两根SDI线。

进一步地，1920*1080*60的图像数据格式为YCrCb4:2:2，每位用10bit表示。这个YCrCb4:2:2视频信号来自于YUV422的视频信号。将YUV422的8bit视频信号转换成YCrCb4:2:2视频信号。YCrCb4:2:2的1920*1080图像数据传输，分成两个虚拟通道，第一路虚拟通道承载的是Y信息数据，第二路虚拟通道承载的是CrCb信息数据。

进一步地，分别在两个虚拟通道编码加入结束标志EAV，开始标志SAV，长度信息LN，错误校验CRC等信息，和Y有效视频数据和CrCb有效视频数据分别组成Y通道和CrCb通道的完整帧结构。

进一步地，两个虚拟通道进行交错合并成一个实际通道，以第二虚拟通道，第一虚拟通道，第二虚拟通道，第一虚拟通道……的顺序进行交错合并。

进一步地，交错合并的模块是10bit的并行结构，需要转成串行序列，对合并的实际通道按照低位先行，EAV先行的串行规则进行串行化。

进一步地，对串行结构进行G₁₍X)＝X⁹+X⁴+1，G₂(X)＝X+1的NRZ，NRZI的编码，串行发送出去。先将信号编码为NRZ扰码信号，再把NRZ扰码信号转换成对电平极性不敏感、只对电平极性变换敏感的NRZI信号。

进一步地，对于串行发送的编码数据，使用TI公司的驱动器将3G-SDI数据通过BNC接头从75欧姆的同轴电缆线传输出去，传输线距离可以达到5米以上。

进一步地，两路3G-SDI视频信息通过同轴电缆传输出去，实现了3840*2160*30的视频信息的远距离的传输。每一个3G-SDI传输的视频分辨率是1920*1080*60。

有益效果：

本发明通过MIPI-CSI2解码模块接收到从图像传感器传输过来的MIPI-CSI2的3840*2160*30P的视频数据，然后通过MIPI-CSI2解码模块解析出有效视频数据，通过FIFO缓冲，进入3G-SDI编码模块，将有效视频数据编码成3G-SDI格式，然后通过同轴电缆线传输出去。实现了MIPI-CSI2的视频格式与3G-SDI视频格式的转换，3G-SDI的传输损耗低，适用于长距离传输视频数据。从而实现长距离的超分辨率视频的传输。

附图说明：

图1为本发明的MIPI-CSI2超高清视频远距离传输总体框架图；

图2为本发明的MIPI-CSI2解码模块结构框图；

图3为本发明的包结构信息提取状态机的结构框图；

图4为高速模式下传输波形示意图；

图5为本发明的有效图像数据提取模块内部结构框图；

图6为本发明的3G-SDI编码的结构结构框图；

图7为本发明的3G-SDI的一行信息帧框图；

图8为本发明的3G-SDI的交错合并后的信息帧框图；

图9为本发明的NRZ，NRZI编码的硬件实现框图。

具体实施方式

下面将结合附图和实施例对本发明进一步说明：

本发明完成了MIPI-CSI2的解码和3G-SDI的编码。如图1为所述的MIPI-CSI2超高清视频远距离传输总体框架图，输入的是MIPI-CSI2的3840*2160*30P的视频数据，输出的是2*1920*1080*60的3G-SDI视频数据。整体系统分为两个主要模块，MIPI-CSI2解码模块，3G-SDI编码模块。

其中这两个模块的功能如下：

MIPI-CSI2解码模块：接收由图像传感器传输过来的4Lane MIPI-CSI2数据信号，1Lane MIPI-CSI2时钟信号。利用时钟信号作为基准检测数据信号，解析出来YUV422格式的视频信号。

3G-SDI编码模块：接收由MIPI-CSI2解码模块解析出来为YUV422格式的视频信号，然后将其编码成YCrCb4:2:2格式的3G-SDI视频信号。

整个系统的输入是4路MIPI-CSI2视频信号，输出是两路YCrCb4:2:2格式的3G-SDI视频信号。

(一)MIPI-CSI2解码模块

如图2为所述的MIPI-CSI2解码模块结构框图。从图像传感器传输过来的4LaneData信号和1Lane Clk信号。对于每1Lane信号，有高速数据接收端，和低速数据接收端。高速数据接收端使用了FPGA的一对差分IO引脚，低速数据接收端使用另外一对差分IO引脚。FPGA不能直接连接带有MIPI-CSI2的导线，MIPI-CSI2协议中使用了两种电平信号：一种是High-Speed Signals，电压摆幅为200mV，为高速差分信号，每路信号的传输速率在80MHZ-1GHZ范围之内。另外一种电平信号是Low-Power Signals，电压摆幅是1200mV，低速单端信号，当不在高速模式下传输图像数据的时候，差分数据线电平信号是Low-Power Signals，也就是处在LPS状态。为了和FPGA兼容，使用电阻匹配的方式，1 Lane信号使用了4个FPGAIO引脚，分别接入HS-RX和LP-RX。HS-RX使用的IO引脚标注着HS-P，HS-N,是差分信号，LP-RX使用的IO引脚标注着LS。4Lane Data和1Lane Clk总共使用了20个IO引脚。

内部状态机FSM根据IO引脚线上的电平变化顺序确定发送方是高速模式还是低功耗模式。具体步骤如下：

如图3为所述的包结构信息提取状态机的结构框图，系统上电后处于Stop State(LP-11)，其理论差分线IO电平：差分P端线的电平l.2V[高电平]，差分线N端的电平为1.2V[高电平]。这个时候称为LPS状态，MIPI-CSI2解码模块会一直检测差分线上有无从StopState(LP-11)到HS-Rqststate(LP-01)的电平变化，HS-Rqst State(LP-01)其理论差分线IO电平：差分P端线的电平0V[低电平]，差分线N端的电平为1.2V[高电平]。如果检测到差分线有从Stop State(LP-11)到HS-Rqststate(LP-01)的电平变化，然后等待T_D-TERM-EN的时间后检测到Bridge State(LP-00)，Bridge State(LP-00)其理论差分线IO电平：差分P端线的电平0V[低电平]，差分线N端的电平为0V[低电平]。然后经过T_HS-SETTLE时间，忽略掉HS-RX线接收的收据，状态机使能HS-RX接收功能，然后在HS模式下检测高速同步序列00011101，当检测到同步序列00011101之后，就开始是长包和短包的数据，解串模块就开始将接收到的数据8bit并行化，输入到FIFO，数据传输完成会遇到Stop State(LP-11)状态，表示一个包的数据传输结束。状态机失能HS-RX接收功能，从高速模式状态进入LPS模式。等待下一次的进入高速模式。

对于差分时钟线，通过对差分时钟信号线进行异或操作恢复时钟信号。这个恢复时钟作为图3的HS-RX的解串模块的时钟信号。倍频之后的时钟信号为字节时钟，是4字节合并寄存器的工作时钟。

如图5为所述的有效图像数据提取模块内部结构框图。进入FIFO的数据是同步序列00011101之后的数据，一共4Lane数据，每Lane都会检测到同步序列00011101，然后开始对长包短包数据的解析。

根据Data ID字节数据内容确定四个通道中的序号ID，根据这个ID,按照一定的顺序装载到32bit的4字节图像合并寄存器。

首先解析的数据是32bitpackedheader，第一个字节是Data ID，第二和第三个字节表示地是字节数，也就是这个长包中的图像数据的字节数量，根据这个数目确定这个包的尾部，第四个字节是ECC(Error Correction Code for the Packet Header)，是个8bit的错误校验码。

Data ID字节的bit6-bit7内容表示通道信息，分别为00，01，02，03四种通道。接下来的bit0-bit5确定该包的属性，确定属于长包还是短包，针对不同的包结构进行不同的解析。此部分由状态机完成跳转。

在每一个通道中，如果是短包结构，解析出帧结构属性，确定帧头和帧尾信息，这些信息用来控制状态机，准备接下来的视频数据的解析工作。

在每一个通道中，如果是长包结构，提取出Word Count信息，ECC信息。其中WordCount信息表示这一个长包中的有效数据数量，解码的长度由Word Count信息确定，状态机由此确定解码的尾部。ECC信息是错误校验码。可用于纠错一个bit位的信息错误。

接下来是有效的图像数据，状态机会根据之前提取出Word Count信息依次读取FIFO中的数据，直到最后的一个有效的图像数据。

最后是一个包尾结构，包含的信息是CHECKSUM，其检验的范围是Word Count值确定的有效数据。检验多项式是CHECKSUM(X)＝X¹⁶+X¹²+X⁵+1。根据生成的CHECKSUM值和包结构中的CHECKSUM进行比较，用于确定传输有没有发生错误，可以用于生成标志位信息。

当接收端LP-RS检测到到数据线上的电平状态从LP-00进入到Stop State(LP-11)。这个时候的表示一个包的数据发送完毕，系统进入LPS状态，状态机失能HS-RX接收端，系统进入LPS，接收端等待下一次的进入高速模式。

一共四个通道，每个通道类似，四路并行进行解码工作。解码出来的图像数据是有效的YUV422格式的视频信息。将提取出来的视频信息按照Y和UV进行分类。四路并行的DataLane解码的图像数据分别为U1[7:0]，Y1[7:0]，V1[7:0]，Y2[7:0]，按照UV一类，Y单独一类进行分离，其中亮度FIFO的顺序为Y1[7:0]，Y2[7:0]。色度FIFO的顺序为U1[7:0]，V1[7:0]。放到相应的亮度FIFO和色度FIFO。完成对MIPI-CSI2的解码工作，解析出YUV422格式的视频信号。

(二)3G-SDI编码模块

如图6为所述的3G-SDI编码的结构结构框图，亮度FIFO和色度FIFO中是MIPI-CSI2解码模块解析的Y，UV信息，对于超高清内窥镜视频系统，其整体视频分辨率为3840*2160*30。3G-SDI编码最大传输的图像分辨率1920*1080*60，所以3840*2160*30可以通过分成2个1920*1080*60，然后发送出去视频信号。

MIPI-CSI2解码模块每次解码一行图像有效数据，一行的像素点为3840，分成4lane传输，每一Lane的数据的像素点为960个。其中Lane2和Lane4解析的是Y亮度数据，Lane1和Lane3解析的是UV色度数据。将这些数据按照Y，UV进行分类发送到相应的Y亮度FIFO和UV色度FIFO中。这些FIFO的宽度是8bit。

3G-SDI编码的图像格式是YCrCb422，10bit的数据。需要进行格式转化，8bit的YUV422进行色彩空间的转化，转化生成的格式为YCrCb422，然后这些数据扩展为10bit的数据，作为3G*SDI编码的原始数据。

亮度FIFO和色度FIFO，其视频格式是3840*2160*30，。这两个1920*1080*60分别通过1根SDI线发送出去。1920*1080*60的图像数据格式为YCrCb4:2:2，每位用10bit表示。对于一根SDI上的图像数据，首先分成两个虚拟通道，第一路虚拟通道承载的是Y信息数据，第二路虚拟通道承载的是CrCb信息。

如图7为所述的3G-SDI的一行信息帧框图。其排列结构分别为EAV，Line Number，CRC，Blanking Area，SAV，Valid Data。对于Valid Data，Datastream1传输的10bit的Y数据，Datastream two传输的10bit的CbCr数据。

EVA表示结束标志，占用四个字节(10bit表示一个字节)，第一个字节是3FF，就是10个比特的高电平，紧接着是两个字节的000，就是20个比特的低电平。然后是XYZ部分。

XYZ部分占据一个字节，里面的信息涉及到EAV和SAV的判别位，隔行扫描系统和逐行扫描系统的判别标志。紧接着是两个字节的LN，表示的是行号的信息。对于传输1920*1080的系统，其总分辨率信息2200*1125。LN的范围是0-1124。紧接着LN的是两个字节的CRC，占据两个10bit。用于检测行有效数据在传输过程中是否出现出错，检验多项式为CRC(X)＝X¹⁸+X⁵+X⁴+1。

如图7，是一行的有效图像数据，图像数据在Datastream1的排列顺序是Y0 Y1Y2…Y1919总共1920个Y数据。在Datastream2中的排列顺序是Cb0，Cr0，Cb1，Cr1…Cb959，Cr959，总共1920个CrCb数据。

如图8，3G-SDI的交错合并后的信息帧框图，两个虚拟通道Datastream进行交错合并，以第二虚拟通道Datastream2，第一虚拟通道Datastream1，第二虚拟通道Datastream2，第一虚拟通道Datastream1……的顺序进行交错合并。

将合并成的并行数据串行化，串行输出的规则：低位先行，EAV先行。

因为原始数据频率分量集中在低频，引入了NRZ，NRZI编码。先将信号编码为NRZ扰码信号，再把NRZ扰码信号转换成对电平极性不敏感、只对电平极性变换敏感的NRZI信号。

如图9为所述的NRZ，NRZI编码的硬件实现框图。对串行序列进行NRZ编码，实现多项式为G₁₍X)＝X⁹+X⁴+1，接着进行NRZI的编码，实现多项式为G₂(X)＝X+1。在FPGA中通过D触发器实现，按照图9的结构，输入为串行的原始数据，输出为串行的编码后的数据。

对于串行发送的编码数据，使用TI公司的SDI驱动器将3G-SDI数据通过BNC接头从75欧姆的同轴电缆线传输出去，传输线距离可以达到5米以上。

一路3G-SDI只能传输4K视频的一半，需要两路3G-SDI，视频信息通过同轴电缆传输出去，实现了3840*2160*30的视频信息的远距离的传输。

以上所述仅为本发明的较佳实施方式，本发明并不局限于上述实施方式，在实施过程中可能存在局部微小的结构改动，如果对本发明的各种改动或变型不脱离本发明的精神和范围，且属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变型。