一种视联网技术
阅读说明：本技术 一种视联网技术 (Video networking technology ) 是由 何永刚 于 2021-06-10 设计创作，主要内容包括：本发明公开了一种视联网技术,包括摄像头、处理器、视频协议处理器、外围扩展芯片、电源模块、无线传输模块、模拟视频输入模块、数字视频输入模块、视频采集模块、编码器、传输控制协议处理模块、通信网络、解码器、高带宽视频传输模块和视频AI分析、视频交互系统；视频处理模块采用TI的达芬奇高性能多媒体处理器完成设备管理、音视频的压缩处理及传输通信,通过外接的以太网物理层芯片实现有线网络接口,利用WIFI芯片实现无线网络通信,处理器延续了达芬奇家族中的处理器构架,集成了一颗内核,一个H.264,H.265高清编解码协处理器和一个高清编解码协处理器,同时包含增强型H.265高清编解码协处理器,真正意义上解决低带宽下实现双流高清视频的强大处理功能。(The invention discloses a video networking technology, which comprises a camera, a processor, a video protocol processor, a peripheral expansion chip, a power supply module, a wireless transmission module, an analog video input module, a digital video input module, a video acquisition module, an encoder, a transmission control protocol processing module, a communication network, a decoder, a high-bandwidth video transmission module, a video AI analysis system and a video interaction system, wherein the camera is connected with the processor through the video protocol processor; the video processing module adopts a Davinci high-performance multimedia processor of TI to complete equipment management, compression processing and transmission communication of audio and video, a wired network interface is realized through an external Ethernet physical layer chip, wireless network communication is realized by utilizing a WIFI chip, the processor continues a processor framework in the Davinci family, an inner core, an H.264, H.265 high-definition codec coprocessor and a high-definition codec coprocessor are integrated, and the enhanced H.265 high-definition codec coprocessor is also included, so that the powerful processing function of realizing double-flow high-definition video under low bandwidth is really solved.)
技术领域
本发明涉及视频AI技术领域，具体为一种视联网技术。
背景技术
随着信息技术日新月异，计算机网络技术、图像处理技术与通信技术飞速发展，极大的推动了视频技术的不断发展与更新。视频传输系统是基于数字压缩编码技术从而实现实时传输的一种系统，以计算机为核心，采用高新技术，结合视频传输系统的实际要求及多年来不断完善的安防理论和经验，建立一套软硬件相结合的、崭新、完整的视频传输体系，优化内部结构，减少不必要的环节，提高整体性能和反映速度，满足技术不断发展的需求。
视频传输系统开发需要考虑的主要问题是带宽占用问题，视频数据量大和网络带宽有限一直是限制视频传输系统开发的瓶颈。所以，要在Internet上较好地传输视频信息，必须采取措施解决好这两方面的问题。一方面，我们必须对视频数据进行压缩，尽量去除其中的冗余信息，使得在网络中传输的数据量尽可能减少，降低对网络带宽的要求。
发明内容
本发明的目的在于提供一种视联网技术，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种视联网技术，包括摄像头、处理器、视频协处理器、外围扩展芯片、电源模块、无线传输模块、模拟视频输入模块、数字视频输入模块、视频采集模块、编码器、传输控制协议处理模块、通信网络、解码器、高带宽视频传输模块和视频AI分析、视频交互系统。
优选的，所述处理器、视频协处理器、外围扩展芯片为视频处理模块，所述摄像头的输出端与视频处理模块的输入端为单向电连接，所述视频处理模块的输出端与无线传输模块的输入端为单向电连接，所述电源模块的输入端与视频处理模块的输入端为单向电连接。
优选的，所述视频处理模块采用TI的达芬奇高性能多媒体处理器完成设备管理、音视频的压缩处理及传输通信，通过外接的以太网物理层芯片实现有线网络接口，利用转WIFI芯片实现无线网络通信，支持TCP/IP网络协议，处理器延续了达芬奇家族中的处理器构架，集成了一颗内核，一个H.264，H.265高清编解码协处理器和一个MPEG-4/JPEG高清编解码协处理器，可以支持H.264，H.265/MPEG-4的高清视频编解码。
优选的，所述视频流的处理、传输流程如下:在视频发送端，对模拟视频进行采样，获得数字视频并进行视频编码，或者直接对输入的数字视频进行编码，生成适应于网络传输的面向网络通信的视频码流；根据反馈信息，估计网络的可用传输带宽，自适应地调整编码器的编码输出速率(包括信源码率的调整与信道码率的调整)，使得视频码流能够满足当前网络传输可用带宽的限制；在接收端，对接收的视频流进行解码、重构视频信号、计算当前网络传输参数(如传输中的丢包率等)并发送反馈控制信息。
优选的，所述视频AI分析包括视频数据模块、视频特征、音频特征、3D CNN模型、Vggish模型、多任务学习模型和结果输出模块。
优选的，所述3D CNN模型包括曝光度、饱和度和白平衡调节。
优选的，所述视频交互系统包括以下步骤：
S1：按照系统服务器/客户机的网络传输模型，在服务器端建立了以SOCKET为类型的监听套接字、控制套接字:在客户端建立了SOCKET类型的请求套接字、控制套接字；
S2：在服务器和客户机两端都用到了一个组播类，它是专门为视频传输而封装的类，其中定义以SOCKET类型的收发视频数据的套接字和组套接字，从而实现了用组播通信方式来传输UDP协议封装的视频数据包；
S3：视频数据组播发送功能由于实时组播的视频流来自于视频采集压缩卡，所以首先要从视频采集压缩卡中获得视频数据，设置一定的缓冲区来存放采集的视频数据,为此我们设计了一个视频流缓冲区。该视频流缓冲区类的重要作用是设置一个缓冲区队列，对采集的数据进行数据的压入和弹出工作。从视频采集压缩卡采集的视频流数据不断地压入程序设置的缓冲区队列。该缓冲区队列有一定的大小限制，同时在此等待发送的视频数据流受到带宽自适应系统的控制；
S3：根据带宽情况用不同的速率将缓冲区的视频流数据以IP组播的方式发送出去，同时再将缓冲队列清空，以接收新的数据。重复上述过程，直到停止压缩采集或图像发送过程，缓冲区同时会有读和写两个操作，因此可以设置成-一个环形的缓冲区。就是通过变量来标识现在缓冲区写操作和读操作的进程，如果超过读写最大值则自动回到开始，这样设置的目的是避免写和读的速度不同步，而导致数据丢失。如果采用直接写缓冲区，直到写满缓冲区再发送，然后等待发送完毕再写，就很可能数据丢失了；对于组播发送端来说，在程序实现的时候并不需要加入一个IP组播组，因为向组播组发送数据的时候，网络中的数据包与普通UDP包大致相同，只是目的地址换成--个特殊的组播地址而已。因此发送端比接收端在网络处理方面稍微简单
与现有技术相比，本发明的有益效果是：
1、该视联网技术，前端智能是将智能分析算法嵌入到前端摄像机，对采集的视频内容立即进行分析，提取出画面中关键的、感兴趣的、有效的信息，形成结构化的数据。嵌入式视频分析可以在前端直接对视频信息进行处理，减少了视频信息上传的网络带宽压力，并且安装简单易于系统集成；同时还可以支持前端存储，无需进行图像的远程传输，并因此可以对图像进行高质量的前端存储，如果用户需要获得图像信息，则可以通过分布式事件搜索完成，并通过点播获得高质量现场画面。
2、该视联网技术，ARM组系统采用ARMv5TEJ(32/16bit)指令集的26EJ-S内核CPU，是采用管道化流水线的32bit RSIC处理器，工作频率为216/270/300MHz。ARM CPU执行通常的系统控制任务，如系统初始化，配置，电源管理，用户界接口和用户命令等。ARM作为主控和执行这些功能是因为它有一个大的程序存储空间和快速的任务切换能力，因而其更适合复杂的，多任务和通用的任务控制。
3、该视联网技术，视频采集前端核心部件即摄像头，一般摄像头由镜头、图像传感器、数字信号处理芯片、等部分组成。景物通过镜头生成的光学图像投射到图像传感器表面上，然后转为电信号，经过A/D(模数转换)转换后变为数字图像信号，再送到数字信号处理芯片(DSP)中加工处理，最后通过接口传输到计算机中进行处理，通过显示器即可看到图像，利用wifi技术来实现视频的无线发送，Wifi是Wireless Fidelity的缩写，是一种无线局域网数据传输的技术与规格，也就是IEEE所定义的无线通信标准IEEE 802.11。从DM365开发板的接口特性考虑，系统节点采用wifi解决方案GS1010芯片，该款无线SOC芯片采用双ARM7内核，包括实时时钟(RTC)、功耗控制单元、闪存(Flash)和SRAM，并且整合了wifi射频(RF)前端和微控制器，具备定位跟踪以及监控物资功能，这样的芯片结构大大减轻了节点设计的复杂度，也节省了节点的成本。电源模块为传感器模块及处理器模块提供能量，气体调理电路的输出仅需要连接到GS1010的ADC接口，这样就基本完成了基于wifi的气体监测节点的硬件设计。GS1010采用0.18微米工艺制造，10mm*10mmQFN封装，在硬件设计上节省了元器件数量，简化了设计电路布线密度，提高了系统的可靠性，1.8V工作时电流为2mA，3.6V时为5mA，在单节AA电池下能维持长达5～10年的节点运行寿命。
附图说明
图1为本发明视频前端视频采集结构示意图；
图2为本发明视频AI计算分析结构示意图；
图3为本发明视频交互结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供一种技术方案：一种视联网技术，包括摄像头、处理器、视频协处理器、外围扩展芯片、电源模块、无线传输模块、模拟视频输入模块、数字视频输入模块、视频采集模块、编码器、传输控制协议处理模块、通信网络、解码器、高带宽视频传输模块和视频AI分析、视频交互系统；处理器、视频协处理器、外围扩展芯片为视频处理模块，摄像头的输出端与视频处理模块的输入端为单向电连接，视频处理模块的输出端与无线传输模块的输入端为单向电连接，电源模块的输入端与视频处理模块的输入端为单向电连接；视频处理模块采用TI的达芬奇高性能多媒体处理器完成设备管理、音视频的压缩处理及传输通信，通过外接的以太网物理层芯片实现有线网络接口，利用转WIFI芯片实现无线网络通信，支持TCP/IP网络协议，处理器延续了达芬奇家族中DM355的处理器构架，集成了一颗内核，一个H.264,H.265高清编解码协处理器和一个高清编解码协处理器，可以支持H.264,H.265/MPEG-4的高清视频编解码；视频流的处理、传输流程如下:在视频发送端，对模拟视频进行采样，获得数字视频并进行视频编码，或者直接对输入的数字视频进行编码，生成适应于网络传输的面向网络通信的视频码流；根据反馈信息，估计网络的可用传输带宽，自适应地调整编码器的编码输出速率(包括信源码率的调整与信道码率的调整)，使得视频码流能够满足当前网络传输可用带宽的限制；在接收端，对接收的视频流进行解码、重构视频信号、计算当前网络传输参数(如传输中的丢包率等)并发送反馈控制信息；视频AI分析包括视频数据模块、视频特征、音频特征、3D CNN模型、Vggish模型、多任务学习模型和结果输出模块；3D CNN模型包括曝光度、饱和度和白平衡调节。
工作原理：按照系统服务器/客户机的网络传输模型，在服务器端建立了以SOCKET为类型的监听套接字、控制套接字:在客户端建立了SOCKET类型的请求套接字、控制套接字；在服务器和客户机两端都用到了一个组播类，它是专门为视频传输而封装的类，其中定义以SOCKET类型的收发视频数据的套接字和组套接字，从而实现了用组播通信方式来传输UDP协议封装的视频数据包；视频数据组播发送功能由于实时组播的视频流来自于视频采集压缩卡，所以首先要从视频采集压缩卡中获得视频数据，设置一定的缓冲区来存放采集的视频数据,为此我们设计了一个视频流缓冲区。该视频流缓冲区类的重要作用是设置一个缓冲区队列，对采集的数据进行数据的压入和弹出工作。从视频采集压缩卡采集的视频流数据不断地压入程序设置的缓冲区队列。该缓冲区队列有一定的大小限制，同时在此等待发送的视频数据流受到带宽自适应系统的控制；根据带宽情况用不同的速率将缓冲区的视频流数据以IP组播的方式发送出去，同时再将缓冲队列清空，以接收新的数据。重复上述过程，直到停止压缩采集或图像发送过程，缓冲区同时会有读和写两个操作，因此可以设置成-一个环形的缓冲区。就是通过变量来标识现在缓冲区写操作和读操作的进程，如果超过读写最大值则自动回到开始，这样设置的目的是避免写和读的速度不同步，而导致数据丢失。如果采用直接写缓冲区，直到写满缓冲区再发送，然后等待发送完毕再写，就很可能数据丢失了；对于组播发送端来说，在程序实现的时候并不需要加入一个IP组播组，因为向组播组发送数据的时候，网络中的数据包与普通UDP包大致相同，只是目的地址换成一个特殊的组播地址而已。因此发送端比接收端在网络处理方面稍微简单，总体框架：整个视链系统将通过视频采集、视频互通、视频分析结合虚拟现实场景来完成端到端的解决方案，同时结合5G+物联网等新通信使分析计算后的视频分发到每个客户应用场景。
总体框架：前端视频采集+中间高带宽视频传输+后端视频AI分析，通用标准：通信标准：H.323H.320，音视频编解码标准：H.263、H.263+、H.264、H.264HP、H.264SVC、H265、BAOSHENG视频编码协议；AI标准：大数据标准：5G标准：物联网标准：国际电信联盟ITU对于视音频通讯及其兼容性的技术进行了规范，在这些基本的协议中，同时对语音、视频、数字信号的编码格式，用户控制模式等要件进行了相关的规定，ITU-T制定的适用于视频会议的标准有:H.320协议(用于ISDN上的群视频会议)、H.323协议(用于局域网上的桌面视频会议)、H.324(用于电话网上的视频会议)、H.310(用于ATM和B-ISDN网络上的视频会议)和H.264(高度压缩数字视频编解码器标准)。其中H.323协议成为目前应用最广最通用的协议标准，而H.264是目前最先进的网络音视频编解码技术。
新技术：FEC，LPR(丢包恢复)技术，QoS(Quality of Service)，混合组网，P2P技术，高保真音频，IPV6，H.265。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。