阅读说明：本技术 一种基于android系统的音视频双码流处理方法 (Audio and video dual-code stream processing method based on android system ) 是由 周群超 于 2020-06-01 设计创作，主要内容包括：本发明公开了一种基于android系统的音视频双码流处理方法,涉及音视频双码流技术领域。本发明包括如下步骤：手持设备采集的相机数据和音频数据分别上传至系统框架层中的视频编码控制块和音频编码控制块；设置好参数的视频编码控制块和音频编码控制块将数据帧通过编码器进行本地数据打包；视频编码控制块和音频编码控制块通过网络数据处理装置对数据进行编码和组装,并将处理结果发送至网络传输端。本发明通过在音视频设备支持单码情况下,输出双码音视频数据,能够实时保存以及操控双码数据,一路数据保存本地一路数据传输至网络,降低双码流手持机设备功耗、减少系统内存的使用。(The invention discloses an android system-based audio and video dual-code stream processing method, and relates to the technical field of audio and video dual-code streams. The invention comprises the following steps: camera data and audio data collected by the handheld device are respectively uploaded to a video coding control block and an audio coding control block in a system framework layer; the video coding control block and the audio coding control block with the set parameters pack the data frames through the encoder for local data; the video coding control block and the audio coding control block encode and assemble data through the network data processing device and send processing results to the network transmission end. According to the invention, double-code audio and video data are output under the condition that the audio and video equipment supports a single code, the double-code data can be stored and controlled in real time, one path of data is stored, and the other path of data is locally transmitted to the network, so that the power consumption of the dual-code-stream handset equipment is reduced, and the use of a system memory is reduced.)

一种基于android系统的音视频双码流处理方法

技术领域

本发明属于音视频双码流技术领域，特别是涉及一种基于android系统的音视频双码流处理方法，尤其涉及各种小型手持设备。

背景技术

随着图像处理与模式识别技术的发展，机器视觉系统在智能交通领域已经得到了广泛的应用。

手持机是一种高度集成化的微小型机器视觉系统。传统的利用手持机进行交通监控的解决方案都是只采用图像数据或视频数据一路码流进行监控。对于采用图像数据进行监控的方案，虽然它能够将相机采集的每一帧图像保存于计算机，并进行图像分析操作，但是它无法满足智能交通领域中实时监控的需求；对于采用视频数据进行监控的方案，虽然它能够通过录像实时监控，但是视频数据是无法进行图像分析的。如何同时满足实际应用的不同需求，做到既能够实时监控，又提供图像分析功能，这是目前大多数厂家关心的问题，因此必须采用有效的方法来提高手持机的通用。

发明内容

本发明的目的在于提供一种基于android系统的音视频双码流处理方法，通过在音视频设备支持单码情况下，输出双码音视频数据，能够实时保存以及操控双码数据，一路数据保存本地一路数据传输至网络，解决了现有的双码流手持机设备功耗大、供电不足的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于android系统的音视频双码流处理方法，包括如下步骤：

步骤S1：手持设备分别通过摄像头模块和音频模块采集相机数据和音频数据；

步骤S2：相机数据和音频数据分别上传至系统框架层中的视频编码控制块和音频编码控制块；

步骤S3：用户通过网络传输端预先对视频编码控制块和音频编码控制块进行参数设置；

步骤S4：设置好参数的视频编码控制块将视频帧通过视频编码器进行本地数据打包；

步骤S5：设置好参数的音频编码控制块将音频帧通过音频编码器进行本地数据打包；

步骤S6：视频编码控制块和音频编码控制块通过网络数据处理装置对数据进行编码和组装，并将处理结果发送至网络传输端。

优选地，所述步骤S3中，通过设置与本地视频码流的帧率差异，对视频编码控制块和音频编码控制块的网络传输帧率进行配置，将数据进行帧处理。

优选地，所述步骤S4和步骤S5中，MediaCodecSource对获取到的视频数据和音频数据进行本地数据编码保存的同时，保留未编码前的音视频数据。

优选地，所述视频数据和音频数据在本地设备网络输出参数的控制包括网络视频流的码率、帧率、编码格式。

优选地，所述网络数据处理装置负责发送前一帧JPEG图像数据和H.264视频数据，DSP处理器负责把当前的原始图像数据编码成JPEG图像数据和H.264视频数据，且两者是在同一时间片内执行的；当所述网络数据处理装置接收第n帧原始图像数据完毕后，所述网络数据处理装置会把该第n帧原始图像数据传输给DSP芯片处理器，同时所述网络数据处理装置还等待着所述DSP芯片处理器对第n-1帧原始图像数据的编码结果；所述DSP芯片处理器先调用JPEG编码算法和H.264编码算法将第n-1帧原始图像数据编码成第n-1帧JPEG图像数据和第n-1帧H.264视频数据，并将第n-1帧JPEG图像数据和第n-1帧H.264视频数据传输给ARM芯片处理器后，继续调用编码算法对第n帧原始图像数据进行编码。

本发明具有以下有益效果：

本发明通过在音视频设备支持单码情况下，输出双码音视频数据，能够实时保存以及操控双码数据，一路数据保存本地一路数据传输至网络，降低双码流手持机设备功耗、减少系统内存的使用。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于android系统的音视频双码流处理方法步骤图；

图2为本发明的手持机工作的系统架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种基于android系统的音视频双码流处理方法，包括如下步骤：

步骤S1：手持设备分别通过摄像头模块和音频模块采集相机数据和音频数据；

步骤S2：相机数据和音频数据分别上传至系统框架层中的视频编码控制块和音频编码控制块；

步骤S3：用户通过网络传输端预先对视频编码控制块和音频编码控制块进行参数设置；

步骤S4：设置好参数的视频编码控制块将视频帧通过视频编码器进行本地数据打包；

步骤S5：设置好参数的音频编码控制块将音频帧通过音频编码器进行本地数据打包；

步骤S6：视频编码控制块和音频编码控制块通过网络数据处理装置对数据进行编码和组装，并将处理结果发送至网络传输端。

其中，步骤S3中，通过设置与本地视频码流的帧率差异，对视频编码控制块网络传输帧率进行配置，将数据进行帧处理，进一步缩小网络传输的数据大小。

其中，步骤S4和步骤S5中，MediaCodecSource对获取到的视频数据和音频数据进行本地数据编码保存的同时，保留未编码前的音视频数据。

其中，视频数据和音频数据在本地设备网络输出参数的控制包括网络视频流的码率、帧率、编码格式，包括音频数据流的编码格式。

其中，网络数据处理装置负责发送前一帧JPEG图像数据和H.264视频数据网络数据处理装置负责实时处理MediaCodecSource保存的未处理的音视频数据，并根据网络传输配置，设置帧率的方式为成倍删减方式，例如1倍,删除一张保留一张,2倍删除两张保留一张，DSP处理器负责把当前的原始图像数据编码成网络配置参数中的图像格式以及编码格式，且两者是在同一时间片内执行的；当网络数据处理装置接收第n帧原始图像数据完毕后，网络数据处理装置会把该第n帧原始图像数据传输给DSP芯片处理器，同时网络数据处理装置还等待着DSP芯片处理器对第n-1帧原始图像数据的编码结果；DSP芯片处理器先调用JPEG编码算法和H.264编码算法将第n-1帧原始图像数据编码成第n-1帧JPEG图像数据和第n-1帧H.264视频数据，并将第n-1帧JPEG图像数据和第n-1帧H.264视频数据传输给ARM芯片处理器后，继续调用编码算法对第n帧原始图像数据进行编码。音视频数据非同线程数据处理，因此编码完成的音视频数据再次放入到网络数据处理装置中进行音视频整合。整合方式主要通过首时间的时差匹配方式，另网络数据处理装置有对网络信号差情况做特殊处理，当网络差的情况下，传输到网络数据处理装置的数据会再次成倍删除数据。值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。