具体实施方式

现结合附图和实例对本发明作进一步的描述。

如图1所示，本发明提供了一种用于野外鸟类声像全方位自动监测跟踪装置，该装置采用刚性球形双半结构，下半球为带云台的高清摄像头，上半球由“N”个阵元(阵元多少取决应用需要)的环形拾音传声阵列和电路舱构成。其中，“N”个阵元均匀等间距分布在圆环阵圆周。电路舱由多通道声信号采集模块、信号处理模块、通讯模块、主控制模块和电源模块构成；圆环形拾音传声器阵列与多通道信号采集模块连接，并与主控制模块和信号处理模块连接；云台控制连接到主控模块，音频数据和视频数据通过通讯模块进行传输。环形拾音器阵列能够实现对鸟鸣声方向进行定位、跟踪和识别，摄像头通过图像对鸟活动进行监测和自动识别，通过鸣声定位和图像跟踪实现对鸟的准确监测和识别。实现野外环境下对鸟类在无人值守状态下自动监测、跟踪和识别，并传输到数据处理中心进行处理，解决了鸟类活动的监测的快速反应，突破了鸟类远程自动化生态监测的技术瓶颈，可以应用于海岛、湿地等特殊环境下的鸟类及生态环境监测。

如图1所示，本发明提供了一种用于野外鸟类声像全方位自动监测跟踪装置，该装置为双半球结构，其包括：上保护圆壳1、电路舱2、圆环拾音器阵列3、云台4、下保护圆壳5和高清摄像头6；

上保护圆壳1和下保护圆壳5相对设置，形成一个球状结构，且上保护圆壳1的直径大于下保护圆壳5的直径；所述上保护圆壳1内设置电路舱2和圆环拾音器阵列3，电路舱2位于圆环拾音器阵列3的上方，圆环拾音器阵列3设置在上保护圆壳1的开口处；

下保护圆壳5内设置云台4，云台4上设置高清摄像头6。

其中，如图2和3所示，所述圆环拾音器阵列3包括N个拾音器阵元31和上半球凸台32；上半球凸台32设置在上保护圆壳1的开口处，上半球凸台的直径与上保护圆壳1的直径相同；N个拾音器阵元31呈圆周等间距分布在上半球凸台32的圆周上。其中，每个拾音器阵元接收鸟类鸣声信号，使得圆环拾音器阵列能够全方位接收鸟类鸣声信号，利用环形波束形成技术对鸟类鸣声方位跟踪，以确定鸟鸣声的位置，从而控制云台使高清摄像头6完成对鸟类的图像的自动跟踪，实现了鸟类声像的同步监测。圆环拾音器阵列采用“N”元阵，由全向的麦克风拾音器作为基本阵元构成。其中，阵元为传声器，优选为采用测量级的传声器或者数字传声器。在本实施例中，优选为SPH0644LM4H数字传声器。

如图4所示，所述电路舱2包括：多通道声采集模块、控制与处理模块、通信模块、图像采集模块和电源模块；

圆环拾音器阵列3与多通道声采集模块通信连接，多通道声采集模块与控制与处理模块通信连接，控制与处理模块与通信模块通信连接，控制与处理模块与图像采集模块通信连接，电源模块分别与多通道声采集模块、控制与处理模块、通信模块和图像采集模块电性连接；

所述多通道声采集模块，用于实时采集每个阵元采集的感兴趣的鸟类鸣声信号，并采用圆形波束形成方法，分别进行前置放大、抗混叠滤波、模数转换、数字滤波和数据抽取处理，得到多个鸣声增强信号；

其中，如图4所示，所述多通道声学采集模块包括：前置放大单元、抗混叠滤波单元、模数转换器、数字滤波单元和数据抽取单元；

前置放大单元的前端与每个传声器相连接，建对应的采集通道，对每个传声器拾取的微弱的感兴趣的鸟类鸣声信号进行前置放大；其后端与抗混叠滤波器相连接；

所述前置放大单元，用于为每个阵元建立对应的信号采集通道，并将每个阵元采集的感兴趣的鸟类鸣声信号进行前置放大，得到多个放大后的鸟类鸣声信号；

所述抗混叠滤波单元，用于采用10Hz的高通滤波和30kHz的低通模拟滤波器，对每个放大后的鸟类鸣声信号进行抗混叠滤波处理，实现抗混叠滤波，去除鸟类鸣声信号的带外噪声，得到多个处理后的鸟类鸣声信号；

所述模数转换器，用于将每个处理后的鸟类鸣声信号进行模数转换，得到多个数字鸟鸣声信号；

所述数字滤波单元，用于对每个数字鸟鸣声信号进行数字滤波，得到多个数字滤波后的鸟鸣声信号；

所述数据抽取单元，用于对每个数字滤波后的鸟鸣声信号进行将采样处理，得到多个鸣声增强信号。

所述控制与处理模块，用于对得到多个鸣声增强信号进行声学处理，得到多个高信噪比信号；还用于控制云台，进而控制高清摄像头的旋转方向，将其调整至高信噪比信号相对应的方向角，进行感兴趣的鸟类图像数据采集；还用于对实时获取的感兴趣的鸟类图像数据进行图像处理，得到处理后的图像数据；

具体地，所述控制与处理模块包括：声学处理单元，图像处理单元、主控制单元和声像处理单元；

所述控制与处理模块采用高速通用信号处理(DSP)芯片+通用ARM芯片的架构。DSP芯片能够同时处理多个通道的鸟鸣声信号和图像数据。

具体地，所述声学处理单元，用于采用常规的时延--求和波束合成方法或者自适应波束形成方法，将多个通道的鸣声增强信号进行波束合成处理，获得高信噪比的鸟类鸣声信号，并传输至声像处理单元，利用电子扫描技术360°全向扫描检测感兴趣的高信噪比的鸟类鸣声，并确定鸣声方向角θ；

所述主控制单元，ARM架构通用处理芯片，用于对音频和视频工作周期、增益、数据传输、波束合成参数等工作参数进行设置，获得的最佳工作状态；还用于控制云台，从高清摄像头采集的高分辨视频图像中检测和识别感兴趣的活动鸟类，进而控制高清摄像头的旋转方向，将其调整至高信噪比信号相对应的方向角θ，进行感兴趣的鸟类图像数据采集；

所述图像处理单元，用于根据获取的感兴趣的鸟类图像数据，并对其进行图像处理，得到处理后的图像数据，并传输至声像处理单元；

所述声像处理单元，用于将检测到的高信噪比的鸟类鸣声信号和处理后的图像数据进行对齐合成处理，得到声像同步数据，并传输至通信模块，再由通信模块将声像同步数据传输至与外界相连接的数据处理工作站，进行后期处理。

所述通信模块，用于同时将多个高信噪比信号和处理后的图像数据传输至与外界相连的数据处理工作站，获得声像的同步数据；

具体地，所述通讯模块，采用WIFI及4G/5G双模态的无线通信方式，能够根据野外监测区域的通讯情况选择对应的通讯方式。

其中，每个跟踪装置均能够通过通讯模块独立地与互联网相连接，将每个跟踪装置获取的有效的鸟类的声像同步数据传输都指定的与外界相连接的数据处理工作站，进行后处理。数据处理工作站可以独立地控制每个跟踪装置，实现鸣声的分布式采集和集中式处理。

所述图像采集模块，用于实时获取高清摄像头6采集的感兴趣的鸟类图像数据，并将其传输至控制与处理模块；

所述电源模块，用于分别对多通道声采集模块、控制与处理模块、通信模块和图像采集模块供电。

其中，所述多通道声学采集模块，最高采样率2MHz，采样精度16bit的Σ-Δ的AD转换器，在接收到采样时钟信号后，将按照一定时序输出高速PDM数字信号，处理器通过对同步时钟的控制即可实现对不同数字传声器的同步采样。当处理器接收到数字传声器的高速PDM数据流后，将对齐每个通道的数据流进行滤波和抽取，并最终将信号抽取为所需采样率和量化精度的PCM信号。

在接收到采样时钟信号后将按照一定时序输出高速PDM数字信号，主控处理器通过对同步时钟的控制即可实现对不同传声器的同步采样。当处理器接收到传声器的高速PDM数据流后，将对齐每个通道的数据流进行滤波和抽取，并最终将信号抽取为所需采样率和量化精度的PCM信号。

控制与处理模块采用ARM+DSP的处理架构，控制处理器采用ARM架构Amlogic公司的4核Cortex-A53内核的A113X芯片，主要完成主要功能的控制和云台的控制。数字信号处理(DSP)采用TI的TMS320C6455，具有强大的运算处理能力和IO带宽，可实现每秒80亿次乘法累加(MAC)，具有256K的一级程序缓存和256K的一级数据缓存，具有2M的可配置的二级缓存和256K的只读存储器，能够完成多通道的鸣声信号的波束形成和图像目标检测。在主控模块ARM的控制下，多通道声学采集模块支持多通道PDM的音频输入，完成多通道的同步鸣声信号采集。存储芯片采用Macronix公司的MX30LF4G18AC型号的NAND Flash，存储容量为4Gb。随机访问存储器采用SK Hynix公司的H5TC4G63CFR-RDC芯片，容量为4Gb。检测系统节点采用Linux操作系统进行管理，通过相关驱动程序的编写和嵌入式应用程序的设计，来稳定地实现数据的采集、预处理以及数据的传输。

所述通信模块采用WIFI和4G/5G的双通道设计，能够根据监测现场的通讯状态来选择工作方式。WIFI芯片采用正基科技公司的AP6356型芯片，通过专用的SDIO接口与处理器相连，实现处理器与WIFI芯片之间的数据通信。AP6356另一端连接着对应的天线，通过配置，有限区域内多台监测节点可通过单个路由实现因特网的接入，也可以独立接入互联网。同时，核心电路板上设计了专用的4G/5G模块通信接口，可在商用4G/5G模块的配合下，实现4G/5G的单个节点网络连接的需求。

所述电源模块根据电路板的芯片电压要求提供不同的电压。电源设计采用开关电源与线性直流电源相结合的方式。采用Silergy公司的SY8120B1ABC开关电源芯片，搭配LDO芯片WL2803E18-5，通过不同电阻、电容以及电感的应用，使其满足电路板上芯片5V、3.3V、1.35V、1.8V的板级电压需求。通过滤波、去耦合等处理来实现整版电路的纹波控制和电源噪声抑制。电源模块采用新能源方式进行供电；所述供电方式为太阳能或风能。

其中，电路舱2中的整个电路采用低功耗设计，且电源模块采用新能源的供电方式进行供电，所述供电方式为太阳能或风能。

“N”元阵列接收信号采用圆形波束形成方法，利用多元阵处理能够抑制环境噪声，实现鸣声增强，提高接收信号的信噪比，改善海岛野外背景噪声下的鸟鸣声的信号接收性能。通过电子扫描方式，自动检测并计算所感兴趣的鸟类鸣声方向角θ，并通过云台将高清摄像头调整到鸣声对应的方向，或者由高清摄像头拍摄感兴趣的鸟类，拾音传感器通过电子扫描将声音监测方向θ调整到指定摄像对应的方向，从而实现鸟类的声像同步监测与跟踪。可以根据监测的场景设置声音优先或者视频优先，声音优先即首先检测感兴趣鸣声方向，而后通过云台控制模块，调整摄像头至鸟鸣声对应的方向；视频优先即首先由摄像头检测感兴趣的鸟的方向，而后调整声音至对应的方向。最后，把鸟类的声像数据通过有/无线通信技术传输至与外界相连接的数据处理工作站，完成鸟类声像数据的后处理。

所述电路舱2中的电路采用小型化、低功耗方法设计，满足野外环境下，特别是海岛等电源短缺情况下的长期监测。多通道声采集模块用于采集前端的“N”元环形拾音器阵列的感兴趣的鸟类鸣声信号，并经过信号调理和数字化，并完成鸟鸣声信号的数字滤波和数据抽样，然后经声学处理单元，利用波束电子扫描方法实现对感兴趣的活动鸟鸣声的自动检测，获得鸟类鸣声信号的方向角θ；利用主控制单元对云台进行控制，进而调整高清摄像头，将其调整至至方向角θ，图像处理单元检测并识别活动鸟类，从而实现活动鸟类的鸣声和图像的同步监测。最后将声像同步数据经由通信模块传输到与外界相连的数据处理工作站，进行后期处理。

其中，活动鸟类的声像同步监测可以根据监测场景的实际需要，采用图像检测优先或者鸣声检测优先方式。

具体地，鸣声检测优先，即首先利用圆环拾音器阵列，采用常规的时延--求和波束合成方法或者自适应波束形成方法，利用电子扫描并检测到感兴趣鸣声方向角θ，而后通过主控制单元控制云台，进而控制高清摄像头，将其调整至感兴趣的鸟鸣声信号对应的方向角θ；

图像检测优先，即首先由高清摄像头利用图像处理技术检测感兴趣的活动鸟类，并将高清摄像头指向检测方向角θ，而后利用“N”元的圆环拾音器阵列的电子扫描方法，将鸣声监测方向角调整到高清摄像头指向的监测方向角θ，重点监听鸟类鸣声信号。

本发明的装置整体采用双半球体结构，由于上保护圆壳1的表面为刚性球体，当有声波到达时，部分声波被球体表面散射，能够避免不同频率上的模态强度的陡变，从而能够保障到达拾音器阵列的鸟类鸣声信号满足平面波条件。利用刚性球的散射特性，可以降低部分也噪声的影响，声信号接收时的各向一致性好，且对各频点模态相对平滑，有利于传声器更好地拾取鸟类鸣声信号。将电路舱2放置在该刚性球体结构内，同时能够密封，防止内部电路受到野外的水汽等侵蚀。

本发明还提供了一种用于野外鸟类声像全方位自动监测跟踪方法，该方法具体包括：

步骤1)将多个跟踪装置布放在待监测区域的每个监测节点处，每个跟踪装置上设置的圆环拾音器阵列3拾取感兴趣的鸟类鸣声信号和周围的环境噪声，每个跟踪装置上设置的高清摄像头采集指定方向角的、感兴趣的鸟类图像数据。

步骤2)以圆环拾音器阵列3的中心为原点建立坐标系，以圆环拾音器阵列3上标号为1号的阵元为参考阵元，其对应的指定方向角为0°；高清摄像头的指定方向角和参考阵元的指定方向角相同，均为0°；

步骤3)将步骤1)中获得的“N”个阵元的声信号数据输入至声学处理单元，通过声学处理单元进行波束合成处理，获得待监测区域的360°全向的声强分布；其中，声信号数据包括多个采集通道采集的感兴趣的鸟类鸣声信号；

步骤4)根据鸟类鸣声的声纹特征，从待监测区域的360°全向的声强分布中自动检测鸟鸣声信号，作为高信噪比的鸟类鸣声信号，并计算该高信噪比的鸟类鸣声信号的所在方向角θ；

具体地，所述步骤4)具体包括：

步骤4-1)对于N个拾音器阵元31，每个拾音器阵元31采集感兴趣的鸟类鸣声信号，其对应的信号矢量为x(t)，各个拾音器阵元31在方向θ₀上的权矢量为w(θ₀)＝{w₁,w₂,...,w_N}，则圆环拾音器阵列3采集的声信号数据为y(t)：

其中，w_i为第i个拾音器阵元在方向角θ₀上的权矢量；x_i(t)为第i个拾音器阵元采集感兴趣的鸟类鸣声信号的信号矢量；

计算每个拾音器阵元形成的波束，在所观测方向角θ₀下的输出功率谱P(ω)：

P(ω)＝y(θ₀)y^H(θ₀)＝w^H(θ₀)E{x(t)x(t)^H}w(θ₀)＝w^H(θ₀)R_xw(θ₀) (2)

其中，y(θ₀)为方向θ₀上的波束形成输出信号；y^H(θ₀)为为方向θ₀上的波束形成输出信号转置；w^H(θ₀)为方向θ₀上的权矢量转置；x(t)^H为拾音器阵元采集的时间信号矢量转置；R_x＝E{x(t)x(t)^H}为矢量信号相关函数；

因此，通过改变观测方向角θ₀，获得指定观测区域内的观测方向角θ₀的输出功率谱P(ω)。根据圆环阵列的特点，波束形成可以利用常规波束形成(时延-求和)或者现有的自适应波束形成技术来实现。

步骤4-2)从0°方向开始，按照顺时针或逆时针圆周方向进行波束扫描，步进角度为Δθ₀(步进角度Δθ₀可以根据需要选择，例如Δθ₀＝10°)，在整个圆周方向形成M＝360/Δθ₀个波束，覆盖360°，获得全向的输出功率谱分布，得到M个波束输出集合{P₁(ω),P₂(ω),...,P_M(ω)}；

步骤4-3)在M个波束输出集合{P₁(ω),P₂(ω),...,P_M(ω)}中，根据鸟鸣声的声纹特征，检测出每个波束中的鸟鸣声，作为高信噪比的鸟类鸣声信号，并记录存在鸟鸣声的波束序号n及方位角集合θ＝{θ₁,θ₂,...,θ_n}。

步骤5)由主控制单元控制云台转动，使高清摄像头调整至指向方向角θ，并利用图像采集模块采集对应的指定方向角θ的感兴趣的鸟类图像数据，图像处理单元根据获取的感兴趣的鸟类图像数据，并对其进行图像处理，得到处理后的图像数据，并传输至声像处理单元；

步骤6)声像处理单元将检测到的高信噪比的鸟类鸣声信号和处理后的图像数据进行对齐合成处理，得到声像同步数据，并由通信模块将声像同步数据传输至与外界相连接的数据处理工作站，进行后期处理。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。