一种用于fast角点检测的向量化硬件装置
阅读说明：本技术 一种用于fast角点检测的向量化硬件装置 (Vectorization hardware device for FAST corner detection ) 是由 刘檬 张智也 贾云鹏 胡冬青 于 2021-08-27 设计创作，主要内容包括：本发明公开一种用于FAST角点检测的向量化硬件装置。该硬件装置包括：图像缓存寄存器堆单元由9个向量寄存器组成,并用于缓存图像的灰度像素数据；向量处理单元用于针对FAST角点的计算和判断过程,接收来自图像缓存寄存器堆单元的FAST窗口数据,并设计了多个并行处理单元,向量处理单元并行化计算角点结果数据；数据写回单元用于将角点数据结果写回外部存储设备的功能,并通过向量寄存器用于功能实现；整个硬件装置通过状态机控制单元进行各模块间的控制功能,并提供AXI总线接口。本发明能够实现FAST角点检测的向量化计算,并具有高度并行化、精度不损失、易于硬件指令化、模组化等优点。(The invention discloses a vectorization hardware device for FAST corner detection. The hardware device includes: the image buffer register file unit consists of 9 vector registers and is used for buffering gray pixel data of an image; the vector processing unit is used for receiving FAST window data from the image cache register file unit aiming at the calculation and judgment process of the FAST corner, and designing a plurality of parallel processing units which parallelize the calculation corner result data; the data write-back unit is used for writing the corner data result back to the function of the external storage device and is used for realizing the function through the vector register; the whole hardware device performs control functions among the modules through a state machine control unit and provides an AXI bus interface. The invention can realize the vectorization calculation of FAST corner detection and has the advantages of high parallelization, no loss of precision, easy hardware instruction, modularization and the like.)
技术领域
本发明涉及计算机视觉处理器领域，具体涉及一种用于FAST角点检测的向量化硬件装置。
背景技术
角点检测是图像处理的重要技术，可应用于物体识别、系统追踪、导航定位等计算机视觉场景中。FAST角点检测具有线性的计算复杂度，更易符合高帧率计算的场景。另一方面，FAST算法也可以作为复杂角点检测过程的计算基础，例如ORB算法过程。随着近年来不断提升的高分辨率、高帧率、高实时性的图像计算场景需要，加速FAST角点检测计算过程具有了更重要的意义。
现阶段角点检测算法通常采用通用的计算机处理器来运行，例如中央处理器(CPU)和图形处理器(GPU)等。通过GPU或者多线程技术来加速算法过程，尚未出现针对特定角点检测算法的向量化加速技术。
所以，本文提出的FAST角点检测的向量化硬件装置，通过硬件电路实现了FAST16算法过程，并通过向量化技术提升了计算并行度，可充分利用AXI总线带宽资源。该装置即可作为硬件IP核嵌入SoC处理器芯片，也可以通过搭建相关外围电路成为独立的硬件系统。该装置也适用于指令化设计的向量处理器，具备扩展性。该装置具有高实时性、FAST算法精度无损、针对不同图像分辨率要求的可配置性、高性能低功耗的特点。
发明内容
本发明提供一种用于FAST角点检测的向量化硬件装置，用于解决现有技术中针对FAST角点检测计算过程尚无专用向量化硬件装置的现状。
一种用于FAST角点检测的向量化硬件装置，其特征在于，所述装置包括：图像缓存寄存器堆单元、向量处理单元、数据写回单元和状态机控制单元，其中：
所述图像缓存寄存器堆单元用于接收待输入的灰度图像数据,并按照所设计的寄存器资源大小进行缓存，用于供给向量处理单元进行角点检测计算，其中，图像缓存寄存器所装载数据对应多个角点待计算窗口数据；
所述向量处理单元用于对多个角点的并行化计算，对于待判断像素点进行角点属性判定计算，非极大值抑制响应值计算和像素点坐标值换算；
所述数据写回单元用于将角点计算结果压缩到结果寄存器，以使角点计算结果合并写出；
所述状态机控制单元用于控制图像缓存寄存器堆单元、向量处理单元和数据写回单元的任务调度。
优选的，所述的向量化硬件装置，其特征在于，所述的图像缓存寄存器堆单元由9个多比特位向量寄存器组成，用于缓存多组角点检测算法所需的像素点窗口数据；灰度图像数据按连续组分发到图像缓存寄存器堆单元，并由状态机控制灰度图像数据拼接步长。图像缓存寄存器堆单元采用乒乓架构来平衡缓存过程和计算过程的时间开销。
优选的，所述的向量化硬件装置，其特征在于，所述的多比特位向量寄存器批量装载每帧图像的行像素数据和单个边界像素点的坐标位置信息。
优选的，所述的向量化硬件装置，其特征在于，向量处理单元通过并行访问图像缓存寄存器堆单元获取多组计算窗口数据，且并行化的运行角点检测计算过程。
优选的，所述的向量化硬件装置，其特征在于，向量处理单元具有和计算窗口数据组数相同的角点检测计算单元，计算单元共享整个图像缓存寄存器堆单元，并同步访问角点计算窗口数据。
优选的，所述的向量化硬件装置，其特征在于，角点检测计算单元采用流水线式架构实现FAST角点运算逻辑和非极大值抑制比较逻辑。
优选的，所述的向量化硬件装置，其特征在于，装置由状态机单元控制任务调度，并具有AXI总线读写接口协议；图像缓存寄存器堆单元可通过AXI总线批量刷新待计算像素点的灰度图像数据；所述向量化硬件装置可通过AXI总线协议与其他装置配置完成处理任务。
优选的，所述的向量化硬件装置，其特征在于，状态机单元具有图像缓存寄存器堆接收灰度图像数据的状态和向量处理单元计算状态；所述向量化硬件装置具有启动和结束信号的配置控制端口。
优选的，所述的向量化硬件装置，其特征在于，所述数据写回单元通过多比特位向量寄存器组成，将结果向量处理单元的多组结果同步压缩到该向量寄存器,存储信息包括角点属性判定结果、非极大值抑制响应值计算结果和像素点坐标值换算结果；数据写回单元可以通过AXI总线写回到目的装置。
本发明能够实现FAST角点检测的向量化计算，向量寄存器组的设计提升了装置内灰度图像数据的吞吐效率，并具有高度并行化、精度不损失、易于硬件指令化、模组化等优点。
附图说明
图1是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置的结构示意图。
图2是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置的图像缓存寄存器堆单元的结构示意图。
图3是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置的向量寄存器的结构示意图。
图4是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置的FAST16角点检测过程示意图。
图5是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置的向量处理单元的结构示意图。
图6是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置的状态机控制单元的结构示意图。
图7是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置在处理器系统应用的结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作详细说明。
图1是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置的结构示意图。如图1所示，该装置包括：图像缓存寄存器堆单元、向量处理单元、数据写回单元和状态机控制单元。图像缓存寄存器堆单元用于接收待处理的灰度图像像素数据块,根据视频流图像的分辨率要求的行数据和列数据规格进行图像块的划分，并配置图像缓存寄存器的比特位宽度以达到缓存目的，用于供给向量处理单元进行角点检测计算。
图2是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置的图像缓存寄存器堆单元的结构示意图。每个灰度图像像素点为一个方格表示，每个像素点的强度值用8位比特位表示。图像缓存寄存器堆单元由9个256位向量寄存器组成，分别是V0、V1、V2、V3、V4、V5、V6、V7、V8，每个向量寄存器有240个比特位位宽大小用来装载灰度图像数据。在图2所示的图像缓存寄存器堆单元中，待计算像素点为P00～P78，共有8组非极大值抑制窗口且为3*3大小，分别是P00～P08、P10～P18、P20～P28、P30～P38、P40～P48、P50～P58、P60～P68、P70～P78，按照上述分组并分别对应向量处理单元的8组运算部件。每组运算部件可同时进行纵向3个像素点的角点计算过程。所有图像缓存寄存器堆单元的待计算像素点计算完成后，可对图像缓存寄存器堆单元进行缓冲数据的刷新，由于图像缓存寄存器堆单元采用了乒乓设计，因此接收灰度图像数据的过程时间可以被隐藏。
图3是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置的向量寄存器的结构示意图。图像缓存寄存器堆单元的相关向量寄存器组是V0～V8，其每个向量寄存器的16到255位用来装载待处理的灰度图像数据块数据，用Pixel_Vector_n表示。寄存器组V0～V8的每个向量寄存器的0到16位用来装载待处理的灰度图像行数据块的起始像素点在整幅图像中的行坐标和列坐标信息标识，分别用xn和yn表示，坐标信息标识可用于换算写出结果中像素点的坐标值。向量寄存器V9共有256位，用于装载向量处理单元的中各个角点检测计算单元的待写出32位结果，分别是PE0_result～PE7_result，其中每个32位结果的31～23位表示score分数，该分数用于表示角点强度；22～12位表示行坐标x_index，11～1位表示列坐标y_index；最低位c表示角点判断结果。图例中PE0_result～PE7_result按照由高位到低位的顺序装载。
图4是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置的FAST16角点检测过程示意图。FAST16为针对某一待判断像素点P的角点检测算法，如图所示，1～16灰色方框表示与像素点P进行差值计算的相关像素点。本硬件装置可完整装载灰度图像源数据，FAST16角点检测可不失精度完成，像素值差值的绝对值求和可保留为角点检测的score分数，非极大值抑制(NMS)过程需要比较待判断像素点的score分数大小，其中每个NMS窗口最多保留一个角点数据。FAST16运算逻辑与NMS比较逻辑在向量处理单元的并行处理单元中按照流水线架构运行。
图5是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置的向量处理单元的结构示意图。向量处理单元VPU通过数据线并行访问图像缓存寄存器堆单元同步获取8计算窗口数据，且具有8个针对FAST16的并行处理单元，分别是PE0～PE7。所有计算单元共享整个图像缓存寄存器堆单元(V0～V8)，并同步访问向量寄存器任意比特位区间的数据。每个PE单元具有流水线架构的FAST16运算逻辑与NMS比较逻辑，可4个周期完成每组3*3像素点窗口的计算过程。VPU完成向量处理任务后将结果写入数据写回单元，数据写回单元由V9向量寄存器组成，V9共有256位，可装载8组PE单元结果。VPU的8组结果同步压缩到V9向量寄存器,存储信息包括角点属性判定结果、非极大值抑制响应值计算结果和像素点坐标值换算结果。
图6是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置的状态机控制单元的结构示意图。该角点检测的向量化硬件装置由状态机单元控制各个模块的任务调度，并通过状态机配置硬件装置的启动START和返回结束END状态指令。IDLE表示向量化硬件装置的休眠待机状态，LOAD表示图像缓存寄存器堆接收灰度图像数据的状态，COMP表示VPU的运算状态。LOAD状态下可设置计数器1进行像素点计数统计，并与总线基地址增量计算得到总线访问地址；计数器2在COMP状态完成时进行更新，用于像素点处理任务的计算过程统计，并作为单张图像的处理任务完成的阈值。
图7是本发明一个实施例的一种用于FAST角点检测的向量化硬件装置在处理器系统应用的结构示意图。处理器可以配置该向量化硬件装置的配置启动信号START，该装置也可以返回配置结束信号END。该向量化硬件装置具有AXI总线读写接口协议；图像缓存寄存器堆单元支持通过AXI总线突发模式直接获取存储器设备中对应的灰度图像数据；数据写回单元支持通过AXI总线突发模式写回到存储器设备；所述向量化硬件装置可通过AXI总线协议与其他装置配置完成处理任务。本装置可扩展图像缓存寄存器堆单元的相关向量寄存器组的比特位宽度、向量处理单元VPU的计算单元数目和数据写回单元向量寄存器的数目和比特位宽度，以适用于任意分辨率图像处理场景，完成大批量角点数目的向量化计算。硬件装置可作为处理器系统的协处理器部件。
以上运用具体实施例对本发明进行了进一步的阐释。需要指出的是，上述内容仅为本发明的具体实施例，而不应用于限制本发明。在本发明的思想之内的任何修改、替换、改进等都应在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：图像处理方法、装置、电子设备及存储介质