具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。

实施例一：

如图3所示，本实施例提供了一种CSI相机高帧率图像采集方法，该方法适用于图像处理平台，该图像处理平台为嵌入式视觉与AI平台nvidia jetson tx2，图像处理平台中设置有CSI控制器。

经过高采集帧频率测试，当采集帧率达到330fps以上时，该平台会出现丢帧现象，影响图像采集的实时性和连续性。而通过对该平台双线程图像采集架构的分析，研究人员发现，由于采集线程执行过程中各步骤占用的时间较长，如果采集线程调度不及时或者帧头信号在采集线程中特定的阶段到达时，如配置采集缓存帧地址阶段、开启图像传输阶段、超时错误处理阶段，将导致在帧头信号到达之前不能配置好相应的缓存帧地址，此时只能等待下一个帧头信号到来后再继续进行图像传输，导致当前帧头信号对应的图像丢失，产生图像丢帧。

因此，本实施例中利用双中断服务代替原有的双线程服务，由于中断的优先级是远高于线程的，只要中断信号到来，中断服务一般都是立刻执行的，而且中断服务不会被其他低优先级中断打断，也不会被系统内核调度打断，所以中断服务的实时性很好。

本实施例中，为了实现通过双中断服务进行图像数据帧的采集存储，本实施例中设定存储图像数据帧的地址队列包含三个，分别为采集队列、交付队列以及完成队列，其中，采集队列中包含多个缓存帧地址，每一个缓存帧地址对应一个数据存储空间。

在进行图像帧数据存储时，先由采集队列中提取出一个缓存帧地址进行数据存储，完成后该缓存帧地址被添加至交付队列，之后再被添加至完成队列，以便提交给用户。

本实施例中，将双中断服务进行图像数据帧采集的过程至少划分为采集启动过程、双中断服务切换缓存帧地址过程、任务队列处理过程，该方法具体包括：

步骤1，将CSI控制器中的第一缓存帧地址设置为第二缓存帧地址currentbuffer，其中，第二缓存帧地址current buffer为存储图像数据帧的存储地址，图像数据帧由图像传感器发送至CSI控制器，图像传感器依据CSI协议配置图像数据帧的帧头信号以及帧尾信号；

具体的，在采集启动过程中初始化任务队列，并从采集队列中读取一个缓存帧地址作为CSI控制器中存储图像数据帧的第一缓存帧地址，以便当检测到第一帧图像数据帧的帧头信号时，能够直接将该第一缓存帧地址作为当前正在进行图像传输的缓存帧地址，即第二缓存帧地址current buffer，因此，当第一帧图像数据帧到达时，能够直接进行存储，之后便可转交给交付队列，进行后续处理。

步骤2，当判定CSI控制器识别出的图像数据帧的帧头信号满足帧头中断阈值时，进入帧头中断服务，读取采集队列中的缓存帧地址配置为第三缓存帧地址future buffer，并根据CSI控制器中的第二缓存帧地址current buffer存储图像数据帧；

具体的，本实施例在双中断服务切换缓存帧地址过程中，首先设定：当检测到图像数据帧的帧头信号满足帧头中断阈值时，触发帧头中断服务，由帧头中断服务从采集队列中取出一个缓存帧地址，作为下一帧图像数据帧的存放位置，即第三缓存帧地址futurebuffer，配置给CSI控制器作为后续图像数据帧填充的位置。

之后，通过使能控制CSI控制器对应的传输寄存器，开启当前图像数据帧的传输，将其存储至第二缓存帧地址current buffer。

需要说明的是，本实施例中的帧头中断阈值可以设定为1，即每当接收到一个帧头信号时，触发进入帧头中断服务。

步骤3，当判定CSI控制器识别出的图像数据帧的帧尾信号满足帧尾中断阈值时，进入帧尾中断服务，将第二缓存帧地址current buffer添加至交付队列，并将第三缓存帧地址future buffer配置为CSI控制器中存储下一帧图像数据帧的第二缓存帧地址currentbuffer，交付队列用于输出图像数据帧。

具体的，当检测到图像数据帧的帧尾信号满足帧尾中断阈值时，触发帧尾中断服务，帧尾中断服务首先将已经填充有当前图像帧数据的第二缓存帧地址current buffer添加中交付队列中，以便用于后续的数据输出。之后，将帧头中断服务中确定的第三缓存帧地址future buffer配置为下一帧图像数据帧存储用的第二缓存帧地址current buffer。

本实施例中，通过帧头信号和帧尾信号的检测，实现了双中断服务切换缓存帧地址的过程，即在帧头中断服务中，根据当前图像数据帧的帧头信号提前读取下一帧的缓存帧地址；在帧尾中断服务中，根据帧尾信号将帧头中断服务中读取出的缓存帧地址配置为CSI控制器存储下一帧图像帧数据的缓存帧地址。正是通过上述双中断服务切换缓存帧地址的过程，优化了图像数据帧缓存帧地址配置的方式，缩短了地址配置的时间，有助于解决高帧率图像采集过程中的丢帧问题。

如图4所示，当采集帧率达到330fps以上时，采集线程中由于不能及时配置第二帧图像数据的缓存帧地址，将导致第二帧图像数据的丢失。而通过采用本实施例中的技术方案，由于在检测到第一帧图像数据的帧头信号进入帧头中断服务后，已经提前配置好了第三缓存帧地址future buffer，当第二帧图像数据的帧头信号到达时，即可实现对第二帧图像数据的实时存储，优化了平台图像采集的实时性。

经实测，本实施例中的方案可以做到3000fps不丢帧，并且采集过程中因为不存在线程方案中等超时的过程，所以同时能够解决触发采集或者分辨率过大导致的异常帧、残帧等问题，提升了nvidia jetson tx2平台的图像采集性能。

实施例二：

在进行双中断图像数据采集的过程中，通过对大量的图像数据采集过程统计发现，当采集帧率较高时，双中断方案程序运行过程中进场出现卡顿甚至无法正常运行的情况，且发生此类情况时伴随着丢帧现象。

通过研究发现，当某一时间段内的采集帧频率突然加大，或者当用户取出采集队列中所有的缓存帧地址且系统中未接受到新释放的缓存帧地址时，将会导致进入帧头中断服务后，无法从采集队列中读取有效缓存帧地址的情况，即帧头中断服务将会取出一个空的缓存帧地址，该缓存帧地址是没有地址空间去存储图像数据帧的，导致后续的帧尾中断服务无法正常执行，也就无法准备下次帧头中断服务和开启下一帧图像数据帧的传输，从而导致图像处理平台崩溃或者卡死。

本实施例为了防止图像处理平台发生卡顿、崩溃或者卡死的现象，在上述实施例的基础上，本实施例对上述高帧率图像采集方法进行了优化，如图5所示，在步骤1之前，方法还包括：

CSI控制器读取采集队列中第一个缓存帧地址，记作保留缓存帧地址，读取采集队列中第二个缓存帧地址，记作第一缓存帧地址。

具体的，在采集启动过程，对任务队列进行初始化，并从采集队列中提起取出一个缓存帧地址，作为保留缓存帧地址。如果出现进入帧头中断服务后无法从采集队列中读取有效缓存帧地址的情况，则使用该保留缓存帧地址接收图像数据帧。

需要说明的是，由于上述情况仅出现在超高采集帧率下，已经超出了平台的处理带宽，丢帧不可避免，因此，该保留缓存帧地址可以不提交到交付队列，仅用于保证帧头、帧尾中断服务能够正常运行，保证采集启动过程正常运转。

之后，再从采集队列中取出第二个缓存帧地址，记作第一缓存帧地址，作为采集启动过程后第一帧图像数据帧的第二缓存帧地址current buffer。并设置帧头中断阈值以及帧尾中断阈值，开启CSI图像传输通道和图像传感器sensor图像数据传输。

需要说明的是，图像传感器sensor是图像数据的来源，当图像传感器sensor的图像数据中的帧头信号到来时，帧头中断服务会被启动；当帧尾信号到来时，帧尾中断服务会被启动。采集启动过程只执行一次，它会作为第二阶段“双中断服务切换缓存帧地址过程”的入口，后续循环采集图像过程由第二阶段实现。

相应的，对上述实施例中的步骤2和步骤3进行优化，如图6所示，该步骤2中具体包括：

步骤21，当判定CSI控制器识别出的图像数据帧的帧头信号满足帧头中断阈值时，进入帧头中断服务，判断采集队列是否为空；

步骤22，若是，将保留缓存帧地址配置为第三缓存帧地址future buffer，

若否，读取采集队列中的缓存帧地址配置为第三缓存帧地址future buffer；

步骤23，根据CSI控制器中的第二缓存帧地址current buffer存储图像数据帧，开启下一帧图像数据帧的传输，并重置帧头中断阈值，退出帧头中断服务。

具体的，在当前图像数据帧已经传输到了帧头或帧尾时，才会触发第二阶段中的两个中断服务，而这两个中断服务配置的是下一帧图像数据帧传输时要使用的缓存帧地址。

因此，在帧头中断服务过程中，需要判断采集队列是否为空，如果是空，为了保证中断服务能够正常运行，将保留缓存帧地址配置为第三缓存帧地址future buffer；如果不是空，则将读取采集队列中的缓存帧地址配置为第三缓存帧地址future buffer。使能CSI控制器对应的传输寄存器，开启当前下一帧图像数据帧的传输，根据CSI控制器中的第二缓存帧地址current buffer存储图像数据帧。

并设置(重置)下次触发帧头中断服务的帧头中断阈值，为下帧图像数据帧传输进入帧头中断做准备工作。之后，使能帧头中断，等待下帧图像数据帧的帧头信号的到来，结束帧头中断服务。

本实施例中，帧头中断服务的主要作用是设置下一帧图像数据帧传输的地址，并开启当前帧头信号对应的图像数据帧的传输，同时将该地址保存为第三缓存帧地址futurebuffer，提供给帧尾中断服务去替换第二缓存帧地址current buffer。

如图7所示，该步骤3中具体包括：

步骤31，当判定CSI控制器识别出的图像数据帧的帧尾信号满足帧尾中断阈值时，进入帧尾中断服务，判断第二缓存帧地址current buffer是否为保留缓存帧地址；

步骤32，若是，丢弃第二缓存帧地址current buffer中对应的存储数据，若否，将第二缓存帧地址current buffer添加至交付队列；

步骤33，将第三缓存帧地址future buffer配置为CSI控制器中存储下一帧图像数据帧的第二缓存帧地址current buffer，并重置帧尾中断阈值，退出帧尾中断服务。

具体的，进入帧尾中断服务后，判断用于存储当前图像数据帧的地址是否为保留缓存帧地址。如果是的话，由于保留缓存帧地址并不提交到交付队列，因此，将其存储的数据丢弃，直接将帧头中断服务中确定的第三缓存帧地址future buffer配置为CSI控制器中存储下一帧图像数据帧的第二缓存帧地址current buffer。

如果不是的话，则将第二缓存帧地址current buffer添加至交付队列，之后将帧头中断服务中确定的第三缓存帧地址future buffer配置为CSI控制器中存储下一帧图像数据帧的第二缓存帧地址current buffer。

并设置下次触发帧尾中断服务的帧尾中断阈值，为下帧图像数据帧传输进入帧尾中断做准备工作。之后，使能帧尾中断，等待下帧图像数据帧的帧为信号的到来，退出帧尾中断服务。

本实施例中，帧尾中断服务的主要作用是将当前图像数据帧传输完成的第二缓存帧地址current buffer交给上层，并将第三缓存帧地址future buffer设置给第二缓存帧地址current buffer。

实施例三：

本领域技术人员能够理解的是，在nvidia jetson tx2平台中，图像数据是通过CSI协议规定的电平信号在导线上传输的，由于类似电磁干扰等因素的影响，在导线上传输的电平信号会出现抖动现象，严重时会导致CSI控制器对电平信号的识别发生错误。当CSI控制器对帧头、帧尾信号进行校验时，如果其中某位电平信号识别错误，将导致帧头或帧尾信号校验错误，CSI控制器会直接将错误的数据包丢弃，从而出现帧头、帧尾丢失的情况，进而影响后续的数据传输。

为了避免在双中断图像数据采集的过程中，发生由于帧头、帧尾信号丢失导致的图像数据帧采集中断、采集不到图像等异常问题，在上述实施例的基础上，本实施例对上述高帧率图像采集方法进行了优化，如图8所示，步骤23之前，该方法还包括：

判断传输标志位的状态是否处于使能状态，若是，对上一帧图像数据帧进行帧尾异常处理，若否，将传输标志位修改为使能状态，其中，帧尾异常处理的过程具体包括：

步骤A，判断存储上一帧图像数据帧的第二缓存帧地址current buffer是否为保留缓存帧地址；

步骤B，若是，将第三缓存帧地址future buffer保存为存储当前图像数据帧的第二缓存帧地址current buffer，

若否，对存储上一帧图像数据帧的第二缓存帧地址current buffer进行残帧标记，并将标记后的第二缓存帧地址current buffer添加至交付队列。

具体的，在帧头中断服务中添加变量，作为传输标志位，来判断是否出现帧头、帧尾信号丢失的现象，并进行如下定义：

a.当传输开始或者一副图像传输完毕时，传输标志位会被清除；

b.当帧头到来时，传输标志位会被使能。

因此，可以得出以下结论：

1、正常传输情况下，帧头中断服务中的传输标志位应该是清除状态，帧头中断服务会将该传输标志位的状态修改为使能状态；而帧尾中断服务中的传输标志位应该是使能状态，帧尾中断服务会将该状态标志位修改为清除状态。

2、帧头中断服务中如果传输标志位的状态为使能状态，则表明上一帧图像数据帧对应的帧尾信号丢失。

3、帧尾中断服务中如果传输标志位的状态为清除状态，则表明当前图像数据帧的帧头信号丢失。

因此，在进入帧头中断服务配置完第三缓存帧地址future buffer后，对传输标志位的状态进行判断，当其为使能状态时，表明上一帧图像数据帧的帧尾信号因干扰而丢失，需要进行帧尾异常处理，具体包括：

判断第二缓存帧地址current buffer是否是保留缓存帧地址，如果是保留缓存帧地址，将第三缓存帧地址future buffer保存为第二缓存帧地址current buffer即可；如果不是保留缓存帧地址，则将该buffer标记为残帧，然后添加到交付队列中，并将第三缓存帧地址future buffer保存为第二缓存帧地址current buffer。再由交付队列添加至完成队列，当用户取到完成队列中的该帧图像数据帧后，可以获取到其对应的状态，对其是否为残帧进行判断，以便自行选择后续处理方式。

当其清除状态时，表明图像数据帧传输正常，执行步骤23即可。

同样的，如图9所示，步骤33之前，该方法还包括：

判断传输标志位的状态是否处于使能状态，若是，将传输标志位的状态修改为清除状态，若否，对当前图像数据帧进行帧头异常处理，其中，帧头异常处理的过程具体包括：

步骤C，判断采集队列是否为空，若是，将保留缓存帧地址配置为第三缓存帧地址future buffer，

若否，读取采集队列中的缓存帧地址配置为第三缓存帧地址future buffer；

步骤D，将CSI控制器中的第二缓存帧地址配置为存储下一帧图像数据帧的地址，并开启下一帧图像数据帧的传输。

具体的，帧尾中断服务中，如果传输标志位不是使能状态，表明当前图像数据帧的帧头信号丢失，此时，进行类似帧头中断服务中的过程：

判断采集队列是否为空，如果是空，为了保证中断服务能够正常运行，将保留缓存帧地址配置为第三缓存帧地址future buffer；如果不是空，则将读取采集队列中的缓存帧地址配置为第三缓存帧地址future buffer。使能CSI控制器对应的传输寄存器，开启当前下一帧图像数据帧的传输，根据CSI控制器中的第二缓存帧地址current buffer存储图像数据帧。

实施例四：

在上述实施例的基础上，为了缩短中断处理时间，避免中断服务时间过长会导致其他平台服务无法及时得到调度，从而出现卡顿、性能下降等问题，本实施例将一些不是必须在中断服务中执行的数据处理流程放到任务队列处理过程中，因此，在帧尾中断服务结束之前，设定其会发送一个任务队列调度信号，具体任务会由平台去调度执行，这样可以大大缩短中断服务的执行时间，保证系统的调度性能和响应性能。

如图10所示，该方法中还包括：

步骤4，生成任务队列调度信号，并退出帧尾中断服务；

步骤5，根据任务队列调度信号，读取交付队列中的地址，并设置交付队列中地址的状态为可提交状态，添加至完成队列，完成队列用于向用户提供存储的图像数据帧。

具体的，当交付队列中的地址添加至完成队列后，相机驱动框架会发出一个图像完成信号，以通知用户可以从完成队列中取出图像数据，具体实现过程本实施例并不限定。

以上结合附图详细说明了本申请的技术方案，本申请提出了一种CSI相机高帧率图像采集方法，该方法包括：步骤1，将CSI控制器中的第一缓存帧地址设置为第二缓存帧地址；步骤2，当判定CSI控制器识别出的图像数据帧的帧头信号满足帧头中断阈值时，进入帧头中断服务，读取采集队列中的缓存帧地址配置为第三缓存帧地址，并根据CSI控制器中的第二缓存帧地址存储图像数据帧；步骤3，当判定CSI控制器识别出的图像数据帧的帧尾信号满足帧尾中断阈值时，进入帧尾中断服务，将第二缓存帧地址添加至交付队列，并将第三缓存帧地址配置为CSI控制器中存储下一帧图像数据帧的第二缓存帧地址。通过本申请中的技术方案，解决了英伟达平台图像数据采集过程中实时性较差以及线程图像采集过程中容易出现图像丢帧的问题。

本申请中的步骤可根据实际需求进行顺序调整、合并和删减。

本申请装置中的单元可根据实际需求进行合并、划分和删减。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。