具体实施方式

本发明实施例的光检测芯片、图像处理装置及运作方法例如适用于，但不限于，清洁机器人、自驾车、空拍机、手势辨识系统、人脸辨识装置等与物体间具有相对移动的电子装置，通过在低照度环境下仍维持相同曝光时间或仅稍微延长曝光时间，以解决获取不适用(invalid)图像而造成错误的情形，其中所述不适用图像例如包含模糊物体图像或遗失物体图像的图像。

请参照图1所示，其为本发明第一实施例的图像处理装置100的方框图。图像处理装置100包含光检测芯片11以及电子装置13。一种实施方式中，光检测芯片11包含于电子装置13的内部，例如光检测芯片11是设置于电子装置13的壳体以获取外界环境的图像。另一种实施方式中，光检测芯片11是通过通信接口耦接电子装置13，以无线地将输出图像传送至电子装置13。如下所述，输出图像可以是原始图像(raw data image)、前处理图像(pre-processed image)或转换后图像(converted image)。

光检测芯片11包含光检测组件111以及处理器(或称为芯片处理器)113。例如，光检测组件111及处理器113配置于同一封装中。

光检测组件111例如是CCD图像传感器、CMOS图像传感器或其他光检测组件。光检测组件111包含多个阵列排列的像素，以固定或可调的曝光时间检测视野FOV内的光并输出图像帧，例如第一图像Im_raw。光检测组件111优选具有多个放大器(例如可程序化增益放大器，PGA)，以增益值放大像素阵列输出的原数据(raw data)。光检测组件111优选具有自动曝光(auto exposure)机制。

处理器113例如是数字处理器(DSP)或特殊功能集成电路(ASIC)。处理器113电性连接光检测组件111以接收第一图像Im_raw，其为原数据图像或放大后原数据图像。处理器113用于根据所述第一图像Im_raw相关的图像参数判断运作模式(或环境光强度)，其中所述图像参数包含图像亮度、增益值、自动曝光的收敛时间及图像质量至少其中之一。所述图像参数是处理器113根据第一图像Im_raw所计算。

处理器113还包含内存，用于储存上述图像参数相关的阈值以供与目前图像参数相比较，目前图像参数是由处理器113根据目前第一图像所计算。处理器113根据目前图像参数与储存阈值的比较结果，判断环境光的强弱并决定运作模式。例如，当第一图像Im_raw的平均亮度大于亮度阈值、当用以放大第一图像Im_raw的增益值(模拟增益和/或数字增益)小于增益阈值、当第一图像Im_raw的图像质量大于质量阈值和/或自动曝光的收敛时间小于时间阈值，处理器113判断环境光足够强而进入强光模式；否则，则进入弱光模式。

本发明中，处理器113还内建或预存有学习模型115，以硬件电路和/或软件码实现。所述学习模型115是在图像处理装置100出厂前，以计算机装置和/或网络平台执行数据网络架构(例如包含类神经网络学习算法、深度学习学习算法，但并不限于此)所产生。所述数据网络架构使用光检测组件111基于第一曝光时间获取的原始图像学习产生真实图像(ground truth image)以产生所述学习模型115记录于图像处理装置100中。所述学习模型相对于不同光检测组件而不同。

例如参照图5，所述第一曝光时间是指在强光环境下光检测组件111所使用的曝光时间，例如此处称为短曝光。因此，如果在弱环境下也使用此短曝光，所获得的原始图像会具有较差的图像特征，如图5所示的原始图像。

此外，为了产生机器学习模型，在图像处理装置100出厂前，光检测组件111还在弱光环境下使用比所述第一曝光时间长的曝光时间，例如此处称为长曝光，获取所述真实图像(不包含活动物体的图像)。由于所述长曝光较所述短曝光的时间为长，因此真实图像比所述原始图像具有较佳的图像特征，如图5所示。长曝光的时间优选选择为使得真实图像具有高于特征阈值的图像特征，例如选择光检测组件111可使用的最长曝光时间。更详言之，真实图像所包含的图像特征足以进行正确的物体判断。图像特征例如包括图像质量、对比度、清晰度及其他已知特征。

如前所述，光检测组件111输出第一图像Im_raw后，处理器113根据其相关的图像参数判断运作模式。当判断所述运作模式为强光模式时，处理器113直接输出所述第一图像Im_raw至电子装置13。电子装置13的处理器133(或称为装置处理器，例如微处理器、中央处理器、图形处理器等)根据至少一个第一图像Im_raw进行后处理，例如判断手势、距离、移动速度、移动方向、人脸等。某些实施例中，处理器113先对第一图像Im_raw进行滤波、去噪和/或数字化等前处理以产生前处理图像Im_pre。

另一方面，当判断所述运作模式为弱光模式时，处理器113使用预存的学习模型115将所述第一图像Im_raw转换为转换后图像Im_adj，并输出所述转换后图像Im_adj至电子装置13。例如参照图5，所述转换后图像Im_adj的图像特征虽然显示不像真实图像如此清楚，但相较于第一图像Im_raw已明显具有较高的图像质量(image quality)、对比度(contrast)、清晰度(clarity)或具有较低的模糊度(blurring)而适于进行物体判断。

更详言之，第一实施例中，当环境光足够强时(即强光模式)，光检测芯片111直接输出第一图像Im_raw至电子装置13进行后处理。由于此时所获取的第一图像Im_raw具有足够的图像特征，故第一图像Im_raw无须经过学习模型115进行转换。然而，当环境光不够强时(即弱光模式)，光检测芯片111不输出第一图像Im_raw而是输出经过学习模型115处理过后的转换后图像Im_adj。藉此，可达成无需增加曝光时间仍能够获取适格图像(不包含模糊物体图像)且在低照度下维持高图框率。

请参照图4所示，第一实施例中，弱光模式下处理器113也可以选择控制光检测组件111以第二曝光时间ET2检测视野FOV内的光并输出第二图像，其中所述第二曝光时间ET2比所述第一曝光时间ET1长。但是为避免产生如传统取像装置的问题，当所述第二图像的模糊度高于预定模糊度阈值时，处理器113可控制所述光检测组件111缩短第二曝光时间，以避免获取模糊影像。同理，弱光模式下，处理器113使用所述预存的学习模型115将所述第二图像转换为另一转换后图像，并输出所述另一转换后图像。电子装置13的处理器133则根据至少一个另一转换后图像进行物体判断。

例如，当处理器133判断转换后图像Im_adj的图像特征低于预定特征阈值时，可通知光检测芯片11以较长的曝光时间获取图像帧，例如第二曝光时间ET2。

请参照图2所示，其为本发明第二实施例的图像处理装置200的方框图。图像处理装置200与第一实施例的图像处理装置100的差异在于，学习模型235是设置于电子装置23而并非设置于光检测芯片21中，其他部分则与第一实施例类似。

图像处理装置200包含光检测芯片21以及电子装置23。光检测芯片21同样可位于电子装置23之内或之外，其根据不同应用而决定。在光检测芯片21配置于电子装置23内的例子中，学习模型235是由光检测芯片21外部的处理器(例如处理器233)所执行。

光检测芯片21同样包含光检测组件211(与光检测组件111相同)以及处理器213(与处理器113相同)，仅处理器213不具有学习模型235。光检测芯片21的光检测组件211同样用于以第一曝光时间检测视野FOV内的光并输出第一图像Im_raw。根据不同实施例，处理器213可直接输出第一图像Im_raw，或针对第一图像Im_raw仅进行前处理(例如滤波、去噪和/或数字化等)以输出前处理图像Im_pre至电子装置23。

电子装置23耦接(有线或无线)光检测芯片21以接收第一图像Im_raw或前处理图像Im_pre。电子装置23还包含处理器233(或称装置处理器，例如为中央处理器、微处理器或图形处理器)用于根据所述第一图像Im_raw(或前处理图像Im_pre)相关的图像参数判断运作模式。如前所述，所述图像参数包含图像亮度、增益值、自动曝光的收敛时间及图像质量至少其中一者。判断运作模式的方式已说明于第一实施例，故于此不再赘述。

当判断所述运作模式为强光模式时，所述处理器233使用第一图像Im_raw(或前处理图像Im_pre)进行物体判断。当判断所述运作模式为弱光模式时，所述处理器233使用内建或预存的学习模型235将所述第一图像Im_raw(或前处理图像Im_pre)先转换为转换后图像Im_adj，并使用所述转换后图像Im_adj进行物体判断。必须说明的是，虽然图2显示学习模型235是位于处理器233之外，但其仅说明而并非用以限定本发明。学习模型235可以是包含于处理器233内并以硬件电路和/或软件码实现。

第二实施例中，转换后图像Im_adj的图像质量、对比度、清晰度高于第一图像Im_raw，或所述转换后图像Im_adj的模糊度低于所述第一图像Im_raw，以能够在低照度及短曝光时间下正确进行物体判断，此为传统取像装置所无法达成。

第二实施例中的学习模型235是在图像处理装置200出厂前，以计算机装置和/或网络平台执行数据网络架构所产生。所述数据网络架构使用光检测芯片21基于第一曝光时间获取的原始图像学习产生真实图像以生成所述学习模型235并记录于图像处理装置200中。如前所述，所述真实图像是所述光检测芯片21以比所述第一曝光时间长的曝光时间(例如选择光检测组件211的最长曝光时间)所获取，并具有高于特征阈值的图像特征，例如请参照图5所示。

更详言之，第二实施例中，光检测芯片21用以输出原始图像(即第一图像Im_raw)或前处理原始图像(即前处理图像Im_pre)。电子装置23在判断环境光的强弱后，才决定是直接根据原始图像进行物体判断，还是先将原始图像转换为转换后图像后，再使用转换后图像进行物体判断。亦即，弱光模式下处理器233不使用第一图像Im_raw进行物体判断。

同理，电子装置23的处理器233还可控制光检测芯片21以第二曝光时间(例如第一图像或转换后图像后的图像特征太差)检测光并输出第二图像。例如参照图4，其中所述第二曝光时间ET2比第一曝光时间ET1长。处理器233使用预存的所述学习模型235将所述第二图像转换为另一转换后图像，再使用所述另一转换后图像进行物体判断。

处理器233还可根据第二图像的模糊度与模糊度阈值的比较结果调整第二曝光时间，例如第二图像的模糊度高于模糊度阈值时缩短第二曝光时间。

请参照图3所示，其为本发明实施例的图像处理装置的运作方法的流程图，其适用于上述图1的第一实施例及图2的第二实施例的图像处理装置。本运作方法举例说明如下。

首先，以光检测组件(111或211)使用第一曝光时间检测光以输出第一图像Im_raw。一种实施例中，所述第一曝光时间为强照度下所使用的曝光时间，例如所述光检测组件的最短曝光时间。另一种实施例中，光检测组件只有单一固定的曝光时间。

接着，以处理器(113或233)比较所述第一图像Im_raw相关的图像参数与参数阈值，步骤S31。如前所述，图像参数是用以判断环境光强弱的适当参数，例如包含图像亮度、增益值、自动曝光的收敛时间及图像质量至少其中一者。图像参数则事先储存于装置的内存中。

当所述图像参数超过所述参数阈值时，则进入强光模式，步骤S32。例如，图像亮度及图像质量数值越大时，表示环境光越强；增益值及自动曝光的收敛时间数值越小时，表示环境光越强，可据此选择适当阈值。亦即，所述超过是指图像亮度或图像质量大于相关的阈值，增益值或收敛时间小于相关的阈值。此时，处理器(133或233)直接使用第一图像Im_raw进行物体判断，包括物体追踪、深度判断、人脸辨识等。

当所述图像参数未超过所述参数阈值时，则进入弱光模式，步骤S33。此时，处理器(133或233)使用预存的学习模型(115或235)将所述第一图像转换Im_raw为转换后图像Im_adj后，再使用所述转换后图像Im_adj进行物体判断等后处理，步骤S34。

学习模型的产生方式如前所述，例如参照图5，故于此不再赘述。由于转换后图像Im_adj是为了提升判断精度所产生的，故所述转换后图像Im_adj的图像质量、对比度、清晰度高于所述第一图像Im_raw，或者所述转换后图像Im_adj的模糊度低于所述第一图像Im_raw。更详言之，本实施例中，在弱环境光下，第一图像Im_raw被视为不具有足够的图像信息，故不使用所述第一图像Im_raw进行物体判断。

然而，当第一图像Im_raw的图像特征太低时(例如低于预定阈值)，还可控制光检测组件(111或211)以第二曝光时间检测光并输出第二图像，其中所述第二曝光时间比所述第一曝光时间长，步骤S331-S332。处理器(113或233)使用所述预存的学习模型(115或235)将所述第二图像转换为另一转换后图像后，使用所述另一转换后图像进行物体判断。必须说明的是，步骤S331-S332并非一定要实施。

本发明实施例的功效如下。当使用固定曝光时间时，在低照度环境下，光检测组件输出图像帧的图框率不会降低，故即使是高速相对移动的情境下也能够正确操作。当应用于手势辨识装置时，例如当手势辨识装置在某些应用下连接至显示器以控制其上的光标移动。在低照度环境下，由于曝光时间不大幅延长，即使是高速相对移动的情境下，显示器上的也不会出现光标轨迹断线(因遗失物体图像所导致)的情形。当应用于人脸辨识装置时，例如在某些应用下当辨识出人脸图像时装置会发出致能信号以表示辨识出人脸图像。在低照度环境下，由于曝光时间不大幅延长，即使被辨识对象在移动，也不会出现无法产生致能信号的情形。

综上所述，已知图像获取装置在低照度环境下是通过延长曝光时间获取足够的图像特征以进行物体判断。然而，当用于侦测移动物体时，长曝光时间可能会产生物体图像模糊或无法获取物体图像等其他问题。因此，本发明另提供一种图像处理装置(例如图1至2)及其运作方法(例如图3)，其即使在低照度环境下仍维持相同的曝光时间以避免获取不适用图像帧的问题。同时通过使用机器学习算法将短曝光时间获取的图像进行转换以提升图像特征，以达到低照度环境下仍能够正确进行移动物体判断的功效。

虽然本发明已通过前述实例披露，但是其并非用以限定本发明，任何本发明所属技术领域中具有通常知识技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求所界定的范围为准。