具体实施方式

下面结合附图和具体实施实例对发明做进一步说明。本发明的目的是提出一种透明A柱显示系统，外侧摄像头采集视野盲区图像后经核心处理器处理后，将图像显示在安装在A柱上的柔性液晶显示屏上，实现A柱的透明化。将A柱透明化后一方面可以减小视野盲区，提高了驾驶员的视野范围，提高了驾驶的安全性，另外一方面外置广角摄像头视野范围更高，给予驾驶员全景驾驶的舒适体验。因此，汽车A柱的“透明化”是无可阻挡的发展趋势，并且可以根据该装置特点提供疲劳驾驶检测以及预警，提高驾驶员的行车安全。

如图1所示，一种透明A柱的智能显示系统，包括深度相机、柔性屏、摄像机、控制器、深度相机安装在A柱外侧，柔性屏镶嵌在A柱内侧，摄像机安装在柔性屏上，深度相机、柔性屏、摄像机分别与控制器电连接；

所述深度相机用于采集车辆的A柱盲区的图像；

所述摄像机用于采集驾驶员头部的图像；

所述控制器用于提取深度相机采集的图像中的深度信息，提取摄像机采集的图像中的头部、眼部位置信息，根据深度信息进行三维重构得到三维图像，根据位置信息对三维图像进行透视变换，并将透视后的三维图像传输到柔性屏上进行显示。

所述控制器还用于根据眼睛的纵横比来判断驾驶员是否是疲劳驾驶，当根据摄像机采集到的图像计算出的纵横比值γ低于阈值δ的帧数超过一定时间(一般为48帧)时，则进行驾驶员疲劳驾驶的报警提示。

一种采用上述透明A柱的智能显示系统的显示方法，如图2所示，首先采集车辆A柱盲区的图像以及车内驾驶员头部的图像，然后根据车内驾驶员头部的图像进行驾驶员人脸及人眼的检测与跟踪，判断驾驶员是否为疲劳驾驶；根据跟踪到的人脸及人眼所在的实时位置，对重构后的A柱盲区的图像进行透视变换得到人眼预观看的A柱盲区的三维图像；包括：

步骤1：采集车辆A柱盲区的图像，采集车内驾驶员头部的图像；

通过深度相机采集的图像，会发现这样的深度图具有很多小孔和噪点，边缘也不平滑，因此要对图像进行滤波，为了使边缘不被模糊掉，采用中值滤波。

步骤2：进行图像预处理，对车辆A柱盲区的图像进行中值滤波处理；对车内驾驶员头部的图像进行降噪处理；

三维重构是指通过处理器的处理与变换，将相机所拍摄的二维平面图像结合红外深度信息，重新构建出拍摄景象的三维模型的过程；

步骤3：对预处理后的A柱盲区的图像进行三维重构；包括：

步骤3.1：对滤波处理后的车辆A柱盲区的图像在基线上采样m倍，并进行滤波处理，具体为采用sobel滤波处理方式；当m＝8时，滤波效果最好，保证在做双目匹配后实现3bit的亚像素精度；

步骤3.2：针对滤波处理后的图像以及预存的投影光斑模板图像，采用图像序列中对应像素差的绝对值之和(sum of absolute differences,SAD)进行局部匹配，得到原始深度图像；

步骤3.3：对原始深度图像进行内外参矩阵变换得到点云图并以矩阵的形式存储；

式中，(u,v)为图像坐标系下的任意坐标点，z_c为相机坐标的z轴值即目标到相机的距离，(x_w,y_w,z_w)为世界坐标系下的三维坐标点，f为深度相机焦距，dx、dy为像素点在两个方向上的物理尺寸,由于世界坐标原点和相机原点是重合的，即没有旋转和平移，所以：

步骤3.4：遍历矩阵化点云图，连接与任意一点相邻的两个点进行三角化构成三角面，可以使用OpenGL的连线功能，每画一个点就与它之前的两个点连成一个三角面，计算这个三角形的法向，即作为该点的法向；

步骤3.5：设置所有三角面顶点的法向，并将所有法向统一垂直向上得到三维重构后的车辆A柱盲区的三维图像；

步骤4：对预处理后的驾驶员头部的图像进行人脸及人眼的检测与跟踪，具体为：使用Haar特征分类器和LBP级联分类器对降噪处理后的驾驶员头部的图像进行人脸及人眼的检测与跟踪，得到驾驶员头部、眼部的位置信息；

实现疲劳驾驶检测从而提醒驾驶员，通过计算眼睛纵横比(Eye Aspect Ratio，EAR)来估计疲劳程度的，纵横比即“眼睛宽度/眼睛高度”。当EAR值超过设置预警的阈值时，自动报警，即当驾驶员达到疲劳驾驶程度后对其警示，提高行驶的安全性。

步骤5：计算跟踪到的人眼的横纵比(Eye Aspect Ratio，EAR)，并判断驾驶员是否为疲劳驾驶；包括：

步骤5.1：计算人眼横纵比γ：

γ＝a/b

式中，a表示眼睛的宽度，b表示眼睛的高度；

步骤5.2：设置预警横纵比阈值δ为0.3，当横纵比值γ低于阈值δ的帧数超过48帧时，表示驾驶员长时间眨眼或者处于闭眼状态，需要触发警报，提醒司机此时精神状态已经不佳需要及时调整与休息。

根据三维重建技术，获取三维物体的二维图像后通过摄像机标定来建立有效的成像模型，求解出摄像机的内外参数，结合图像的匹配结果得到空间中的三维点坐标，然后进行人脸特征点提取，建立图像对之间的一种对应关系，即可实现三维场景信息的可视化显示。

步骤6：根据跟踪到的人脸及人眼所在的实时位置，计算其余基准位置的位置偏差(纵向偏离角度)，对重构出的图像建立三维坐标，根据人脸及人眼与基准位置的位置偏差(纵向偏离角度)调整坐标原点，对重构后的三维图像进行透视变换，输出人眼预观看的A柱盲区的三维图像在柔性屏进行显示，从而起到透视的效果；透视变换公式为：

其中，R_ce是3×3的正交单位矩阵，表示相机坐标系，T_ce是三维的平移向量，表示世界坐标系；任一点P在世界坐标系与相机坐标系下的坐标分别为(X_c,Y_c,Z_c)、(X_e,Y_e,Z_e)。

本实施方式中采用的具体元器件型号为：安装在车外的深度相机的型号为Kinect2.0，通过深度相机上的红外投影仪向外主动投射红外光斑，照射到粗糙物体或是穿透毛玻璃后，管频谱会发生扭曲，形成反射光斑，由另一个平行位置上的红外投影仪识别并读取，来采集图像信息；安装在车内的柔性屏为LCD(Liquid Crystal Display)柔性屏，型号为BTOL5500R，LCD柔性屏在基板中采用了聚酰亚胺，并在上面设置了用来确保强度的丙烯树脂层，并且能以500mm的曲率半径弯曲，总体厚度为400μm，其中由聚酰亚胺和丙烯构成的塑料基板的厚度为10μm，可以完美依附在汽车A柱上，用来展示图像；车内的摄像头安装在LCD柔性屏的一角上，不要挡住屏幕显示即可，且保证能完全拍到驾驶员的头部，摄像头采用内置广角摄像头，型号为HF899；控制器安装在车内，控制器采用TX2核心板，型号为Jetson Nano 4GB，TX2核心板需要扩展个型号为CM207的扩展坞分别连接深度相机、广角摄像头；具体的接线图如图3所示。本发明方法主要利用Python软件中的图像处理库(PythonImage Library,PIL)编程实现，PIL可以进行图像的处理以及深度数据的转换，实现二维顶点的三维化，获得可视化的路况三维模型。

本发明提供的系统实现了A柱的透明化，通过A柱透明化，一方面减小视野盲区，提高了驾驶员的视野范围，提高了驾驶的安全性，另外一方面外置广角摄像头视野范围更高，给予驾驶员全景驾驶的舒适体验。汽车A柱的“透明化”是无可阻挡的发展趋势，并且可以提供疲劳驾驶检测以及预警，提高驾驶员的行车安全。