阅读说明：本技术 一种多目立体成像显微镜及成像方法 (Multi-eye stereo imaging microscope and imaging method ) 是由 顾忠泽 徐梓康 于 2019-09-10 设计创作，主要内容包括：本发明公开了一种多目立体成像显微镜及成像方法,显微镜包括：镜筒结构、显微镜主体支架结构和电动载物平台；方法包括如下步骤：(1)拍摄棋盘格标定板,使用两步标定法,进行多目CCD电子目镜的相机标定,确定各个目镜的相对位置；(2)根据步骤(1)得到的相机参数,对拍摄的样品进行图像配准,为立体重建做准备；(3)使用改良后专用于显微镜匹配算法SLM-SGBM对样品进行特征点立体匹配；(4)对步骤(3)得到的视差图使用优化算法进行视差优化,得到最终的立体匹配结果。本发明能够在仅使用该多目立体成像显微镜时实现对微小样品表面的实时三维重建。(The invention discloses a multi-eye stereo imaging microscope and an imaging method, wherein the microscope comprises: the microscope comprises a lens cone structure, a microscope main body bracket structure and an electric carrying platform; the method comprises the following steps: (1) shooting a chessboard pattern calibration plate, carrying out camera calibration on the multi-eye CCD electronic ocular lens by using a two-step calibration method, and determining the relative position of each ocular lens; (2) according to the camera parameters obtained in the step (1), carrying out image registration on the shot sample to prepare for three-dimensional reconstruction; (3) performing characteristic point stereo matching on the sample by using an improved SLM-SGBM special for a microscope matching algorithm; (4) and (4) carrying out parallax optimization on the parallax image obtained in the step (3) by using an optimization algorithm to obtain a final stereo matching result. The invention can realize the real-time three-dimensional reconstruction of the surface of the tiny sample when only the multi-view stereo imaging microscope is used.)

一种多目立体成像显微镜及成像方法

技术领域

本发明涉及生物医学显微成像技术领域，尤其是一种多目立体成像显微镜及成像方法。

背景技术

在生物医学即时检测过程中，常常需要分析细胞、组织薄膜等微小样品的表面形态学信息，而这些信息的获取通常需要用到显微成像设备。传统的光学显微镜主要由光源、光学透镜、光检测器三部分组成。传统的光学显微镜只能通过目镜观察到样本的二维平面图像，而无法获取样本的三维形貌信息。为了更精确具体的对生物医学样本进行检测和分析，获取样本表面的三维形貌成为显微镜用于即时检测领域必须克服的一大阻力。

截至目前，基于显微镜的三维形貌重建已经取得了一些研究成果，概括起来可以分为四大类：1)基于单目/双目的三维重建：根据多视点几何，理想情况下3D结构可以通过充足的2D图像通过匹配实现重建，如SfM和SLAM。2)基于结构光的三维重建。3)基于OCT(Optical coherence tomography，光学相干成像)的三维重建。4)基于多目的三维重建。方法一在对较大尺寸的样本表面重建中取得了一定效果，但是在针对小尺寸样本重建时精度不够；方法二虽然提供了更高的精确度，但是在远距离拍摄时精确度随距离的增加衰减很快，且需要提供额外的编码器件；方法三同样提供了很高的精度，但是由于成像方法的局限性，无法对活体样本进行实时三维成像。相比之下，方法四无需搭配额外的编码器件，如果结合当前数据驱动的学习方法，将会在实时性、低成本性、便捷性等众多方面胜出。然而这一方法在诸多方面同样存在亟待解决的难点：1)现有的体视显微镜只具有两个目镜镜筒，无法同时捕获多个角度的图像；2)显微镜尺寸下，多CCD电子目镜的相机标定算法有异与宏观场景下的多目摄像机标定，需要针对其提出专用的算法；3)针对显微样本的特定立体匹配算法还未完善，立体成像效果不够精确。

发明内容

本发明所要解决的技术问题在于，提供一种多目立体成像显微镜及成像方法，能够在仅使用该多目立体成像显微镜时实现对微小样品表面的实时三维重建。

为解决上述技术问题，本发明提供一种多目立体成像显微镜，包括：镜筒结构、显微镜主体支架结构和电动载物平台；显微镜主体支架结构用于夹持固定各个镜筒结构，并调节各个镜筒之间的工作距离；显微镜主体支架结构中的环状支架的右侧设置有握臂，握臂通过铰支座与电动载物平台连接。

优选的，镜筒结构包括CCD电子目镜、可组装镜筒和可拆卸物镜；CCD电子目镜用于采集由可组装镜筒传输来的光信号，将其转换为电信号，并通过USB数据线上传至PC上位机；可组装镜筒用于连接CCD电子目镜和可拆卸物镜，可组装镜筒两端具有螺纹接口，耦合两侧的镜头；可拆卸物镜用于采集载物台上样本的物象，并投射入可组装镜筒中。

优选的，镜筒结构数目大于2个。

优选的，显微镜主体支架结构包括环形支架、粗调螺旋和微调螺旋；粗调螺旋位于环形支架侧后方，用于整体调节支架高度，从而对镜筒结构组实现整体上下位移，调节其工作距离；细调螺旋位于环形支架内测卡槽旁，用于调节单个镜筒结构的工作距离。

优选的，环形支架为一中空环形金属支架，沿环形的内边缘按照一定角度排列若干镜筒卡槽，固定镜筒结构，调节各镜筒的夹角。

优选的，电动载物平台包括反光镜、电动平台和样品固定夹；反光镜位于多目立体显微镜底座前侧，用于引导光源发射的白光进入载物台的通光孔；电动平台用于沿X、Y方向定量精确移动样品，实现一系列样品图像的观测；样品固定夹用于夹持样品，防止其在电动平台移动时滑动平移，提高系统的精确性。

相应的，一种多目立体成像显微镜的成像方法，包括如下步骤：

(1)拍摄棋盘格标定板，使用两步标定法，进行多目CCD电子目镜的相机标定，确定各个目镜的相对位置；

(2)根据步骤(1)得到的相机参数，对拍摄的样品进行图像配准，为立体重建做准备；

(3)使用改良后专用于显微镜匹配算法SLM-SGBM对样品进行特征点立体匹配；

(4)对步骤(3)得到的视差图使用优化算法进行视差优化，得到最终的立体匹配结果。

优选的，步骤(1)中，由于体视显微镜的景深较小，使用张正友标定法时只能获得放大倍率，而无法获得深度信息，本发明使用两步标定法进行相机标定。首先根据公式(1)通过一步标定获得准确的放大倍率β，同时根据显微镜固有的工作距离u进行计算，由公式(2)得到真实的CCD电子目镜的焦距，从而得到其内参矩阵I；

其中，β表示显微镜的放大倍率，f表示显微镜通过单步标定得到的伪焦距，Δz表示显微镜通过单步标定得到的在z方向上的偏移量，u表示显微镜固有的工作距离，与物镜的放大倍率相关，f_x,f_y分别表示显微镜在x,y方向上的焦距，u,v表示CCD电子目镜在x,y方向上的分辨率。

优选的，步骤(3)中，使用改良后专用于显微镜匹配算法SLM-SGBM对样品进行特征点立体匹配具体为：使用水平Sobel算子对图像A进行预处理，并用一个函数将其映射成一个新的图像B，将原图经采样的方法得到的SAD代价与新图所提供的梯度代价进行聚合，使用动态规划算法得到初步的立体匹配结果。

优选的，步骤(4)中，使用唯一性检测、亚像素插值以及左右一致性检测算法对匹配结果进行后处理，得到最终的高精度立体匹配结果。

本发明的有益效果为：本发明在硬件上设计了一种新型的多目镜立体成像显微镜结构，通过多个目镜同时对样品进行图像观测与采集，同时利用改良后的SLM-SGBM算法根据获得的图像对样品进行表面三维重建，在低成本、短耗时的基础上实现了显微样品表面的三维高精度成像。

附图说明

图1为本发明的结构示意图。

图2为本发明三维重建算法的流程示意图。

具体实施方式

如图1所示，一种多目立体成像显微镜，包括：镜筒结构、显微镜主体支架结构和电动载物平台；显微镜主体支架结构用于夹持固定各个镜筒结构，并调节各个镜筒之间的工作距离；显微镜主体支架结构中的环状支架的右侧设置有握臂，握臂通过铰支座与电动载物平台连接。

镜筒结构包括CCD电子目镜、可组装镜筒和可拆卸物镜；CCD电子目镜用于采集由可组装镜筒传输来的光信号，将其转换为电信号，并通过USB数据线上传至PC上位机；可组装镜筒用于连接CCD电子目镜和可拆卸物镜，可组装镜筒两端具有螺纹接口，耦合两侧的镜头；可拆卸物镜用于采集载物台上样本的物象，并投射入可组装镜筒中。镜筒结构数目大于2个。

显微镜主体支架结构包括环形支架、粗调螺旋和微调螺旋；粗调螺旋位于环形支架侧后方，用于整体调节支架高度，从而对镜筒结构组实现整体上下位移，调节其工作距离；细调螺旋位于环形支架内测卡槽旁，用于调节单个镜筒结构的工作距离。环形支架为一中空环形金属支架，沿环形的内边缘按照一定角度排列若干镜筒卡槽，固定镜筒结构，调节各镜筒的夹角。

电动载物平台包括反光镜、电动平台和样品固定夹；反光镜位于多目立体显微镜底座前侧，用于引导光源发射的白光进入载物台的通光孔；电动平台用于沿X、Y方向定量精确移动样品，实现一系列样品图像的观测；样品固定夹用于夹持样品，防止其在电动平台移动时滑动平移，提高系统的精确性。

CCD电子目镜和可拆卸物镜均组装在可组装镜筒上，可组装镜筒按照一定的数量和夹角安装在显微镜的环形支架上，并能够通过粗调螺旋和微调螺旋调节其位置。待测样品被样品固定夹固定在电动载物平台上，通过可拆卸物镜经由镜筒被CCD电子目镜采集，并传输到上位机上。

如图2所示，一种多目立体成像显微镜的成像方法，包括如下步骤：

(1)拍摄棋盘格标定板，使用两步标定法，进行多目CCD电子目镜的相机标定，确定各个目镜的相对位置；

(2)根据步骤(1)得到的相机参数，对拍摄的样品进行图像配准，为立体重建做准备；

(3)使用改良后专用于显微镜匹配算法SLM-SGBM对样品进行特征点立体匹配；

(4)对步骤(3)得到的视差图使用优化算法进行视差优化，得到最终的立体匹配结果。

本发明在硬件上设计了一种新型的多目镜立体成像显微镜结构，通过多个目镜同时对样品进行图像观测与采集，同时利用改良后的SLM-SGBM算法根据获得的图像对样品进行表面三维重建，在低成本、短耗时的基础上实现了显微样品表面的三维高精度成像。