赝复体制作方法、系统、终端以及介质
阅读说明：本技术 赝复体制作方法、系统、终端以及介质 (Prosthesis manufacturing method, system, terminal and medium ) 是由 周一雄 王震 宋雪霏 李伦昊 马波 于 2020-05-08 设计创作，主要内容包括：本申请提供一种赝复体制作方法、系统、终端以及介质,包括：包括：采集人脸3D数据；根据人脸3D数据对特定的人脸角度进行关键点定位；将关键点定位后的人脸3D数据注册到一3D人脸模板；在3D人脸模板中选取多个脸部关键点；根据选取多个关键点后的3D人脸模板生成镜面3D人脸模型；进行3D打印得到赝复体。解决了现有技术中表面着色依然依靠手工绘制,耗时且人力成本高因而价格昂贵；并获取的数据只能是患者卧位,以及由于扫描致使患者暴露于过多射线的问题。本申请可于患者直立位获取面部形态数据、使患者在数据采集过程中免受射线、2D纹理和3D位置信息同步匹配的数据采集模式,并进行镜像建模和校正并3D打印赝复体,用于颅面部损伤、术后患者的面部形态和外观装饰。(The application provides a prosthesis manufacturing method, a system, a terminal and a medium, comprising the following steps: the method comprises the following steps: collecting 3D data of a human face; carrying out key point positioning on a specific face angle according to the face 3D data; registering the 3D data of the face after the key points are positioned to a 3D face template; selecting a plurality of face key points from a 3D face template; generating a mirror surface 3D face model according to the 3D face template with the plurality of selected key points; and 3D printing to obtain the prosthesis. The problem that in the prior art, surface coloring still depends on manual drawing, time is consumed, labor cost is high, and therefore price is high is solved; and the only data acquired is the patient's recumbent position, and the problem of excessive radiation exposure to the patient due to the scan. The method can acquire facial form data at the vertical position of a patient, avoid the synchronous matching of rays, 2D textures and 3D position information of the patient in the data acquisition process, perform mirror image modeling and correction, and print the prosthesis in a 3D mode, and is used for craniofacial damage and the facial form and appearance decoration of postoperative patients.)
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本申请提供一种赝复体制作方法，解决了现有技术中现有技术中表面着色依然依靠手工绘制，耗费大量人力物力且对绘制者要求高，耗时且人力成本高因而价格昂贵；另一方面CT获取的数据是在患者卧位时获取，其与患者直立位时的软组织形态具有差异，所制模型无法完全满足患者的形态需求此外，软组织短时间内存在一定的形态变异，不可能频繁使用CT对患者进行扫描致使患者暴露于过多射线的问题；本申请可于患者直立位获取面部形态数据、使患者在数据采集过程中免受射线、同时可以2D纹理和3D位置信息同步匹配的数据采集模式，在3D和2D层面进行镜像建模和校正，一次制作3D打印赝复体，用于颅面部损伤、术后患者的面部形态和外观装饰。
所述方法包括：
采集人脸3D数据；
根据所述人脸3D数据对特定的人脸角度进行关键点定位；
将关键点定位后的人脸3D数据注册到一3D人脸模板；
在所述3D人脸模板中选取多个脸部关键点；
根据选取多个关键点后的3D人脸模板生成镜面3D人脸模型；
将所述镜面3D人脸模型进行3D打印得到赝复体。
下面以附图1为参考，针对本申请得实施例进行详细说明，以便本申请所述技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限于此处说明的实施例。
如图1所示，展示一实施例中赝复体制作方法的流程示意图，即经过以下步骤；
步骤S11：采集人脸3D数据。
可选的，采集人脸3D位置数据与多个角度的人体纹理与形状图片。
可选的，利用结构光扫描仪采集人脸3D数据。
可选的，利用结构光扫描仪采集人脸3D位置数据，根据结构光扫描仪的不同使用配套的装置，同步采集人体纹理与形状图片。
可选的，所述结构光扫描仪为Bellus3D Face Camera Pro或EinScan Pro。
步骤S12：根据所述人脸3D数据对特定的人脸角度进行关键点定位。
可选的，利用关键点定位技术对所述人脸3D数据中的人脸角度进行关键点定位。
可选的，利用HOG主动外观模型对所述人脸3D数据中的人脸角度进行关键点定位。
可选的，利用HOG主动外观模型对所述人脸3D数据中的不同人脸角度的人体纹理与形状图片进行关键点定位。
可选的，利用多个不同角度的虚拟摄像头人脸纹理和形状图片。
可选的，在所述HOG主动外观模型初始化时，采用人脸检测器，以获得稳定可靠的人脸关键点。
可选的，所述人脸关键点为68个，包括：脸部轮廓17个点，左眉毛5个点、右眉毛5个、鼻梁4个，鼻孔底部5个、左眼6个、右眼6个、上嘴唇外缘7个、下嘴唇外缘5个以及嘴唇内侧8个。
可选的，所述HOG主动外观模型的训练样本包括LFPW数据库。
S13：将关键点定位后的人脸3D数据注册到一3D人脸模板。
可选的，通过非刚性迭代最近点算法将关键点定位后的人脸3D数据注册到一3D人脸模板，可以补充扫描数据的漏洞，还可以完成3D扫描数据到模板的点对点语义上的映射，通过非刚性迭代最近点算法，对人脸模板加以形变，在3D人脸关键点作为限制的情况下，使得与输入3D人脸的形状最接近。图2显示为3D人脸模板注册图。
可选的，所述3D人脸模板包括：眼球突出模板、眼球内陷模板、眼睑退缩模板、上睑下垂模板、眼睑内翻模板、眼睑外翻模板、内外眦位置异常模板、眶区对称度高度差异模板中的一种或多种。
可选的，通过BFM模型将关键点定位后的人脸3D数据注册到一3D人脸模板。
可选的，选择BFM模型作为3D人脸模板，模板一共有m个顶点。每个顶点的位置定义为x，y，z，对应的颜色定义为r，g，b。这样一张人脸的形状S和纹理C可以分别定义为：
s＝[x1，y1，z1，…，xm，ym，zm]T； (1)
c＝[r1，g1，b1，…，rm，gm，bm]T； (2)
该模型假设形状和纹理是两个独立的线性模型。利用主成分分析(PCA)，可以得到参数化的人脸形状模型和纹理模型，分别是：
S14：在所述3D人脸模板中选取多个脸部关键点:。
可选的，所述脸部关键点包括：眼眶部分关键点，其中，所述眼眶部分包括：颧点、额颞点、内外眦点、睑缘、角巩缘、泪阜以及眼睑皱襞中的一种或多种，从而能够让3D人脸形变模型尽可能细致地重建出不同眼眶病的症状，避免将眼眶疾病表现的异常特征性形态错误地收敛为正常人，而导致无法实现眼眶病的筛查。
可选的，所述脸部关键点个数越多，各部位的点对点映射的分辨率越高，进而可以很大程度上提高眼眶病的筛查有效性和准确率。由图3显示为在眼眶部分提高关键点和顶点的分辨率的显示图。
S15：根据选取多个关键点后的3D人脸模板生成镜面3D人脸模型。
可选的，以面中线作为轴线，在所述选取多个关键点后的3D人脸模板中圈选出用于制作赝复体的健侧参照区域；
将所述健侧参照区域进行对称翻转得到镜面模型；
将所述镜面模型的姿态进行调整得到镜面3D人脸模型。
其中图4展示为镜面模型生成图，其中4a显示为健侧标定图；4b显示为镜面翻转图以及4c显示为镜像模型姿态调整图。
可选的，根据所述人体纹理与形状图片制作2D纹理、颜色的镜像，使之可用于模型表面上色，模拟人体对应位置器官形貌、皮肤色彩、纹理等。
S16：将所述镜面3D人脸模型进行3D打印得到赝复体。
可选的，使用生物相容性良好的类硅胶/类橡胶材质对所述镜面3D人脸模型进行色彩原料混合3D打印得到赝复体。
与上述实施例原理相似的是，本申请提供一种赝复体制作系统，所述系统包括：
采集模块，用于采集人脸3D数据；
关键点定位模块，用于根据所述人脸3D数据对特定的人脸角度进行关键点定位；
人脸模型注册模块，用于将关键点定位后的人脸3D数据注册到一3D人脸模板；
脸部关键点选取模块，用于在所述3D人脸模板中选取多个脸部关键点；
镜面3D人脸模型生成模块，用于根据选取多个关键点后的3D人脸模板生成镜面3D人脸模型；
3D打印模块，用于将所述镜面3D人脸模型进行3D打印得到赝复体。
以下结合附图提供具体实施例：
如图5所示展示本申请实施例中的一种赝复体制作系统的结构示意图。
所述系统包括：
所述采集模块51，用于采集人脸3D数据；
所述关键点定位模块52，用于根据所述人脸3D数据对特定的人脸角度进行关键点定位；
所述人脸模型注册模块53，用于将关键点定位后的人脸3D数据注册到一3D人脸模板；
所述脸部关键点选取模块54，用于在所述3D人脸模板中选取多个脸部关键点；
所述镜面3D人脸模型生成模块55，用于根据选取多个关键点后的3D人脸模板生成镜面3D人脸模型；
所述3D打印模块56，用于将所述镜面3D人脸模型进行3D打印得到赝复体。
可选的，所述采集模块51采集人脸3D位置数据与多个角度的人体纹理与形状图片。
可选的，所述采集模块51利用结构光扫描仪采集人脸3D数据。
可选的，所述采集模块51利用结构光扫描仪采集人脸3D位置数据，根据结构光扫描仪的不同使用配套的装置，同步采集人体纹理与形状图片。
可选的，所述结构光扫描仪为Bellus3D Face Camera Pro或EinScan Pro。
可选的，所述关键点定位模块52利用关键点定位技术对所述人脸3D数据中的人脸角度进行关键点定位。
可选的，所述关键点定位模块52利用HOG主动外观模型对所述人脸3D数据中的人脸角度进行关键点定位。
可选的，所述关键点定位模块52利用HOG主动外观模型对所述人脸3D数据中的不同人脸角度的人体纹理与形状图片进行关键点定位。
可选的，所述关键点定位模块52利用多个不同角度的虚拟摄像头人脸纹理和形状图片。
可选的，所述关键点定位模块52在所述HOG主动外观模型初始化时，采用人脸检测器，以获得稳定可靠的人脸关键点。
可选的，所述人脸关键点为68个，包括：脸部轮廓17个点，左眉毛5个点、右眉毛5个、鼻梁5个，鼻孔底部5个、左眼6个、右眼6个、上嘴唇外缘7个、下嘴唇外缘5个以及嘴唇内侧8个。
可选的，所述HOG主动外观模型的训练样本包括LFPW数据库。
可选的，所述人脸模型注册模块53通过非刚性迭代最近点算法将关键点定位后的人脸3D数据注册到一3D人脸模板，可以补充扫描数据的漏洞，还可以完成3D扫描数据到模板的点对点语义上的映射，通过非刚性迭代最近点算法，对人脸模板加以形变，在3D人脸关键点作为限制的情况下，使得与输入3D人脸的形状最接近。
可选的，所述3D人脸模板包括：眼球突出模板、眼球内陷模板、眼睑退缩模板、上睑下垂模板、眼睑内翻模板、眼睑外翻模板、内外眦位置异常模板、眶区对称度高度差异模板中的一种或多种。
可选的，所述人脸模型注册模块53通过BFM模型将关键点定位后的人脸3D数据注册到一3D人脸模板。
可选的，所述人脸模型注册模块53选择BFM模型作为3D人脸模板，模板一共有m个顶点。每个顶点的位置定义为x，y，z，对应的颜色定义为r，g，b。这样一张人脸的形状S和纹理C可以分别定义为：
s＝[x1，y1，z1，…，xm，ym，zm]T； (1)
c＝[r1，g1，b1，…，rm，gm，bm]T； (2)
该模型假设形状和纹理是两个独立的线性模型。利用主成分分析(PCA)，可以得到参数化的人脸形状模型和纹理模型，分别是：
可选的，所述脸部关键点包括：眼眶部分关键点，其中，所述眼眶部分包括：颧点、额颞点、内外眦点、睑缘、角巩缘、泪阜以及眼睑皱襞中的一种或多种，从而能够让3D人脸形变模型尽可能细致地重建出不同眼眶病的症状，避免将眼眶疾病表现的异常特征性形态错误地收敛为正常人，而导致无法实现眼眶病的筛查。
可选的，所述脸部关键点个数越多，各部位的点对点映射的分辨率越高，进而可以很大程度上提高眼眶病的筛查有效性和准确率。
可选的，所述镜面3D人脸模型生成模块55以面中线作为轴线，在所述选取多个关键点后的3D人脸模板中圈选出用于制作赝复体的健侧参照区域；
将所述健侧参照区域进行对称翻转得到镜面模型；
将所述镜面模型的姿态进行调整得到镜面3D人脸模型。
可选的，所述镜面3D人脸模型生成模块55根据所述人体纹理与形状图片制作2D纹理、颜色的镜像，使之可用于模型表面上色，模拟人体对应位置器官形貌、皮肤色彩、纹理等。
可选的，所述3D打印模块56使用生物相容性良好的类硅胶/类橡胶材质对所述镜面3D人脸模型进行色彩原料混合3D打印得到赝复体。
如图6所示，展示本申请实施例中的赝复体制作终端60的结构示意图。
所述电子装置60包括：存储器61及处理器62所述存储器61用于存储计算机程序；所述处理器62运行计算机程序实现如图1所述的赝复体制作方法。
可选的，所述存储器61的数量均可以是一或多个，所述处理器62的数量均可以是一或多个，所而图6中均以一个为例。
可选的，所述电子装置60中的处理器62会按照如图1述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器61中，并由处理器62来运行存储在存储器61中的应用程序，从而实现如图1所述赝复体制作方法中的各种功能。
可选的，所述存储器61，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器61，可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，所述处理器62可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现如图1所示的赝复体制作方法。所述计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
综上所述，本申请赝复体制作方法、系统、终端以及介质，解决了现有技术中表面着色依然依靠手工绘制，耗费大量人力物力且对绘制者要求高，耗时且人力成本高因而价格昂贵；另一方面CT获取的数据是在患者卧位时获取，其与患者直立位时的软组织形态具有差异，所制模型无法完全满足患者的形态需求此外，软组织短时间内存在一定的形态变异，不可能频繁使用CT对患者进行扫描致使患者暴露于过多射线的问题。本申请可于患者直立位获取面部形态数据、使患者在数据采集过程中免受射线、同时可以2D纹理和3D位置信息同步匹配的数据采集模式，在3D和2D层面进行镜像建模和校正，一次制作3D打印赝复体，用于颅面部损伤、术后患者的面部形态和外观装饰。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。