阅读说明：本技术 一种基于图像处理的智能问诊方法、系统及存储介质 (Intelligent inquiry method, system and storage medium based on image processing ) 是由 李耀明 吴宗盛 彭威 于 2020-05-25 设计创作，主要内容包括：本发明公开了一种基于图像处理的智能问诊方法、系统及存储介质,方法包括：获取个人医疗图像、个人历史信息库、标准文本结构、程度评估模型及医疗信息数据库；对个人医疗图像进行OCR识别生成第一医疗文本；对第一医疗文本进行结构化处理及数据映射生成第二医疗文本；对第二医疗文本进行区域划分得到区域划分图像；对个人医疗图像进行疑似关联得到关联图像；显示区域划分图像和关联图像。本发明通过对个人医疗图像的一系列处理,实现了对于个人医疗图像中文本的区域划分,同时可以与个人历史信息进行关联,从而辅助医生快速识别有效信息,提高了医生在线问诊的工作效率。(The invention discloses an intelligent inquiry method, a system and a storage medium based on image processing, wherein the method comprises the following steps: acquiring a personal medical image, a personal historical information base, a standard text structure, a degree evaluation model and a medical information database; performing OCR recognition on the personal medical image to generate a first medical text; performing structural processing and data mapping on the first medical text to generate a second medical text; carrying out regional division on the second medical text to obtain a regional division image; performing suspected association on the personal medical image to obtain an associated image; the display area divides the image and the associated image. According to the invention, through a series of processing on the personal medical image, the region division of the text in the personal medical image is realized, and meanwhile, the text can be associated with personal historical information, so that a doctor is assisted to quickly identify effective information, and the working efficiency of on-line inquiry of the doctor is improved.)

一种基于图像处理的智能问诊方法、系统及存储介质

技术领域

本发明涉及医疗在线问诊领域，尤其涉及一种基于图像处理的智能问诊方法、系统及存储介质。

背景技术

伴随着社会的进一步发展，人们在拥有富足生活的同时，也期待享受更好的医疗服务；而鉴于我国目前大部分优质的医疗资源多集中于城市中，患者在寻求医疗服务时不仅舟车劳顿，还要面对陌生的城市环境和医院制度的不确定性等问题，很难满足自己的需求。

因而，通过网络途径远程问诊成为了一种新的资讯途径；在通过网络途径寻求医疗帮助时，鉴于患者文化水平的不同，打字或语音很难对病情进行直观表述，患者往往需要借助个人医疗图像作为辅助资料，这类图像虽然可以清晰展示既往信息，但图像展示的文本类型过多，且不同医院出示的文本格式均有所不同，医生很难快速获取有效信息，严重影响了医生在线问诊的工作效率以及患者在问诊过程中的就医体验。

发明内容

为至少解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于图像处理的智能问诊方法、系统及存储介质。

根据本发明实施例的第一方面，一种基于图像处理的智能问诊方法，包括以下步骤：

通过智能终端上传图像后，获取个人医疗图像、个人历史信息库、标准文本结构、程度评估模型以及医疗信息数据库；

对所述个人医疗图像进行OCR识别生成第一医疗文本；

利用所述医疗信息数据库和所述标准文本结构对所述第一医疗文本进行结构化处理及数据映射，生成第二医疗文本；

利用所述医疗信息数据库和所述程度评估模型对所述第二医疗文本进行区域划分，得到区域划分图像；

利用所述个人历史信息库对所述个人医疗图像进行疑似关联，得到关联图像；

在所述智能终端上显示所述区域划分图像和所述关联图像。

进一步，所述对所述个人医疗图像进行OCR识别生成第一医疗文本这一步骤，包括：

对所述个人医疗图像并执行OCR识别，得到初始文本；

对所述初始文本执行遍历，得到该文本的基础信息；所述基础信息包括字号信息、不同字号对应的文本信息、间距信息；

根据所述基础信息对所述初始文本进行合并，生成所述第一医疗文本。

进一步，所述根据所述基础信息对所述初始文本进行合并，生成所述第一医疗文本这一步骤，包括：

获取所述间距信息；所述间距信息包括行间距信息、列间距信息；

根据所述行间距信息对所述初始文本进行行合并，得到第一文本；

根据所述列间距信息对所述第一文本进行列合并，得到第二文本；

根据所述第二文本生成所述第一医疗文本。

进一步，所述行合并的执行方向为从下向上；所述列合并的执行方向为从右向左。

进一步，所述利用所述医疗信息数据库和所述标准文本结构对所述第一医疗文本进行结构化处理及数据映射，生成第二医疗文本这一步骤，包括：

利用所述医疗信息数据库识别所述第一医疗文本中的分隔符；

根据所述分隔符分割所述第一医疗文本，得到分割文本；

利用所述标准文本结构对所述分割文本执行数据映射，得到个人医疗数据；

利用所述医疗信息数据库对所述个人医疗数据进行关联信息挖掘，生成所述第二医疗文本。

进一步，所述利用所述医疗信息数据库和所述程度评估模型对所述第二医疗文本进行区域划分，得到区域划分图像这一步骤，包括：

将所述第二医疗文本输入至所述程度评估模型；

所述程度评估模型获取所述医疗信息数据库中提供的医疗信息对所述第二医疗文本进行估值，得到所述第二医疗文本中文本区域的估值评分；

根据所述估值评分对所述第二医疗文本中的文本区域分别进行级别划分，并使用不同的背景色进行标记，得到所述区域划分图像。

进一步，所述文本区域的级别包括红色、黄色、绿色、蓝色四个级别。

进一步，所述利用所述个人历史信息库对所述个人医疗图像进行疑似关联，得到关联图像这一步骤，包括：

从所述个人历史信息库中获取个人历史医疗图像；

将所述个人历史医疗图像与所述个人医疗图像进行相似度匹配；

根据匹配结果得到所述关联图像并将该图像列入待查队列。

根据本发明实施例的第二方面，一种基于图像处理的智能问诊系统，包括以下模块：

资源获取模块，用于通过智能终端上传图像后，获取个人医疗图像、个人历史信息库、标准文本结构、程度评估模型以及医疗信息数据库；

第一医疗文本生成模块，用于对所述个人医疗图像进行OCR识别生成第一医疗文本；

第二医疗文本生成模块，用于利用所述医疗信息数据库和所述标准文本结构对所述第一医疗文本进行结构化处理及数据映射，生成第二医疗文本；

区域划分模块，用于利用所述医疗信息数据库和所述程度评估模型对所述第二医疗文本进行区域划分，得到区域划分图像；

疑似关联模块，用于利用所述个人历史信息库对所述个人医疗图像进行疑似关联，得到关联图像；

交互显示模块，用于在智能终端上显示所述区域划分图像和所述关联图像。

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如第一方面所述的方法。

本发明的有益效果是：通过对个人医疗图像的处理，实现了对于个人医疗图像中文本的区域划分，同时可以与个人历史信息进行关联，从而辅助医生快速识别有效信息，提高了医生在线问诊的工作效率。

附图说明

为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本方明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1是本发明实施例提供的方法步骤图；

图2是本发明实施例提供的总体流程图；

图3是本发明实施例提供的界面展示图；

图4是本发明实施例提供的模块连接图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明实施例提供了一种基于图像处理的智能问诊方法，该方法可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软体，例如具有图像颜色恒常性处理功能的应用程序等。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。参照图1，该方法包括以下步骤S100～S600：

S100、通过智能终端上传图像后，获取个人医疗图像、个人历史信息库、标准文本结构、程度评估模型以及医疗信息数据库；其中智能终端包括手机、平板、电脑等设备；个人医疗图像可以通过扫描或拍摄纸质医疗文件形成，也可以通过其他途径获取；医疗信息数据库可根据实际场景更新或替换；标准文本结构可以理解为文本模板，可根据实际情况采用一种或多种；个人历史信息库则是根据患者历史上传的信息形成个人数据库；

S200、对个人医疗图像进行OCR识别生成第一医疗文本；

可选地，步骤S200可以通过以下步骤实现：

S201、对个人医疗图像并执行OCR识别，得到初始文本；

S202、对初始文本执行遍历，得到该文本的基础信息；基础信息包括字号信息、不同字号对应的文本信息、间距信息；

S203、根据基础信息对初始文本进行合并，生成第一医疗文本；

可选的，步骤S203可以通过以下步骤实现：

S2031、获取间距信息；间距信息包括行间距信息、列间距信息；

S2032、根据行间距信息对初始文本进行行合并，得到第一文本；行合并的执行方向为从下向上，也可以理解为从文末到文首，如此操作不会因合并导致的文本变化进而遗漏文本信息；在具体执行过程中，可以通过获取上一行文本，根据两行文字的纵向距离与正文的行间距之差、行文字的相对位置，结合文本字号以及文本长度等因素，判断该行是否为上一行内容的延伸；若是则进行行合并操作，优化文本结构；

S2033、根据列间距信息对第一文本进行列合并，得到第二文本；列合并的执行方向为从右向左，如此操作不会因合并导致的文本变化进而遗漏文本信息；在具体执行过程中，可以通过获取相邻的两组文本，通过字号、列间距信息、最大容忍空格数以及是否存在分隔符等因素判断右侧文本是否为左侧文本的延伸；若是则进行列合并操作，优化文本结构；

S2034、根据第二文本生成第一医疗文本；

S300、利用医疗信息数据库和标准文本结构对第一医疗文本进行结构化处理及数据映射，生成第二医疗文本；

可选的，步骤S300可以通过以下步骤实现；

S301、利用医疗信息数据库识别第一医疗文本中的分隔符；

S302、根据分隔符分割第一医疗文本，得到分割文本；

S303、利用标准文本结构对分割文本执行数据映射，得到个人医疗数据；

S304、利用医疗信息数据库对个人医疗数据进行关联信息挖掘，生成第二医疗文本；

S400、利用医疗信息数据库和程度评估模型对第二医疗文本进行区域划分，得到区域划分图像；

可选的，步骤S400可以通过以下步骤实现：

S401、将第二医疗文本输入至程度评估模型；

S402、程度评估模型获取医疗信息数据库中提供的医疗信息对第二医疗文本进行估值，得到第二医疗文本中文本区域的估值评分；

S403、根据估值评分对第二医疗文本中的文本区域分别进行级别划分，并使用不同的背景色进行标记，得到区域划分图像；需要说明的是，文本区域的级别包括红色、黄色、绿色、蓝色四个级别；其中红色代表警告，黄色代表重要信息，绿色代表基本信息，蓝色代表其他信息，医生可以根据文本的背景色及个人可分配的工作时间重点阅读特定区域的内容，方便快速获取可用信息；

S500、利用个人历史信息库对个人医疗图像进行疑似关联，得到关联图像；

可选地，步骤S500可以通过以下步骤实现：

S501、从个人历史信息库中获取个人历史医疗图像；个人历史信息库存储的是患者历史医疗数据，主要为个人历史医疗图像，即历次问诊过程中上传的图像；

S502、将个人历史医疗图像与个人医疗图像进行相似度匹配；

S503、根据匹配结果得到关联图像并将该图像列入待查队列；

S600、在智能终端上显示区域划分图像和关联图像；优选的，关联图像的显示方式主要通过生成链接实现。

参照图2，所示为根据本发明实施例提供的总体流程图，问诊系统开始运行；患者进入问诊系统，并通过智能终端上传个人医疗图像；预约医生进入问诊系统，系统自动向医生提示已上传个人医疗图像的图像类型，可能包括病历记录、治疗记录、检查影像、检验报告单、脑电心电超声、内镜报告、病理报告、放射报告等；系统对图像内容进行处理，即通过OCR识别、结构化处理、数据映射等一系列步骤，并最终按照颜色区别显示文本，从而展示不同文本区域的重要程度；通过调用个人历史信息库对已上传的个人医疗图像进行疑似关联，将获取的疑似个人历史医疗图像生成查看链接，并发送至聊天界面，医生可以点击查看；医生根据上述辅助信息快速查阅有关患者病情的重要信息并作出医疗建议告知患者；问诊系统结束运行。

参照图3，所示为根据本发明实施例提供的界面展示图，图中显示的问诊人为宋XX，系统对其上传的个人医疗图像A进行处理后生成图像文字解析栏，依次包括红色、黄色、绿色、蓝色四个区域，红色区域显示的是提示医生需要注意的事项，图中展示了问诊人与报告人不同、报告时间已生成超过3个月两个问题，其他不符合常理或需要特别注意的信息会根据实际场景进行体现；黄色区域显示的是根据该报告获取的直接相关的历史诊断意见；绿色区域显示的是患者的个人信息；蓝色区域显示的是出具报告的医院相关信息；根据上述信息，当医生的工作比较忙碌时，通过该系统可以快速识别个人医疗图像中的重要文本区域，医生只要重点关注红色及黄色区域内容即可，有效提高了工作效率；图中最下面展示的是根据已上传图像自动识别关联的疑似图像，并同步生成可点击的查询链接。

参照图4，所示为根据本发明实施例提供的模块连接图，包括以下模块：

资源获取模块401，用于通过智能终端上传图像后，获取个人医疗图像、个人历史信息库、标准文本结构、程度评估模型以及医疗信息数据库；

第一医疗文本生成模块402，与资源获取模块401连接实现交互，用于对个人医疗图像进行OCR识别生成第一医疗文本；

第二医疗文本生成模块403，分别与资源获取模块401、第一医疗文本生成模块402连接实现交互，用于利用医疗信息数据库和标准文本结构对第一医疗文本进行结构化处理及数据映射，生成第二医疗文本；

区域划分模块404，分别与资源获取模块401、第二医疗文本生成模块403连接实现交互，用于利用医疗信息数据库和程度评估模型对第二医疗文本进行区域划分，得到区域划分图像；

疑似关联模块404，与资源获取模块401连接实现交互，用于利用个人历史信息库对个人医疗图像进行疑似关联，得到关联图像；

交互显示模块406，分别与区域划分模块404、疑似关联模块404连接实现交互，用于在智能终端上显示区域划分图像和关联图像。

图1所示的方法实施例中的内容均适用于本系统实施例中，并且达到的有益效果与图1所示的方法实施例所达到的有益效果也相同。

可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。