图像处理系统、摄像设备、图像处理设备、电子装置及其控制方法和存储控制方法的存储介质
阅读说明:本技术 图像处理系统、摄像设备、图像处理设备、电子装置及其控制方法和存储控制方法的存储介质 (Image processing system, image capturing apparatus, image processing apparatus, electronic device, control method thereof, and storage medium storing the control method ) 是由 后藤敦司 杉本乔 川合良和 日高与佐人 黑田友树 于 2019-05-28 设计创作,主要内容包括:提供一种改善对患部区域的评价中的用户友好性的图像处理系统。图像处理系统包括摄像设备和图像处理设备,该摄像设备接收来自被摄体的光以生成图像数据并且将生成的图像数据输出到通信网络,该图像处理设备经由通信网络获取图像数据,从所获取的图像数据中提取被摄体的特定区域,并且将指示所提取的特定区域的提取结果的信息输出到通信网络。摄像设备中的显示部件基于经由通信网络获取的指示特定区域的提取结果的信息进行显示。(Provided is an image processing system which improves user friendliness in evaluation of an affected area. An image processing system includes an image pickup apparatus that receives light from a subject to generate image data and outputs the generated image data to a communication network, and an image processing apparatus that acquires the image data via the communication network, extracts a specific region of the subject from the acquired image data, and outputs information indicating an extraction result of the extracted specific region to the communication network. A display section in the image pickup apparatus performs display based on information indicating an extraction result of the specific region acquired via the communication network.)
技术领域
本发明涉及从图像评价被摄体的特定区域的技术。
背景技术
在人或动物躺下的状态下,身体与身体下方的地板、席子或垫子之间的接触区域被体重压缩。
如果继续同一姿势,则在地板与身体之间的接触区域中发生血管功能不全,从而导致周围组织坏死。发生组织坏死的状态被称为褥疮或溃疡。有必要向经受褥疮的患者给予褥疮护理,诸如身体压力分散和皮肤护理等,以定期评价和管理褥疮。
褥疮大小的测量已知为评价褥疮的一种方法。
例如,如非专利文献1中所述,由日本褥疮学会学术教育委员会开发的褥疮的评价指标的DESIGN-R(注册商标)作为在评价中使用褥疮的大小的示例而众所周知。
DESIGN-R(注册商标)是用以评价创口(诸如褥疮等)的治愈过程的工具。该工具由以下评价项的首字母命名:深度(Depth)、渗出液(Exudate)、大小(Size)、炎症/感染(Inflammation/infection)、肉芽组织(Granulation)和坏死组织(Necrotic tissue)。除了以上的评价项之外,在评价项中还包括囊,但是在名称中未使用囊的首字母。
DESIGN-R(注册商标)被分类成两组,一组用于严重等级的分类以用于进行日常且简单的评价,另一组用于详细指示治愈过程的流程的过程评价。在用于严重等级的分类的DESIGN-R(注册商标)中,六个评价项被分类为两种:轻度和重度。使用小写字母表示轻度评价项,以及使用大写字母表示重度评价项。
在初始治疗中,使用用于严重等级的分类的DESIGN-R(注册商标)的评价使得能够掌握褥疮的粗略状态。由于揭示了有问题的项,因此能够容易地确定治疗策略。
除了过程评价之外、还能够比较患者之间的严重等级的DESIGN-R(注册商标)也被定义为用于过程评价的DESIGN-R(注册商标)。这里,R表示评级(评价和评级)。将不同的权重添加到相应的项并且排除深度的六个项的权重的总和(0点至66点)表示褥疮的严重等级。利用DESIGN-R(注册商标),可以在开始治疗之后客观地详细评价疗程,以使得除了评价个体的疗程之外,还能够比较患者之间的严重等级。
在DESIGN-R(注册商标)的大小的评价中,测量皮肤损伤范围的长轴长度(cm)和短轴长度(与长轴长度正交的最大直径)(cm)并且将作为通过将长轴长度乘以短轴长度而得到的数值的大小分类为七个级别。这七个级别包括s0:无皮肤损伤,s3:低于四,s6:不低于四且低于16,s8:不低于16且低于36,s9:不低于36且低于64,s12:不低于64且低于100,以及s15:不低于100。
当前,褥疮的大小的评价经常基于使用测量的患部区域的手动测量所得到的值。具体地,测量皮肤损伤范围内的两个点之间的最大直线距离,并且将所测量的距离用作长轴长度。将与长轴长度正交的长度用作短轴长度,并且通过将长轴长度乘以短轴长度得到的值设置为褥疮的大小。
现有技术文献
非专利文献
非专利文献1:照林社的《褥疮的预防和管理指南JSPU(第四版)》(由日本褥疮学会所编,国际标准书号(ISBN)-13 978-4796523608)的第23页的《褥疮指南(第二版)》
然而,褥疮通常具有复杂的形状,并且需要在手动评价褥疮的大小时调整测量的使用。由于需要至少进行两次上述工作以测量长轴长度和短轴长度,因此花费时间并且需要繁重的工作量。另外,由于在工作期间需要被评价褥疮的患者保持同一姿势,因此认为手动评价褥疮的大小给患者带来了沉重的负担。
建议每周或每两周以DESIGN-R(注册商标)进行一次评级,并且需要重复进行测量。另外,被判断为褥疮的长轴长度的位置可能依手动测量中的个体而变化,并且难以确保测量的精度。
尽管以上描述了基于DESIGN-R(注册商标)进行褥疮评价的示例,但是以上描述不限于DESIGN-R(注册商标)的情况,无论测量褥疮的大小的方法如何,都会出现同样的问题。需要进行多个位置的手动测量以计算褥疮的面积,因而产生了工作量。
作为另一个问题,褥疮的评价项除了包括被测量的大小的评价项之外,还包括期望在视觉上判断的评价项。由评价者在观看所拍摄的图像数据的同时随后将应当在视觉上判断的评价项输入到电子健康记录或纸质介质上。在这种情况下,由于指示大小的信息所用的输入装置不同于用于其它信息的输入装置,因此使输入操作复杂且可能发生遗漏。
这些问题不限于褥疮,并且对于身体表面上的患部区域(诸如烧伤或裂伤),也会发生同样的问题。
发明内容
本发明的一方面的图像处理系统,包括:摄像设备和图像处理设备,其特征在于,所述摄像设备包括:摄像部件,用于接收来自被摄体的光以生成图像数据,第一通信部件,用于将所述图像数据输出到通信网络,以及显示部件,用于显示基于所述摄像部件所生成的图像数据的图像,所述图像处理设备包括:第二通信部件,用于经由所述通信网络获取所述图像数据,以及运算部件,用于从所述图像数据中提取所述被摄体的特定区域,所述第二通信部件将指示所述运算部件所提取的所述特定区域的提取结果的信息输出到所述通信网络,所述第一通信部件经由所述通信网络获取指示所述特定区域的提取结果的信息,以及所述显示部件基于指示所述特定区域的提取结果的信息进行显示。
本发明的另一方面的摄像设备,包括:摄像部件,用于接收来自被摄体的光以生成图像数据;通信部件,用于经由通信网络将所述图像数据输出到外部设备;以及显示部件,用于显示基于所述摄像部件所生成的图像数据的图像,其特征在于,所述通信部件经由所述通信网络从所述外部设备获取指示所述图像数据中的所述被摄体的特定区域的提取结果的信息,以及所述显示部件基于指示所述特定区域的提取结果的信息进行显示。
本发明的另一方面的图像处理设备,包括:通信部件,用于经由通信网络从摄像设备获取图像数据和与所述图像数据中包括的被摄体相对应的距离信息;以及运算部件,用于从所述图像数据中提取所述被摄体的特定区域并且基于所述距离信息计算所述特定区域的大小,其特征在于,所述通信部件经由所述通信网络将指示所述运算部件所提取的所述特定区域的提取结果的信息和指示所述大小的信息输出到所述摄像设备。
本发明的另一方面的摄像设备,包括:摄像部件,用于接收来自摄像设备被摄体的光以生成图像数据;控制部件,用于获取所述图像数据中的所述被摄体的特定区域的提取结果;以及接口部件,用于使用户输入所述被摄体的特定区域中的预定的多个评价项的评价值,其特征在于,所述控制部件将输入的所述多个评价项的评价值与所述图像数据相关联。
本发明的另一方面的电子装置,其特征在于,包括:通信部件,用于经由通信网络获取由摄像设备生成的图像数据和指示用户利用所述摄像设备输入的针对所述图像数据中的被摄体的患部区域的多个评价项的评价值的信息;以及控制部件,用于使显示部件显示基于所述图像数据的图像和所述多个评价项的评价值。
附图说明
图1是示意性地示出根据第一实施例的图像处理系统的图。
图2是示出图像处理系统中包括的摄像设备的硬件结构的示例的图。
图3是示出图像处理系统中包括的图像处理设备的硬件结构的示例的图。
图4是示出根据第一实施例的图像处理系统的操作的工作流程图。
图5是用于描述如何计算区域的面积的图。
图6A是用于描述包括患部区域的图像数据的图。
图6B是用于描述如何将指示患部区域的提取结果的信息和指示患部区域的大小的信息叠加在图像数据上的图。
图7A是用于描述将指示患部区域的提取结果的信息和包括患部区域的长轴长度和短轴长度并且指示患部区域的大小的信息叠加在图像数据上的方法的图。
图7B是用于描述将指示患部区域的提取结果的信息和包括患部区域的长轴长度和短轴长度并且指示患部区域的大小的信息叠加在图像数据上的另一方法的图。
图7C是用于描述将指示患部区域的提取结果的信息和包括患部区域的长轴长度和短轴长度并且指示患部区域的大小的信息叠加在图像数据上的另一方法的图。
图8A是用于描述使用户输入与患部区域的部位有关的信息的方法的图。
图8B是用于描述使用户输入与患部区域的部位有关的信息的方法的图。
图8C是用于描述使用户输入与患部区域的评价值有关的信息的方法的图。
图8D是用于描述使用户输入与患部区域的评价值有关的信息的方法的图。
图8E是用于描述使用户输入与患部区域的评价值有关的信息的方法的图。
图8F是用于描述使用户输入与患部区域的部位有关的信息的另一方法的图。
图8G是用于描述使用户输入与患部区域的部位有关的信息的另一方法的图。
图9是示出根据第二实施例的图像处理系统的操作的工作流程图。
图10是示意性地示出根据第三实施例的图像处理系统的图。
图11是示出根据第三实施例的图像处理系统的操作的工作流程图。
图12A是用于描述显示与获取了评价值的患部区域的部位有关的信息的方法的图。
图12B是用于描述显示与获取了的患部区域的评价值有关的信息的方法的图。
图13是用于描述在终端设备的浏览器中显示的数据选择窗口的示例的图。
图14是用于描述在终端设备的浏览器中显示的数据浏览窗口的示例的图。
图15是示出根据第三实施例的图像处理系统的操作的变形例的工作流程图。
具体实施方式
实施例的目的是改善被摄体的特定区域的评价的用户友好性。
这里将参考附图详细描述本发明的典型实施例。
(第一实施例)
现在将参考图1至图3说明根据本发明的实施例的图像处理系统。图1是示意性地示出根据第一实施例的图像处理系统1的图。摄像系统1由作为便携式手持装置的摄像设备200、和图像处理设备300组成。在本实施例中,将被摄体101的患部区域102的临床状况的示例描述为臀部上的褥疮。
在根据本发明实施例的图像处理系统1中,摄像设备200拍摄被摄体101的患部区域102,获取被摄体距离,并且将数据发送到图像处理设备300。图像处理设备300从接收到的图像数据中提取患部区域,基于包括被摄体距离的信息来测量图像数据的每一个像素的面积,并且根据患部区域102的提取结果和每一个像素的面积来测量患部区域102的面积。尽管在本实施例中描述了患部区域102是褥疮的示例,但是患部区域102不限于此,并且可以是烧伤或裂伤。
图2是示出包括在图像处理系统1中的摄像设备200的硬件结构的示例。例如,普通的单镜头照相机、紧凑型数字照相机、或者设置有具有自动调焦功能的照相机的智能电话或平板计算机可以用作摄像设备200。
摄像单元211包括透镜组212、快门213和图像传感器214。改变包括在透镜组212中的多个透镜的位置使得调焦位置和变焦倍率能够变化。透镜组212还包括用于调节曝光量的光阑。
图像传感器214由电荷存储型固态图像传感器(诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器等)组成,其将光学图像转换成图像数据。通过了透镜组212和快门213的来自被摄体的反射光在图像传感器214上形成图像。图像传感器214生成与被摄体图像相对应的电信号,并且基于电信号输出图像数据。
快门213通过打开和关闭快门挡板构件进行图像传感器214的曝光和遮光以控制图像传感器214的曝光时间。代替快门213,可以使用响应于图像传感器214的驱动来控制曝光时间的电子快门。当使用CMOS传感器操作电子快门时,进行复位处理以针对各像素或针对由多个像素构成的各区域(例如,针对各行)将像素的电荷的累积设置为零。然后,针对进行复位处理的各像素或区域,在预定时间之后进行扫描处理以读出与电荷累积相对应的信号。
变焦控制电路215控制用于驱动透镜组212中包括的变焦透镜的马达(未示出)以控制透镜组212的光学倍率。透镜组212可以是不具有变焦功能的单调焦透镜组。在这种情况下,不需要设置变焦控制电路215。
测距系统216计算到被摄体的距离信息。安装在单镜头反光照相机中的一般的相位差型测距传感器可以用作测距系统216,或者使用飞行时间(TOF)传感器的系统可以用作测距系统216。TOF传感器是基于发送照射波的定时与接收到由来自物体的照射波的反射产生的反射波的定时之间的时间差(或相位差)来测量到物体的距离的传感器。另外,例如,使用PSD作为光电检测器的位置敏感装置(PSD)方法可以用于测距系统。
可选地,图像传感器214可以具有如下的结构,该结构针对各像素包括多个光电转换区域,并且在该结构中与包括在共同的像素中的多个光电转换区域相对应的光瞳位置变化。利用该结构,测距系统216能够根据从图像传感器214输出并且从与各个光瞳区域相对应的光电转换区域获取的图像之间的相位差来计算针对各像素或者针对各区域位置的距离信息。
测距系统216可以具有计算图像中的预定的一个或多个测距区域中的距离信息的结构,或者可以具有获取指示图像中的多个像素或区域中的距离信息的分布的距离图的结构。
可选地,测距系统216可以进行提取图像数据的射频分量以用于积分并且确定具有最大积分值的调焦透镜的位置的TV自动调焦(AF)或对比度AF,以根据调焦透镜的位置计算距离信息。
图像处理电路217对从图像传感器214输出的图像数据进行预定图像处理。图像处理电路217对从摄像单元211输出的图像数据或记录在内部存储器221中的图像数据进行诸如白平衡调整、伽马校正、颜色插值、去马赛克和滤波等的各种图像处理。另外,图像处理电路217根据例如联合图像专家组(JPEG)标准对进行了图像处理的图像数据进行压缩处理。
AF控制电路218基于在测距系统216中计算出的距离信息来确定包括在透镜组202中的调焦透镜的位置,以控制用于驱动调焦透镜的马达。
通信单元219是摄像设备200通过无线通信网络(未示出)与外部装置(诸如图像处理设备300等)通信所用的无线通信模块。网络的具体示例是基于Wi-Fi标准的网络。使用Wi-Fi的通信可以使用路由器来实现。通信单元219可以通过诸如通用串行总线(USB)或局域网(LAN)等的有线通信接口来实现。
系统控制电路220包括中央处理单元(CPU),并且根据存储在内部存储器221中的程序控制摄像设备200中的各个块以控制整个摄像设备200。另外,系统控制电路220控制摄像单元211、变焦控制电路215、测距系统216、图像处理电路217、以及AF控制电路218等。代替CPU,系统控制电路220可以使用现场可编程门阵列(FPGA)、或专用集成电路(ASIC)等。
内部存储器221由诸如闪速存储器或同步动态随机存取存储器(SDRAM)等的可重写存储器组成。内部存储器221临时存储摄像设备200的操作所必需的包括与图像拍摄中的焦点和变焦倍率有关的信息的各种设置信息、摄像单元211所拍摄的图像数据,以及进行了图像处理电路217中的图像处理的图像数据。例如,内部存储器221可以临时记录由通信单元219通过与图像处理设备300的通信接收到的图像数据和包括指示被摄体的大小的信息的分析数据。
外部存储器接口(I/F)222是与能够装载在摄像设备200中的非易失性存储介质(诸如安全数字(SD)卡或紧凑型闪存(CF)卡等)的接口。外部存储器I/F 222将在图像处理电路217中处理的图像数据和由通信单元219通过与图像处理设备300通信所接收到的图像数据、和分析数据等记录在能够装载在摄像设备200中的存储介质上。外部存储器I/F 222可以读出记录在能够装载在摄像设备200中的存储介质上的图像数据,并且可以在回放中将读出的图像数据输出到摄像设备的外部。
显示单元223是由例如薄膜晶体管(TFT)液晶显示器、有机电致发光(El)显示器或电子取景器(EVF)组成的显示器。显示单元223显示基于临时存储在内部存储器221中的图像数据的图像、基于存储在能够装载在摄像设备中的存储介质中的图像数据的图像、以及摄像设备10的设置画面等。
操作构件224例如由设置在摄像设备200上的按钮、开关、键和模式拨盘或者也用作显示单元223的触摸面板构成。来自用户的例如用以设置模式或指示拍摄的指示通过操作构件224被提供给系统控制电路220。
摄像单元211、变焦控制电路215、测距系统216、图像处理电路217、AF控制电路218、通信单元219、系统控制电路220、内部存储器221、外部存储器I/F 222、显示单元223和操作构件224连接到公共总线225。公共总线225是用于在各个块之间发送和接收信号的信号线。
图3是示出包括在图像处理系统1中的图像处理设备300的硬件结构的示例的图。图像处理设备300包括由CPU组成的运算单元311、存储单元312、通信单元313、输出单元314和辅助运算单元317。存储单元312由主存储单元315(例如,只读存储器(ROM)或随机存取存储器(RAM))和辅助存储单元316(例如,磁盘驱动器或固态驱动器(SSD))组成。
通信单元313被构成为用于经由通信网络与外部装置通信的无线通信模块。输出单元314将在运算单元311中处理的数据和存储在存储单元312中的数据输出到与图像处理设备300连接的显示器、打印机或外部网络。
辅助运算单元317是在运算单元311的控制下使用的用于辅助运算操作的集成电路(IC)。图形处理单元(GPU)可以用作辅助运算单元的示例。由于GPU包括多个积和运算符并且在矩阵计算方面优异,因此尽管GPU最初是用于图像处理的处理器,但是GPU也经常被用作进行信号学习处理的处理器。GPU通常用于深度学习处理。例如,由NVIDIA公司制造的Jetson TX2模块可以用作辅助运算单元317。FPGA或ASIC可以用作辅助运算单元317。辅助运算单元317从图像数据中提取被摄体101的患部区域102。
运算单元311能够通过执行存储在存储单元312中的程序来实现包括用于计算由辅助运算单元317提取的患部区域102的大小和长度的运算处理的各种功能。另外,运算单元311控制进行各个功能的顺序。
图像处理设备300可以包括一个运算单元311和一个存储单元312或者多个运算单元311和多个存储单元312。换句话说,当至少一个处理单元(CPU)连接到至少一个存储单元并且至少一个处理单元执行存储在至少一个存储单元中的程序时,图像处理设备300进行下面描述的功能。代替CPU,FPGA或ASIC等可以用作运算单元311。
图4是示出根据第一实施例的图像处理系统1的操作的工作流程图。参考图4,步骤由S表示。即,步骤401用S401表示。这同样适用于以下描述的图9、图11和图15。
在图4的工作流程图中,由摄像设备200进行步骤401至步骤420,并且由图像处理设备300进行步骤431、步骤441至步骤445以及步骤451至步骤456。
首先,摄像设备200和图像处理设备300连接至符合Wi-Fi标准的网络(未示出),Wi-Fi标准是无线LAN标准。在步骤431中,图像处理设备300进行图像处理设备300要连接的摄像设备200的搜索处理。在步骤401中,摄像设备200进行响应于搜索处理的响应处理。例如,通用即插即用(UPnP)被用作通过网络搜索装置的技术。在UPnP中,使用通用唯一标识符(UUID)来识别各个设备。
响应于摄像设备200连接到图像处理设备300,在步骤402中,摄像设备200开始实时取景处理。摄像单元211生成图像数据,并且图像处理电路217将生成实时取景显示所用的图像数据所需的显像处理应用于图像数据。重复这些处理使得在显示单元223中显示特定帧频的实时取景视频。
在步骤403中,测距系统216使用上述任何方法计算与被摄体有关的距离信息,并且AF控制电路218开始AF处理以驱动和控制透镜组212,使得被摄体被聚焦。当使用TV-AF或对比度AF调整焦点时,计算从处于聚焦状态的调焦透镜的位置到被聚焦的被摄体101的距离信息。要聚焦的位置可以是位于图像数据的中央的被摄体或者存在于最接近摄像设备200的位置处的被摄体。当获取被摄体的距离图时,可以根据距离图估计目标区域,并且调焦透镜可以聚焦于该位置。可选地,当通过图像处理设备300识别实时取景图像上的褥疮102的位置时,调焦透镜可以聚焦于实时取景图像上的褥疮的位置。摄像设备200重复地进行实时取景视频的显示和AF处理,直到在步骤410中检测到释放按钮的按下为止。
在步骤404中,图像处理电路217对用于实时取景所拍摄的任何图像数据进行显像处理和压缩处理,以例如生成符合JPEG标准的图像数据。然后,图像处理电路217对进行了压缩处理的图像数据进行大小调整处理,以减小图像数据的大小。
在步骤405中,通信单元219获取在步骤404中进行了大小调整处理的图像数据和在步骤403中计算出的距离信息。另外,通信单元219获取与变焦倍率有关的信息和与进行了大小调整处理的图像数据的大小(像素的数量)有关的信息。当摄像单元211具有单焦点而无变焦功能时,不需要获取与变焦倍率有关的信息。
在步骤406中,通信单元219通过无线通信将在步骤405中获取的图像数据以及包括距离信息的至少一个信息发送到图像处理设备300。
由于随着要发送的图像数据的大小的增加进行无线通信花费更长的时间,因此考虑所允许的通信时间来确定步骤405中的大小调整处理之后的图像数据的大小。然而,由于如果图像数据具有过度减小的大小,则由图像处理设备300在下述步骤433中进行的患部区域的提取的精度受到影响,因此除了通信时间之外,还需要考虑患部区域的提取的精度。
步骤404至步骤406可以针对各帧进行,或者可以每若干帧进行一次。
操作进行到由图像处理设备300进行的步骤的描述。
在步骤441中,图像处理设备300中的通信单元313接收从摄像设备200中的通信单元219发送的图像数据和包括距离信息的至少一个信息。
在步骤442中,图像处理设备300中的运算单元311和辅助运算单元317从在步骤441中接收到的图像数据中提取被摄体101的患部区域102。作为提取患部区域102的方法,进行使用深度学习的语义分割。具体地,使得用于学习的高性能计算机(未示出)预先使用多个实际褥疮图像作为教导数据来学习神经网络模型,从而生成学习模型。辅助运算单元317从高性能计算机接收所生成的学习模型,并且基于学习模型从图像数据估计作为患部区域102的褥疮的区域。应用作为使用深度学习的分割模型的全卷积网络(FCN)来作为神经网络模型的示例。这里,深度学习的推断由在积和运算的并行执行方面优异的辅助运算单元317来处理。推断处理可以利用FPGA或ASIC进行。可以使用其它深度学习模型来实现区域分割。分割方法不限于深度学习,并且例如,图形剪切、区域增长、边缘检测、或划分和限制等可以用作分割方法。另外,可以在辅助运算单元317中进行使用褥疮的图像作为教导数据的神经网络模型的学习。
在步骤443中,运算单元311计算患部区域102的面积作为指示由辅助运算单元317提取的患部区域102的大小的信息。
图5是用于描述如何计算患部区域102的面积的图。作为一般照相机的摄像设备200能够被处理为图5所示的针孔模型。入射光501穿过透镜212a的主点并且在图像传感器214的摄像面上被接收。当透镜组212近似为薄的单个透镜212a时,认为前侧的主点与后侧的主点一致。调整透镜212的焦点从而在图像传感器214的平面上形成图像,使得摄像设备能够聚焦于被摄体504。改变作为从摄像面到透镜的主点的距离的焦距502,改变视角503以改变变焦倍率。此时,根据摄像设备的视角503和被摄体距离505之间的关系,几何地确定焦平面上的被摄体的宽度506。使用三角函数计算被摄体的宽度506。具体地,基于随焦距502变化的视角503和被摄体距离505之间的关系来确定被摄体的宽度506。被摄体的宽度506的值除以图像数据的各行上的像素的数量,以计算与图像数据上的一个像素相对应的焦平面上的长度。
因此,运算单元311将患部区域102的面积计算为所提取区域中的像素的数量与一个像素的面积的乘积,其中所提取区域是从步骤442的患部区域的提取结果中获取的,以及一个像素的面积是从与图像上的一个像素相对应的焦平面上的长度获取的。可以预先计算与图像上的一个像素相对应的焦平面上的长度(其对应于焦距502和被摄体距离505的组合)以作为表数据来准备。图像处理设备300可以预先存储与摄像设备200相对应的表数据。
为了使用以上方法准确地计算患部区域102的面积,假设被摄体504是平面并且该平面垂直于光轴。如果在步骤441中接收的距离信息是在图像数据中的多个位置处的距离信息或距离图,则可以检测被摄体的深度方向上的倾斜或变化,以基于检测到的倾斜或变化来计算面积。
在步骤444中,运算单元311生成通过将指示患部区域102的提取结果的信息和指示患部区域102的大小的信息叠加在用于提取患部区域102的图像数据上而得到的图像数据。
图6A和图6B是示出如何将指示患部区域102的提取结果的信息和指示患部区域102的大小的信息叠加在图像数据上的图。图6A中的图像601是使用叠加处理之前的图像数据显示的图像,并且包括被摄体101和患部区域102。图6B中的叠加图像602是基于叠加处理后的图像数据的图像。图6A和图6B指示患部区域102靠近臀部。
运算单元311在叠加图像602的左上角叠加标记611。以黑色背景白色字符在标记611上显示指示患部区域102的面积值的字符串612,作为指示患部区域102的大小的信息。
标记611上的背景颜色和字符串的颜色分别不限于黑色和白色,只要背景和字符串容易看到即可。可以设置透过量,并且可以对设置的透过量进行α混合以使得能够确认叠加有标记的部分。
另外,将在步骤442中提取的指示患部区域102的估计区域的指标613叠加在叠加图像602上。在存在估计区域的位置处进行指示估计区域的指标613和图像601所基于的图像数据的α混合以用于叠加使得用户能够确认患部区域的面积所基于的估计区域是否适当。指示估计区域的指标613的颜色不期望等于被摄体的颜色。期望α混合的透过率在能够识别估计区域并且还能够确认原始患部区域102的范围内。由于当叠加指示患部区域102的估计区域的指标613时,用户能够在不显示标记611的情况下确认估计区域是否适当,因此可省略步骤443。
在步骤445中,图像处理设备300中的通信单元313将指示所提取的患部区域102的提取结果的信息和指示患部区域102的大小的信息发送到摄像设备200。在本实施例中,通信单元313通过无线通信将在步骤步骤444中生成的包括指示患部区域102的大小的信息的图像数据发送到摄像设备200。
操作返回到由摄像设备200进行的步骤的描述。
在步骤407中,摄像设备200中的通信单元219接收包括指示患部区域102的大小的信息并且是在图像处理设备300中新生成的任何图像数据。
在步骤408中,如果在步骤407中接收到包括指示患部区域102的大小的信息的图像数据,则系统控制电路220进入步骤409,否则,进入步骤410。
在步骤409中,显示单元223在特定时间段内显示步骤407中接收到的包括指示患部区域102的大小的信息的图像数据。这里,显示单元223显示图6B所示的叠加图像602。以上述方式将指示患部区域102的提取结果的信息叠加在实时取景图像上使得用户能够在用户确认患部区域的面积和估计区域是否适当之后进行拍摄。尽管在本实施例中描述了显示指示患部区域102的估计区域的指标613和与患部区域102的大小有关的信息的示例,但是可以显示指示患部区域102的估计区域的指标613和与患部区域102的大小有关的信息中的任一个。
在步骤410中,系统控制电路220判断是否按下了包括在操作构件224中的释放按钮。如果未按下释放按钮,则摄像设备200返回到步骤404。如果按下了释放按钮,则摄像设备进入步骤411。
在步骤411中,测距系统216计算与被摄体有关的距离信息,并且AF控制电路218使用与步骤403中相同的方法来进行AF处理以驱动和控制透镜组212,使得被摄体被聚焦。如果已从实时取景图像中提取了患部区域102,则测距系统216计算存在患部区域102的位置处的与被摄体有关的距离信息。
在步骤412中,摄像设备200拍摄静止图像。
在步骤413中,图像处理电路217对在步骤412中生成的图像数据进行显像处理和压缩处理,以生成例如符合JPEG标准的图像数据。然后,图像处理电路217对进行了压缩处理的图像数据进行大小调整处理,以减小图像数据的大小。在步骤413中进行了大小调整处理的图像数据的大小等于或大于在步骤404中进行大小调整处理的图像数据的大小。这是因为优先考虑患部区域102的测量精度。这里,以4位RGB颜色用1440像素×1080像素将图像数据大小调整为约4.45兆字节。大小调整后图像数据的大小不限于此。可选地,操作可以在不进行大小调整处理的情况下使用所生成的符合JPEG标准的图像数据进入后续步骤。
在步骤414中,通信单元219获取在步骤413中生成的且进行了大小调整处理(或者未进行大小调整处理)的图像数据以及在步骤411中计算出的距离信息。另外,通信单元219还获取与变焦倍率有关的信息和与进行了大小调整处理的图像数据的大小(像素的数量)有关的信息。当摄像单元211具有单焦点而无变焦功能时,不需要获取与变焦倍率有关的信息。当图像处理设备300预先具有与图像数据的大小有关的信息时,不需要获取与图像数据有关的信息。
在步骤415中,通信单元219通过无线通信将在步骤414中获取的图像数据和包括距离信息的至少一个信息发送到图像处理设备300。
操作进入由图像处理设备300进行的步骤的描述。
在步骤451中,图像处理设备300中的通信单元313接收从摄像设备200中的通信单元219发送的图像数据和包括距离信息的至少一个信息。
在步骤452中,图像处理设备300中的运算单元311和辅助运算单元317从在步骤步骤441中接收到的图像数据中提取被摄体101的患部区域102。由于该步骤的详情与步骤442相同,因此这里省略步骤452的详细描述。
在步骤453中,运算单元311计算患部区域102的面积作为指示由辅助运算单元317提取的患部区域102的大小的信息的示例。由于该步骤的详情与步骤443相同,因此这里省略步骤453的详细描述。
在步骤454中,运算单元311进行图像分析,以基于在步骤453中计算出的与图像上的一个像素相对应的焦平面上的长度来计算所提取的患部区域的长轴长度和短轴长度以及围绕患部区域的外接矩形的面积。作为褥疮的评价指标的DESIGN-R(注册商标)定义了褥疮的大小是通过测量长轴长度和短轴长度的乘积的值所计算出的。在本发明的图像处理系统中,对长轴长度和短轴长度的分析使得能够确保与以DESIGN-R(注册商标)测量的数据的兼容性。由于在DESIGN-R(注册商标)中未提供严格的定义,因此考虑计算长轴长度和短轴长度的多个数学方法。
作为计算长轴长度和短轴长度的方法的一个示例,首先,运算单元311计算围绕患部区域102的外接矩形中的作为具有最小面积的矩形的最小边界矩形。然后,运算单元311计算该矩形的长边和短边的长度。将长边的长度计算为长轴长度,以及将短边的长度计算为短轴长度。然后,运算单元311基于在步骤453中计算出的与图像上的一个像素相对应的焦平面上的长度来计算该矩形的面积。
作为计算长轴长度和短轴长度的方法的另一示例,可以选择作为最大卡尺长度的最大Feret直径(费雷直径)作为长轴长度并且可以选择最小Feret直径作为短轴长度。可选地,可以选择作为最大卡尺长度的最大Feret直径作为长轴长度,并且可以选择在与最大Feret直径的轴正交的方向上测量的长度作为短轴长度。可以基于与现有技术中的测量结果的兼容性来任意选择计算长轴长度和短轴长度的方法。
对在步骤441中接收到的图像数据不进行患部区域102的长轴长度和短轴长度以及矩形的面积的计算。由于预期在实时取景期间由用户确认患部区域102的提取结果,因此省略步骤454中的图像分析的步骤以减少处理时间。
当在不基于DESIGN-R(注册商标)评价大小的情况下预期获取与褥疮的实际面积有关的信息时,可以省略步骤454。在这种情况下,假定在随后的步骤中不存在与作为DESIGN-R(注册商标)中的评价项的大小有关的信息。
在步骤455中,运算单元311生成根据将指示患部区域102的提取结果的信息和指示患部区域102的大小的信息叠加在用作患部区域102的提取对象的图像数据上而得到的图像数据。
图7A至图7C是用于描述将指示患部区域102的提取结果的信息和指示患部区域的大小的信息(包括患部区域102的长轴长度和短轴长度)叠加在图像数据上的方法的图。由于考虑到指示患部区域102的大小的多个信息,因此分别描述图7A中的叠加图像701、图7B中的叠加图像702和图7C中的叠加图像703。
在图7A的叠加图像701的情况下,使用最小边界矩形作为计算长轴长度和短轴长度的方法。在叠加图像701的左上角叠加标记611。与图6B同样地,在标记611上以黑色背景白色字符显示指示患部区域102的面积值的字符串612,作为指示患部区域102的大小的信息。另外,在叠加图像701的右上角叠加标记712。基于最小边界矩形计算出的长轴长度和短轴长度作为指示患部区域102的大小的信息显示在标记712上。字符串713指示长轴长度(cm),并且字符串714指示短轴长度(cm)。在叠加图像701上的患部区域102的周围显示表示最小边界矩形的矩形框715。将矩形框715与长轴长度和短轴长度叠加使得用户能够确认图像中的正在测量长度的位置。
另外,在叠加图像701的右下角叠加比例条716。比例条716用于测量患部区域102的大小,并且图像数据上的比例条的大小随着距离信息而变化。具体地,比例条716是如下的条,在该条上,基于在步骤步骤453中计算出的与图像上的一个像素相对应的焦平面上的长度,以1cm为单位指示从0cm至5cm的比例标记,并且该条与摄像设备的焦平面上(即被摄体上)的大小相匹配。用户能够参考比例条知道被摄体或患部区域的近似大小。
此外,在叠加图像701的左下角叠加上述DESIGN-R(注册商标)的大小的评价值。DESIGN-R(注册商标)的大小的评价值基于通过测量皮肤损伤范围的长轴长度(cm)和短轴长度(与长轴长度正交的最大直径)(cm)并且将长轴长度乘以短轴长度得到的值而分类为上述七个级别。在本实施例中,叠加通过使用该计算方法输出的值来替换长轴长度和短轴长度所得到的评价值。
在图7B中的叠加图像702的情况下,最大Feret直径521用作长轴长度,并且最小Feret直径522用作短轴长度。在被叠加图像702的右上角叠加标记722。在标记722上显示长轴长度字符串723和短轴长度字符串724。另外,在叠加图像702的患部区域102中显示与最大Feret直径521的测量位置相对应的辅助线725和与最小Feret直径522相对应的辅助线726。将辅助线与长轴长度和短轴长度叠加使得用户能够确认图像中的正在测量长度的位置。
图7C中的叠加图像703在长轴长度上与叠加图像702相同。然而,短轴长度不是测量为最小Feret直径,而是测量为叠加图像703上的在与最大Feret直径的轴正交的方向上测量的长度。在叠加图像702的右上角叠加标记732。长轴长度字符串723和短轴长度字符串734显示在标记732上。另外,在叠加图像702的患部区域102中显示与最大Feret直径521的测量位置相对应的辅助线725和与在与最大Feret直径的轴正交的方向上测量的长度相对应的辅助线736。
可以使用图7A至图7C中示出的要叠加在图像数据上的信息中的任一个或者可以使用多个信息的组合。可选地,用户可能能够选择要显示的信息。图6B和图7A至图7C中示出的叠加图像仅是示例,并且患部区域102的显示模式、显示位置、字体类型、字体大小、字体颜色、和位置关系等以及指示患部区域102的大小的信息可以根据各种条件而变化。
在步骤456中,图像处理设备300中的通信单元313将指示被提取的患部区域102的提取结果的信息和指示患部区域102的大小的信息发送到摄像设备200。在本实施例中,通信单元313通过无线通信将在步骤455中生成的包括指示患部区域102的大小的信息的图像数据发送到摄像设备200。
操作返回到由摄像设备200进行的步骤的描述。
在步骤416中,摄像设备200中的通信单元219接收在图像处理设备300中生成的包括指示患部区域102的大小的信息的图像数据。
在步骤417中,显示单元223在特定时间段内显示在步骤416中接收的包括指示患部区域102的大小的信息的图像数据。这里,显示单元223显示分别在图7A至图7C中示出的叠加图像701至703中的任一个,并且在经过了特定时间段之后操作进入步骤418。
在步骤418中,判断是否存在未输入值的患部区域信息。患部区域信息指示表示患部区域的部位和上述DESIGN-R(注册商标)的各评价项的评价值的信息。基于在步骤416中接收的指示大小的信息,自动输入关于大小的评价项的评价值。
如果在步骤418中存在未输入值的患部区域信息,则操作进入步骤419。如果在步骤418输入了所有患部区域信息,则操作返回到步骤402以再次开始实时取景。
在步骤419中,系统控制电路220在显示单元223中显示提示用户输入患部区域信息的用户接口。
在步骤420中,当用户输入患部区域信息时,操作返回到步骤418。
图8A至图8G是用于描述在步骤419和步骤420中如何使用户输入患部区域信息的图。
图8A是提示用户在患部区域信息中输入患部区域的部位的画面。
在显示单元223中显示用于指定患部区域的部位:头部、肩部、臂部、背部、腰部、臀部和腿部的部位选择项801。在部位选择项801下方设置用于完成患部区域信息的输入的项。选择该项使得即使未输入患部区域信息的一部分,也能够终止患部区域信息的输入。
用户能够利用操作构件224指定存在拍摄的患部区域的部位。由用户选择的项被显示为由框线802围绕。在图8A中显示选择臀部的状态。由于两个或更多个患部区域可能存在于从部位选择项801中选择的一个部位中,因此诸如臀部1、臀部2和臀部3的多个项的选择可以进一步可用。
图8B是在图8A中选择了包括患部区域的部位之后使用户确认所选择的部位是否适当的画面。在利用用户操作确认了所选择的部位时,显示单元223显示图8C所示的画面。
图8C是提示用户在患部区域信息中输入DESIGN-R(注册商标)的各评价项的评价值的画面。
在画面的左侧显示评价项选择部804。各个项:D(深度)、E(渗出液)、S(大小)、I(炎症/感染)、G(肉芽组织)、N(坏死组织)和P(囊)以及指示是否输入各项的信息与患部区域的图像一起显示。在图8C中,针对已从图像分析的S(大小)显示评价值“s9”,并且针对剩余的评价项显示用于指示该项尚未确认的“non”。项S(大小)的阴影化指示该项(大小)已输入。
用户能够利用操作构件224指定评价项。所选择的评价项(这里的D(深度))被显示为由框线805围绕。
在画面左侧选择的评价项的严重等级的评价值作为严重等级选择部806叠加在画面的底部。在图8C中,显示作为指示D(深度)的严重等级的评价值的d0、d1、d2、D3、D4、D5和DU。
用户能够利用操作构件224选择任何评价值。所选择的评价值被显示为由框线807围绕,并且还显示评价值的描述文本808(评价项深度和严重等级d2的描述:对真皮的损伤)。评价值可以由输入字符串的用户输入。
图8D示出用于在图8C中选择评价值之后向用户询问所选择的评价值是否适当的确认通知809。
在用户利用操作构件224确认不存在关于所选择的评价值的问题时,画面转变到图8E所示的画面。
在图8E中,响应于评价值的输入,D(深度)的评价项810的显示从“non”改变为“d2”,并且评价项810被阴影化。
同样地,显示提示用户输入E(渗出液)、I(炎症/感染)、G(肉芽组织)、N(坏死组织)和P(囊)的评价值的画面,直到针对所有评价项输入了评价值为止。
响应于所有评价项的评价值的输入,向用户通知患部区域信息的输入完成。然后,操作返回到步骤402以开始实时取景处理。
如上所述,在第一实施例中,提供如下的功能:在步骤418至步骤420中,在拍摄患部区域之后,通过提示用户输入未进行自动分析的评价项的评价值和与患部区域的部位有关的信息,使用户输入患部区域信息。能够以上述方式仅利用摄像设备输入现有技术中使用其它介质输入的患部区域信息。
另外,通过在拍摄下一患部区域之前判断是否输入了所有患部区域信息并顺序地提示用户输入未输入的评价项,可以防止患部区域信息的输入遗漏。
语音识别输入部件可以用作根据第一实施例的操作构件224。
在图8A中,当输入患部区域的部位并选择字符时,使用诸如“头部”和“肩部”等的字符来显示部位。相反,如图8F所示,可以采用在显示单元223中显示人体模型811并且使用户使用设置在显示单元223上的触摸传感器指定患部区域的部位的结构。
另外,如图8G所示,也可以采用使人体模型811放大、缩小、或旋转以能够容易地选择患部区域的部位的结构。
尽管在图8E中使用阴影化作为用于指示针对评价项完成了评价值的输入的手段,但是可以降低字符的亮度或者可以突出显示字符。可以使用其它显示方法,只要已经针对评价项输入了评价值的事实被显式地指示给用户即可。
尽管在本示例中使用DESIGN-R(注册商标)作为褥疮的可用评价指标,但是评价指标不限于此。可以使用诸如Bates-Jensen创口评估工具(BWAT)、用于治愈的褥疮标度(PUSH)、或褥疮疼痛状态工具(PSST)等的其它评价指标。具体地,可以响应于褥疮的区域的提取结果和与所提取的区域的大小有关的信息的获取,显示用于输入BWAT、PUSH、或PSST等中的评价项的用户接口。
尽管在本示例中描述了预期输入褥疮的评价项的评价值的结构的示例,但是可以预期输入其它皮肤病中的评价项的评价值,只要使用视觉评价项即可。例如,例示了特应性皮炎中的特应性皮炎的严重性评分(SCORAD)和牛皮癣中的体表区域、牛皮癣区域和严重性指标(PASI)。
如上所述,根据本实施例,提供如下的图像处理系统,在图像处理系统中响应于用户利用摄像设备200拍摄患部区域102,在摄像设备200中的显示单元223中显示指示患部区域的大小的信息。因此,可以减轻医务人员在褥疮的患部区域的大小的评价中的负担和要评价的患者的负担。另外,与医务人员手动测量患部区域的大小的情况相比,基于程序计算患部区域的大小使得能够减小个体差异,以提高褥疮的大小的评价的精度。此外,可以计算作为评价值的患部区域的面积,并且显示计算出的患部区域的面积,以更准确地指示褥疮的大小。
由于在实时取景显示中通过用户确认患部区域的估计区域是否适当的功能不是必要的,因此可以采用省略步骤406、步骤407以及步骤441至步骤445的结构。
图像处理设备300可以将指示患部区域102的提取结果的信息、指示患部区域102的大小的信息以及与叠加有指示患部区域102的提取结果的信息和指示患部区域102的大小的信息的叠加图像有关的图像数据存储在存储单元312中。输出单元314能够将存储在存储单元312中的至少一个信息或图像数据输出到诸如连接至图像处理设备300的显示器等的输出装置。在显示器中显示叠加图像使得不同于拍摄患部区域102的用户的其它用户能够实时获取患部区域102的图像,或者获取已拍摄的患部区域102的图像和指示患部区域102的大小的信息。图像处理设备300中的运算单元311可以具有针对要从输出单元314发送到显示器的图像数据显示任意改变位置和角度的比例条等的功能。这种比例条的显示使得观看显示器的用户能够测量患部区域102的任意位置的长度。期望基于在步骤451中接收到的距离信息、与变焦倍率有关的信息、以及与进行了大小调整处理的图像数据的大小(像素的数量)有关的信息等来自动调整比例条的存储器的宽度。
在恒定地在固定侧供电的状态下使用图像处理设备300使得能够在无电池耗尽的风险的情况下在任意定时获取患部区域102的图像和指示患部区域102的大小的信息。另外,由于通常作为固定装置的图像处理设备300具有高存储容量,因此图像处理设备300能够存储大量图像数据。
另外,根据本实施例,在用户利用摄像设备200拍摄患部区域102时,用户能够输入和记录与根据图像的图像分析所获取的信息不同的关于患部区域102的信息。因此,用户无需随后在用户观看所拍摄的图像数据的同时在电子健康记录或纸质介质上输入患部区域的评价。此外,向用户呈现未输入的项防止当用户拍摄患部区域时忘记信息的输入。
(第二实施例)
在根据第一实施例的图像处理系统中,图像处理设备300进行将指示患部区域的提取结果的信息和指示患部区域的大小的信息叠加在图像数据上的处理。相反,在根据第二实施例的图像处理系统中,摄像设备200中的图像处理电路217进行将指示患部区域的提取结果的信息和指示患部区域的大小的信息叠加在图像数据上的处理。
图9是示出根据第二实施例的图像处理系统1的操作的工作流程图。
在图9的工作流程中,不进行图4所示的工作流程中的利用图像处理设备300的在步骤444和步骤455中的叠加处理,并且代替利用图像处理设备300的在步骤444和步骤455中的叠加处理,添加利用摄像设备200的在步骤901和步骤902中的叠加处理。在图9所述的步骤中,假定在与图4中的步骤的编号具有相同编号的步骤中进行与图4中的相应步骤中的处理相同的处理。
在本实施例中,要在步骤445和步骤456中从图像处理设备300发送到摄像设备200以通过摄像设备200生成叠加图像的数据可以不是使用颜色标度的图像数据。由于图像处理设备300不发送图像数据而是发送指示所估计的患部区域的大小的元数据和指示患部区域的位置的数据,因此可以减少通信流量以提高通信速度。指示所估计的患部区域的位置的数据是具有较小大小的矢量格式的数据。指示所估计的患部区域的位置的数据可以是二进制栅格格式的数据。
在步骤407或步骤416中从图像处理设备300接收到指示所估计的患部区域的大小的元数据和指示患部区域的位置的数据时,摄像设备200分别在步骤901或步骤902中生成叠加图像。
具体地,在步骤901中,摄像设备200中的图像处理电路217使用图4的步骤444中描述的方法生成叠加图像。要叠加指示所估计的患部区域的大小和位置的信息的图像数据可以是在步骤406中从摄像设备200发送到图像处理设备300的图像数据,或者可以是与显示为实时取景图像的最新帧有关的图像数据。
在步骤902中,摄像设备200中的图像处理电路217使用图4的步骤455中描述的方法生成叠加图像。要叠加指示所估计的患部区域的大小和位置的信息的图像数据是在步骤415中从摄像设备200发送到图像处理设备300的图像数据。
如上所述,根据本实施例,由于减少了要从图像处理设备300发送到摄像设备200的数据量,因此与第一实施例相比,可以减少摄像设备200和图像处理设备300之间的通信量以提高通信速度。
(第三实施例)
图10是示意性示出根据第三实施例的图像处理系统11的图。图10所示的图像处理系统11除了包括以上在第一实施例和第二实施例中描述的摄像设备200和图像处理设备300之外,还包括作为能够进行Web访问的电子装置的终端设备1000。终端设备1000例如由平板终端构成,并具有Web浏览器功能。终端设备1000能够访问Web服务器并显示所获取的超文本标记语言(HTML)文件。终端设备1000不限于平板终端,并且可以是网络浏览器或能够利用专用应用软件显示图像的装置。终端设备1000可以是例如智能电话或个人计算机。尽管这里将摄像设备200和终端设备1000描述为单独的设备,但是可以将单个设备用作摄像设备200和终端设备1000。当终端设备1000是具有照相机功能的智能手机或平板终端时,终端设备1000能够用作摄像设备200。
除了以上在第一实施例和第二实施例中描述的处理之外,图像处理设备300中的运算单元311还进行从图像数据中识别被摄体的处理。另外,运算单元311进行针对所识别出的各被摄体在存储单元312中存储与所估计的患部区域的大小和位置有关的信息以及与患部区域有关的图像数据的处理。终端设备1000能够使用户使用Web浏览器或专用应用软件确认存储在图像处理设备300中的存储单元312中的指示与被摄体相关联的所估计的患部区域的大小的信息以及与患部区域有关的图像数据。为了描述,这里假定终端设备1000使用户使用Web浏览器确认图像数据。
尽管在本实施例中通过图像处理设备300进行用以从图像数据中识别被摄体的功能、用以针对所识别出的各被摄体存储与患部区域有关的信息或图像数据的功能、或者用以进行Web服务的功能,但是这些功能不限于由图像处理设备300进行。这些功能的部分或全部可以由与图像处理设备300不同的网络上的计算机来实现。
参考图10,被摄体101佩戴条形码标签103作为识别被摄体的信息。所拍摄的与患部区域102有关的图像数据能够与由条形码标签103指示的被摄体的标识符(ID)相关联。识别被摄体的标签不限于条形码标签,并且可以是诸如QR码(注册商标)或数值等的二维码。可选地,可以将记载了文本的标签用作识别被摄体的标签,并且可以使用图像处理设备300中所安装的光学字符识别(OCR)读取器来读取标签。
图像处理设备300中的运算单元311将由对所拍摄的图像数据中包括的条形码标签的分析得到的ID与预先登记在存储单元312中的被摄体ID进行核对,以获取被摄体101的名称。可以采用摄像设备200分析ID并且将ID发送到图像处理设备300的结构。
运算单元311基于与患部区域102有关的图像数据、指示被摄体的患部区域102的大小的信息、被摄体ID、所获取的被摄体的名称、以及拍摄日期和时间等创建记录并将记录登记在存储单元312中的数据库中。
另外,运算单元311响应于来自终端设备1000的请求,返回登记在存储单元312中的数据库中的信息。
图11是示出根据第三实施例的图像处理系统11的操作的工作流程图。在图11所述的步骤中,假定在与图4中的步骤的编号具有相同编号的步骤中进行与图4中的相应步骤中的处理相同的处理。
参考图11,在摄像设备200和图像处理设备300连接时,在步骤1101中,摄像设备200在显示单元223中显示使用户拍摄条形码标签103的指示并响应于用户的释放操作而拍摄条形码标签103。然后,操作进入步骤402。与用于识别患者的患者ID有关的信息被包括在条形码标签103中。在拍摄条形码标签103之后拍摄患部区域102使得能够基于拍摄日期和时间等管理拍摄顺序以使用被摄体ID将来自下一个条形码标签的图像之前的一个条形码标签的图像中的图像识别为同一被摄体的图像。可以采用在拍摄患部区域102之后拍摄条形码标签103的顺序。
在系统控制电路220在步骤410中检测到释放按钮的按下并且进行了步骤411至步骤414之后,在步骤415中,通信单元219通过无线通信将图像数据和包括距离信息的至少一个信息发送到图像处理设备300。除了通过拍摄患部区域102而生成的图像数据之外,通过在步骤1001中拍摄条形码标签103而生成的图像数据也包括在步骤415中发送的图像数据中。
在步骤455中,图像处理设备300生成与叠加图像有关的图像数据。然后,操作进入步骤1111。
在步骤1111中,运算单元311进行读取在步骤1001中拍摄的与条形码标签103有关的图像数据中包括的一维条形码(未示出)以读取识别被摄体的被摄体ID的处理。
在步骤1112中,将读取的被摄体ID与登记在存储单元312中的被摄体ID进行核对。
在步骤1113中,如果被摄体ID的核对成功,则获取登记在存储单元312中的数据库中的患者的名称和过去的患部区域信息。这里获取最后存储的患部区域信息。
在步骤456中,图像处理设备300中的通信单元313将指示所提取的患部区域102的提取结果的信息、指示患部区域102的大小的信息、以及从存储单元312获取的过去的患部区域信息发送到摄像设备200。
在步骤416中,摄像设备200中的通信单元219接收从图像处理设备300发送的图像数据和患部区域信息。
在步骤417中,显示单元223在特定时间段内显示在步骤416中接收的包括指示患部区域102的大小的信息的图像数据。
在步骤418中,判断是否存在没有输入任何值的患部区域信息。
如果在步骤418中存在没有输入任何值的患部区域信息,则操作进入步骤1102。如果在步骤418中输入了所有患部区域信息,则操作进入步骤1104。
在步骤1102中,系统控制电路220显示提示用户使用过去的患部区域信息在显示单元223中输入患部区域信息的用户接口。
图12A和图12B是用于描述如何显示已获取的患部区域信息的图。在图在图12A中,针对输入了评价项的评价值的部位,使显示在画面左侧的部位选择项1101中的项1102的字符大小较大。图12A指示针对“背部”和“臀部”输入了患部区域的评价项的评价值。
当在步骤420中用户输入了患部区域信息时,在步骤1103中,与过去的评价项的评价值进行比较,以显示症状减轻还是恶化的判断结果。
在图12B中,在三个列中显示评价项选择部1103。从左起顺序显示评价项名称、过去的评价值和当前的评价值。
这里,将过去的评价值与当前的评价值进行比较。针对症状被判断为减轻的项,显示绿色评价值,并且针对症状被判断为恶化的项,显示红色评价值。
在输入了所有评价项的评价值时,向用户通知患部区域信息的输入完成。然后,操作进入步骤1104。
在步骤1104中,通过无线通信将输入了一系列评价项的评价值的患部区域信息和图像数据发送到图像处理设备300。然后,操作返回到步骤402。
在步骤1114中,图像处理设备300接收从摄像设备200发送的患部区域信息和图像数据。
在步骤1115中,运算单元311基于对患部区域进行拍摄而得到的图像数据、与患部区域102的部位有关的信息、患部区域102的各评价项的评价值、被摄体ID、所获取的被摄体的名称、以及拍摄日期和时间等创建记录。另外,运算单元311将所创建的记录登记在存储单元312中的数据库中。
在步骤1116中,运算单元311响应于来自终端设备1000的请求,将登记在存储单元312中的数据库中的信息发送到终端设备1000。
参考图13和图14描述终端设备1000的浏览器的显示示例。
图13是用于描述在终端设备1000的浏览器中显示的数据选择窗口的示例的图。针对各个日期1302,使用分隔线1303分隔数据选择窗口1301。在各日期的区域中针对各个拍摄时间1304显示图标1305。在各图标1305中显示被摄体ID和被摄体的名称,并且图标1305表示在相同时区拍摄的相同被摄体的数据集。在数据选择窗口1301上设置搜索窗口1306。在搜索窗口1306中输入日期、被摄体ID或被摄体的名称使得能够搜索数据集。另外,操作滚动条1307使得能够在有限的显示区域中以放大的方式显示多个数据。当用户选择并点击图标1305时,浏览器转变到数据浏览窗口,并且终端设备1000的浏览器的用户能够浏览数据集的图像以及指示被摄体的大小的信息。换句话说,从终端设备1000向图像处理设备300发送指示在终端设备1000中指定的指示被摄体以及日期和时间的请求。图像处理设备300将与该请求相对应的图像数据和指示被摄体的大小的信息发送到终端设备1000。
图14是用于描述在终端设备1000的浏览器中显示的数据浏览窗口的示例的图。在数据选择窗口1301上选择的数据集的被摄体ID和被摄体的名称1402以及拍摄日期和时间1403被显示在数据浏览窗口1401上。另外,针对每次拍摄显示基于图像数据的图像1404和基于图像1404中的患部区域信息的数据1405。此外,在编号1406中显示多次连续拍摄同一被摄体的患部区域时的拍摄编号。移动窗口的右端的滑块1407使得能够显示与同一被摄体ID有关的在另一拍摄日期和时间的基于图像数据和患部区域信息的数据。另外,改变设置使得能够显示在多个拍摄日期和时间的基于患部区域信息的数据,以便于比较患部区域的症状的变化。
尽管在图14中进行在拍摄患部区域之后、使用户进行将被摄体ID的核对和存在患部区域的部位的选择的处理,但是被摄体ID的核对和存在患部区域部位的选择可以在拍摄患部区域之前进行。
图15是示出根据第三实施例的图像处理系统11的操作的变形例的工作流程图。在图15所述的步骤中,假定在与图11中的步骤的编号具有相同编号的步骤中进行与图11中的相应步骤中的处理相同的处理。
当在步骤1101中拍摄了条形码标签103时,在步骤1501中,通信单元219将通过拍摄条形码标签103而生成的图像数据发送到图像处理设备300。
在步骤1511中,图像处理设备中的通信单元313接收从摄像设备200发送的通过拍摄条形码标签103而生成的图像数据。
在步骤1512中,运算单元311进行读取所接收的与条形码标签103有关的图像数据中包括的一维条形码以读取识别被摄体的被摄体ID的处理。
在步骤1513中,将读取的被摄体ID与登记在存储单元312中的被摄体ID进行核对。
在步骤1514中,如果被摄体ID的核对成功,则获取在存储单元312中的数据库中登记的患者的名称。如果核对失败,则代替患者的名称,获取指示核对失败的信息。
在步骤1515中,图像处理设备中的通信单元313将患者的名称或指示被摄体ID的核对失败的信息发送到摄像设备200。
在步骤1502中,摄像设备200中的通信单元219接收从图像处理设备300发送的患者的名称。
在步骤1503中,系统控制电路220在显示单元223中显示患者的名称。
在步骤1504中,系统控制电路220在显示单元223中显示患者的名称。这里,可以使用户输入患者的名称是否正确的确认结果。如果患者的名称不正确或者患者的名称的核对失败,则操作可以返回到步骤1101。在拍摄患部区域的图像之前显示患者的名称防止随后要获取的与患部区域有关的图像数据或患部区域信息与被摄体ID之间的错误关联。
在步骤1505中,系统控制电路220在显示单元223中显示提示用户在患部区域信息中输入与存在患部区域的部位有关的信息的用户接口。具体地,如第一实施例中的图8A和图8B那样,显示用于指定患部区域的部位:头部、肩部、臂部、背部、腰部、臀部和腿部的部位选择项801,以使用户选择它们中的任一个。
在步骤1506中,用户输入与患部区域有关的信息。然后,操作进入步骤402。在以上述方式选择了与要拍摄的患部区域的部位有关的信息之后进入拍摄患部区域的步骤,防止与患部区域的部位有关的信息的错误选择。
由于在步骤1513中进行被摄体ID的核对,因此图像处理设备300不需要在获取包括患部区域的图像数据之后进行被摄体ID的核对。另外,由于在步骤1506中输入了与患部区域的部位有关的信息,因此用户不需要在获取包括患部区域的图像数据之后在步骤1507和步骤1508中输入与患部区域的部位有关的信息,并且用户在步骤1507和步骤1508中输入各评价项的评价值就足够了。
如上所述,在根据本实施例的图像处理系统11中,可以针对各被摄体识别并存储与患部区域102有关的图像数据和图像数据的分析结果,并且可以仅使用用户手上的摄像设备来确认各评价项是减轻还是恶化。因此,用户能够紧接在拍摄患部区域之后仅使用用户手上的摄像设备确认已登记的与患部区域有关的管理信息。另外,显示与最后的管理信息相比较而当前确认的严重等级使得用户能够一眼确认症状是减轻还是恶化。
用户能够使用Web浏览器或专用应用从诸如平板终端等的终端设备1000与被摄体ID和被摄体的名称相关地确认与患部区域102有关的图像数据的分析结果。
在上述所有实施例中,通过在摄像设备200中安装与辅助运算单元317相对应的电路能够仅利用摄像设备200进行实现与图4、图9和图11中的工作流程相同的效果的处理。在这种情况下,仅使用摄像设备200来实现与上述的由摄像设备200和图像处理设备300组成的图像处理系统中的效果相同的效果。接收在外部计算机中创建的新学习模型使得能够提高患部区域的推理处理的精度以及新类型的患部区域的提取。
(其它实施例)
本发明可以通过经由网络或存储介质将用于实现上述实施例的一个或多个功能的程序提供给系统或设备并且使该系统或设备的计算机中的一个或多个处理器读出并执行该程序来实现。本发明还可以通过用于实现一个或多个功能的电路(例如,ASIC)来实现。
本发明不限于以上实施例,并且可以在本发明的精神和范围内进行各种改变和修改。因此,为了使公众知道本发明的范围,提出以下权利要求。
本申请要求在2018年5月31日提交的日本专利申请2018-104922、2019年2月5日提交的日本专利申请2019-018653以及2019年5月22日提交的日本专利申请2019-095938的优先权,其通过引用并入于此。
- 上一篇:一种医用注射器针头装配设备
- 下一篇:神经血管远侧进入支承导管、抽吸导管或设备轴