用于缓存生物图像数据的系统和方法

文档序号:704828 发布日期:2021-04-13 浏览:7次 >En<

阅读说明:本技术 用于缓存生物图像数据的系统和方法 (System and method for caching biometric image data ) 是由 P·博达 A·沙玛 S·Y·余 于 2019-09-03 设计创作,主要内容包括:本公开涉及数字病理系统和服务器系统,其各自可以包括预填充有生物图像数据的缓存,所述生物图像数据包括已预处理为目标文件格式的生物图像数据。可以在所述数字病理系统和/或所述服务器系统上用生物图像数据填充缓存,以检索生物图像数据,从而有助于在浏览器中或在所述数字病理系统上实时或近实时地可视化生物图像数据。当接收扫描的图像数据时,可以自动对服务器上的生物图像数据进行预处理。(The present disclosure relates to a digital pathology system and a server system, each of which may include a cache pre-populated with biological image data including biological image data that has been pre-processed into a target file format. A cache may be populated with biological image data at the digital pathology system and/or the server system to retrieve biological image data to facilitate real-time or near real-time visualization of biological image data in a browser or on the digital pathology system. The biological image data on the server may be automatically preprocessed when the scanned image data is received.)

用于缓存生物图像数据的系统和方法

相关专利申请的交叉引用

本申请要求2018年9月7日提交的美国专利临时申请号62/728,573的权益,出于全部目的其通过引用以其全文并入本文。

背景技术

数字病理学是指在数字环境中管理和解读病理学信息。扫描装置用于使可能被染色的生物样品的载玻片成像,从而生成数字载玻片,例如整个载玻片图像。数字病理软件能够将数字载玻片存储在计算机存储装置中,在计算机监视器上查看并分析病理信息。

发明内容

本公开尤其针对包括具有改进的响应时间的客户端用户界面(GUI)的客户端-服务器系统。通常,用于图像数据的可视化和分析的界面在(i)客户端系统(例如,在客户端系统上本地运行的查看器应用程序)上运行,或(ii)在远程服务器上运行,其中客户端系统通过浏览器(诸如Web浏览器)访问远程服务器上查看器应用程序的实例。图像数据,例如用苏木精和伊红染色或经染色以识别一种或多种生物标志物的存在的生物样品的扫描图像,可以从远程服务器(例如,从通信地联接至远程服务器的存储系统中)传递到查看器应用程序或浏览器。在一些实施例中,图像数据是可以传递到查看器应用程序或浏览器的图像图块(如本文定义)的形式。由于通常从远程服务器传输的图像图块的量(更不用说传输文件的大小),查看器应用程序收到用户输入后,图像数据可能无法在查看器应用程序或浏览器中实时可视化。这可能会妨碍用户实时执行图像数据分析的能力。

为了更好地促进图像可视化,在一些实施例中,本公开提供了对服务器上的生物图像数据(例如,组织病理学图像数据或细胞病理学图像数据)的自动预处理,以及将预处理图像数据传递至客户端系统,例如,数字病理分析系统。在一些实施例中,图像数据的预处理包括将扫描的图像数据从输入格式(例如,DICOM、BIF或另一未压缩图像文件格式)转换成目标格式(例如,压缩图像文件格式,诸如JPEG)。可以认为,输入格式中包括的图像数据很大,例如,每个图像文件超过2000兆字节,并将输入文件格式转换为目标文件格式(可以在其中压缩数据)能够更快地将图像数据传递到客户端系统。在一些实施例中,图像数据的预处理包括将扫描的图像数据文件分割成多个文件(例如,多个图像图块文件,其可以是任一输入文件格式或目标文件格式),再次有利于将图像数据从服务器更快地传递到客户端系统。人们认为服务器具有有限的处理能力,如果实时接收到多个图像数据请求(诸如来自一个或多个客户端系统),则可能加重负担。通过在从客户端系统请求图像数据之前对服务器上的图像数据进行预处理,服务器资源(诸如处理资源)的负担将减少,从而能够改进将图像数据传递到客户端系统。例如,代替响应于用户请求或预取操作而实时生成图像图块,可以对生物图像数据进行预处理,并且图像图块可以立即用于传输。

在一些实施例中,本公开还提供了从服务器到通信地联接至客户端系统的客户端缓存(诸如经由缓存代理)的生物图像数据的自动传递,包括目标文件格式的预处理图像数据。如此,从客户端系统请求的图像数据可以从预填充图像数据(诸如预处理图像数据)的本地客户端缓存中检索,而不必通过网络传输,考虑到涉及的文件大小,这可能很慢。总体上,本文所述的系统和方法提供了对图像数据的更稳健和准确的检查,最终提供了改善的患者护理。此外,本文所述的系统和方法提供了更好的用户体验,从而使用户(例如,病理科医生)能够更快且更准确地执行其职责。

本公开的一个方面是一种在服务器上预处理生物图像数据以促进将生物图像数据传输到数字病理分析系统的方法,所述方法包括接收具有第一图像文件格式的生物图像数据,所述生物图像数据得自其上设置的具有一个或多个生物样品的显微镜载玻片的扫描,所述生物样品经苏木精和伊红染色或经染色以识别一种或多种生物标志物的存在;预处理接收的生物图像数据以生成一个或多个预处理图像文件,生成的一个或多个预处理图像文件中的每一个均以第一文件格式从接收的生物图像数据中导出,并且其中生成的一个或多个预处理图像文件中的每一个以第二文件格式提供;以及将以第二文件格式提供的生成的一个或多个预处理图像文件存储在通信地联接至服务器的一个或多个存储器中。

在一些实施例中,所述第一图像文件格式和所述第二图像文件格式相同。在一些实施例中,所述预处理步骤生成多个预处理图像文件。在一些实施例中,所述多个预处理图像文件是多个图像图块文件,并且其中所述多个图像图块文件各自包括文件名,所述文件名包括与接收的具有所述第一图像文件格式的生物图像数据中的单个图块文件的位置相对应的坐标。在一些实施例中,所述预处理步骤生成多组预处理图像文件,其中所述多组预处理图像文件中的每组预处理图像文件包括对应于单个放大级的多个图像图块文件。在一些实施例中,所述第一文件格式和第二文件格式是压缩图像文件格式。在一些实施例中,所述压缩图像文件格式由JPEG文件交换格式、便携式网络图形文件格式及其派生格式组成的组。

在一些实施例中,所述第一图像文件格式和所述第二图像文件格式不同。在一些实施例中,所述第一图像文件格式是RAW图像文件格式或未压缩图像文件格式中的一种;并且其中所述第二图像文件格式是压缩图像文件格式。在一些实施例中,所述预处理步骤包括以RAW或未压缩图像文件格式转换所述接收的生物图像数据;以及以压缩图像文件格式生成所述一个或多个预处理图像文件。在一些实施例中,所述预处理步骤以所述压缩图像文件格式生成单个预处理图像文件。在一些实施例中,所述预处理步骤以所述压缩图像文件格式生成多个预处理图像文件。在一些实施例中,所述预处理步骤生成多组预处理图像文件,其中所述多组预处理图像文件中的每组预处理图像文件包括对应于单个放大级的压缩图像文件格式的多个图像图块文件。在一些实施例中,所述多个预处理图像文件是多个图像图块文件,并且其中所述多个图像图块文件各自包括文件名,所述文件名包括与接收的具有所述第一图像文件格式的生物图像数据中的单个图块文件的位置相对应的坐标。在一些实施例中,接收的具有第一文件格式的生物图像数据的文件大小大于所述生成的压缩图像文件格式的所有多个预处理图像文件的总文件大小。在一些实施例中,所述压缩图像文件格式是目标文件格式。在一些实施例中,所述目标文件格式是浏览器兼容文件格式。

在一些实施例中,所述方法进一步包括从所述数字病理分析系统接收对存储的一个或多个预处理图像文件的请求。在一些实施例中,所述方法进一步包括将存储的一个或多个预处理图像文件自动传输至在数字病理分析系统上运行的缓存代理。在一些实施例中,所述一个或多个存储器包括易失性和非易失性存储器。在一些实施例中,所述一个或多个存储器是非易失性存储器。在一些实施例中,存储的一个或多个预处理图像文件在一个或多个非易失性存储器中维护预定的时间量。在一些实施例中,所述预定的时间量的范围为约5天至约15天。

本公开的另一方面是一种在数字病理分析系统内的客户端缓存中管理生物图像数据的方法,所述方法包括:使用远程服务器执行用户认证,其中所述认证包括确认缓存代理正在所述数字病理分析系统上运行;从所述远程服务器接收多个新生物图像图块,所述新生物图像图块得自其上设置的具有一个或多个生物样品的显微镜载玻片的扫描,所述生物样品经苏木精和伊红染色或经染色以识别一种或多种生物标志物的存在;基于预定标准从通信地联接至所述数字病理系统的客户端缓存中移除预先存在的生物图像图块的至少第一部分;以及将接收的新生物图像图块存储在客户端缓存中。

在一些实施例中,所述预定标准包括存储分配限制、缓存图像到期、载玻片查看期到期和病例再分配。在一些实施例中,移除的预先存在的生物图像图块的第一部分的总大小与接收的新生物图像图块的总大小大致相同。在一些实施例中,移除的预先存在的生物图像图块的第一部分的总大小大于接收的新生物图像图块的大小。在一些实施例中,接收的多个新生物图像图块是具有压缩文件格式的预处理生物图像图块。在一些实施例中,所述压缩文件格式是JPEG。

在一些实施例中,所述方法进一步包括通过基于预定标准移除存储的新生物图像图块的第一部分来维护所述客户端缓存。在一些实施例中,所述预定标准包括存储分配限制、缓存图像到期、载玻片查看期到期和病例再分配。在一些实施例中,所述方法进一步包括移除由病理科医生检查的存储的新生物图像图块的第二部分。

本公开的另一方面是一种在数字病理分析系统内的客户端缓存中管理生物图像数据的方法,所述方法包括:维护通信地联接至所述数字病理分析系统的客户端缓存,所述客户端缓存包括一个或多个患者病例的生物图像数据,其中所述客户端缓存通过基于预定标准移除现有生物图像数据的第一部分进行维护;使用远程服务器执行认证;从远程服务器接收将新生物图像数据添加到客户端缓存的第一请求;以及将所述接收的新生物图像数据存储在所述客户端缓存中,并且其中所述现有生物图像数据和存储的新生物图像数据得自其上设置的具有一个或多个生物样品的显微镜载玻片的扫描,所述生物样品经苏木精和伊红染色或经染色以识别一种或多种生物标志物的存在。

在一些实施例中,所述预定标准包括存储分配限制、缓存图像到期、载玻片查看期到期和病例再分配。在一些实施例中,通过移除一个或多个患者病例的现有生物图像数据的第二部分来维护所述客户端缓存,所述一个或多个患者病例由分配至所述一个或多个患者病例的病理科医生进行检查。

在一些实施例中,所述客户端缓存被预先分配在通信地联接至所述数字病理分析系统的存储子系统上。在一些实施例中,所述认证包括:确认缓存代理正在所述数字病理分析系统上运行。

在一些实施例中,所述方法进一步包括从在所述数字病理分析系统上运行的查看器应用程序或浏览器接收第二请求,以从所述客户端缓存检索至少部分存储的新生物图像数据。在一些实施例中,将检索到的存储的新生物图像数据传输至所述查看器应用程序或所述浏览器,并显示在所述数字病理分析系统的显示屏上。在一些实施例中,存储的新生物图像数据包括压缩图像文件格式的多个预处理图像图块。在一些实施例中,所述多个图像图块包括与以第一放大级扫描的生物图像数据相对应的第一系列图像图块和与以第二放大级扫描的生物图像数据相对应的第二系列图像图块。

本公开的另一方面是一种在与通信地联接至数字病理分析系统的客户端缓存中维护缓存的生物图像数据的方法,所述方法包括:访问生物图像数据,其中所述生物图像数据得自其上设置的具有一个或多个生物样品的显微镜载玻片的扫描,所述生物样品经苏木精和伊红染色或经染色以识别一种或多种生物标志物的存在;接收缓存代理正在数字病理分析系统上运行的确认;传递至少部分访问的生物图像数据以至少部分填充客户端缓存内的部分可用存储空间;以及存储与传递至所述数字病理分析系统的访问的生物图像数据的至少部分相关的一个或多个URL。

在一些实施例中,传递访问的生物图像数据的至少部分以完全填充客户端服务器上的可用存储空间。在一些实施例中,传递至所述客户端缓存的访问的生物图像数据的至少部分包括压缩图像文件格式的多个预处理图像图块。在一些实施例中,所述多个预处理图像图块包括处于第一放大级的第一系列的预处理图像图块和处于第二放大级的第二系列的预处理图像图块。在一些实施例中,所述方法进一步包括在递送访问的生物图像数据的至少部分之前,接收所述客户端缓存内存在足够的可用存储空间的指示。在一些实施例中,所述方法进一步包括接收所述客户端缓存内可用存储空间的量的指示。在一些实施例中,传递访问的生物图像数据的至少部分包括:(i)确定访问的生物图像数据的大小;以及(ii)基于客户端缓存内的可用存储空间选择访问的生物图像数据的至少部分。在一些实施例中,对访问的生物图像数据部分的选择基于预定选择标准。在一些实施例中,所述预定选择标准是访问的生物图像数据内的单个图像的扫描日期。在一些实施例中,将访问的生物图像数据分配至所述数字病理分析系统上的第一病理科医生。在一些实施例中,认证步骤进一步包括确认所述第一病理科医生的身份证明。在一些实施例中,服务器维护与所述缓存代理的连接,并且其中接收确认缓存代理正在所述客户端系统上运行的确认的步骤包括确认建立了所述连接。

本公开的另一方面是一种在数字病理分析系统上的界面应用程序中显示生物图像数据的方法,所述方法包括:接收与第一患者病例有关的第一用户输入;联系远程服务器以获取与接收的第一用户输入相对应的一个或多个存储的生物图像图块,其中所述存储的生物图像图块得自其上设置的具有一个或多个生物样品的显微镜载玻片的扫描,所述生物样品经苏木精和伊红染色或经染色以识别一种或多种生物标志物的存在;接收对应于第一用户输入的一个或多个存储的生物图像图块的位置信息;基于接收的位置信息,检索与所述第一用户输入有关的一个或多个存储的生物图像图块;以及可视化检索的与第一用户输入有关的一个或多个生物图像图块。

在一些实施例中,所述方法进一步包括确定在通信地联接至所述数字病理分析系统的客户端缓存内存储的一个或多个生物图像图块的存在。在一些实施例中,如果所述生物图像数据已在所述客户端缓存内维护,则从所述客户端缓存检索存储的一个或多个生物图像图块。在一些实施例中,如果从所述客户端缓存移除所述图像,则从所述远程服务器检索存储的一个或多个生物图像图块。在一些实施例中,将从所述远程服务器检索的存储的一个或多个生物图像图块下载到所述客户端缓存。在一些实施例中,所述可视化的一个或多个生物图像图块是从所述客户端缓存中检索。在一些实施例中,如果存储的一个或多个生物图像图块未在所述客户端缓存中维护,则将所述界面重定向到所述远程服务器上的存储位置。在一些实施例中,从所述远程服务器检索与所述第一用户输入有关的存储的一个或多个生物图像图块,并且进一步包括接收与所述第一患者病例有关的第二用户输入,并且其中一个或多个存储的图像图块与从客户端缓存中检索的第二用户输入有关。在一些实施例中,存储的一个或多个生物图像图块是未压缩格式的预处理图像图块。在一些实施例中,所述方法进一步包括通过移除满足预定标准的预填充生物图像数据来管理客户端缓存。在一些实施例中,所述位置信息包括一个或多个URL。

附图说明

有关对本公开特征的一般理解,请参考附图。在附图中,整个附图使用相同的附图标记来识别相同的元素。

专利或申请文件含有至少一幅彩色附图。在提出请求并支付必要的费用后,将向专利局提供带有彩色附图的专利或专利申请公布的拷贝。

图1A示出了根据一些实施例的客户端-服务器系统,包括例如通过网络可通信地联接至客户端系统170的服务器160。

图1B示出了根据一些实施例的客户端-服务器系统,包括通信地联接至客户端系统170的服务器160,客户端系统170包括查看器应用程序和缓存代理。

图1C示出了根据一些实施例的客户端-服务器系统,包括通信地联接至客户端系统170的服务器160,客户端系统170包括浏览器和缓存代理。

图1D示出了根据一些实施例的客户端-服务器系统,包括通信地联接至客户端系统170的服务器160,客户端系统170包括浏览器和缓存代理。

图2A示出了根据一些实施例的通信地联接至扫描装置的服务器。

图2B示出了根据一些实施例的客户端系统,包括处理子系统、存储子系统、输出装置和输入装置的系统,每个组件通过总线、网络或其他有线或无线互连件通信地联接。根据一些实施例,系统可以包括查看器应用程序,该查看器应用程序在客户端系统上本地运行并且可以从存储子系统内的本地客户端缓存或从远程服务器访问内容(例如,图像数据)。

图2C示出了根据一些实施例的客户端系统,包括处理子系统、存储子系统、输出装置和输入装置的系统,每个组件通过总线、网络或其他有线或无线互连件通信地联接。根据一些实施例,系统可以包括浏览器,该浏览器在客户端系统上本地运行并且可以从存储子系统内的本地客户端缓存或从远程服务器访问内容(例如,图像数据)。

图3显示了根据一些实施例的流程图,该流程图提供了创建患者病例并将所创建的患者病例与扫描的图像数据和病理科医生用户标识相关联的一般步骤。

图4A显示了根据一些实施例的流程图,该流程图提供了将内容(例如,图像数据或其部分)传递到由在客户端系统上运行的缓存代理管理的客户端缓存的一般步骤。

图4B显示了根据一些实施例的流程图,该流程图提供了在客户端系统和远程服务器之间执行认证的一般步骤,该远程服务器包括运行缓存代理的客户端系统。

图5显示了根据一些实施例的流程图,该流程图示出了维护客户端缓存的一般步骤,诸如由在客户端系统上运行的缓存代理所促进的。

图6显示了根据一些实施例的流程图,该流程图示出了从远程服务器接收图像数据的一般步骤,诸如从远程服务器推送到由缓存代理管理的客户端缓存中的数据。

图7显示了根据一些实施例的流程图,该流程图提供了可视化与接收的用户输入相对应的图像数据的步骤,该用户输入诸如是由与查看器应用程序直接或间接地通过浏览器交互的用户接收的输入。

图8显示了根据一些实施例的流程图,该流程图提供了可视化与接收的用户输入相对应的图像数据的步骤,该用户输入诸如是由与浏览器交互的用户接收的输入。

图9显示了根据一些实施例的流程图,该流程图提供了在客户端系统上安装客户端缓存代理的步骤。

图10示出了根据一些实施例的流程图,该流程图提供了在服务器上预处理图像数据的步骤,诸如将以输入文件格式接收的图像数据预处理为目标文件格式。

具体实施方式

还应该理解的是,除非指明是相反情况,否则在本文所要求保护的包括一个以上步骤或动作的任何方法中,所述方法的所述步骤或动作的顺序不必限于表述所述方法的所述步骤或动作的所述顺序。

如本文所用,除非上下文另有明确指示,否则单数形式“一(a/an)”和“该/所述”包括复数个指代物。同样,除非上下文另有明确指示,否则词语“或”旨在包括“和”。术语“包括”定义为包容性,如“包括A或B”是指包括A、B或A和B。

如本文在说明书和权利要求书中所用,“或”应理解为与上文定义的“和/或”具有相同的含义。例如,在分隔列表中的项目时,“或”或“和/或”应解释为具有包容性,即包含若干元素或元素列表中的至少一个元素,但也包含一个以上元素,以及可选地包含额外的未列出的项目。只有指明与之相反的术语,如“只有一个”或“恰好一个”,或者在权利要求中使用的“由...组成”,将指包含若干元素或元素列表中的恰好一个元素。一般来说,本文使用的术语“或者”只有在前面有“或”、“其中之一”、“只有一个”或“恰好一个”等排他性术语时,才应解释为表示排他性的替代选择(即“一个或另一个,但不是两个”)。在权利要求书中使用的“基本上由...组成”应具有在专利法领域使用的普通含义。

如本文所用,“包括”、“包含”、“具有”等术语可互换使用,且含义相同。类似地,“包括”、“包含”、“具有”等可互换使用并且具有相同的含义。具体而言,每个术语的定义都与普通美国专利法对“包括”的定义一致,因此每个术语都可理解为一个开放性术语,其含义为“至少以下”,并且也可理释为不排除额外的特征、限制、方面等。因此,例如“具有组件a、b和c的装置”是指所述装置至少包括组件a、b和c。同样,短语:“涉及步骤a、b和c的方法”是指所述方法至少包括步骤a、b和c。此外,尽管本文可以特定的顺序概述步骤和过程,但是本领域技术人员将认识到,所述顺序步骤和过程可能会有所不同。

如本文在说明书和权利要求书中所用,就一个或多个元素的列表而言,短语“至少一个”应理解为选自元素列表中任何一个或多个元素的至少一个元素,但不一定包括元素列表中具体列出的每个元素中的至少一个,也不排除元素列表中的任何元素组合。除了在短语“至少一个”所涉及的元素列表中具体确定的元素之外,该定义还允许其他元素可选地存在,无论这些元素与具体确定的元素相关与否。因此,作为一个非限制性实例,“A和B中的至少一个”(或者等效地,“A或B中的至少一个”,或者等效地,“A和/或B中的至少一个”)在一个实施例中可以指至少一个可选地包括一个以上的A,但没有B(以及选择性地包括B以外的元素);在另一个实施例中,指至少一个选择性地包括一个以上的B,但没有A(以及选择性地包括A以外的元素);在又一个实施例中,指至少一个选择性地包括一个以上的A,以及至少一个选择性地包括一个以上的B(以及选择性地包括其他元素)等。

如本文所用,术语“生物学样品”、“组织样品”、“标本”或类似的术语是指从包括病毒在内的任何生物体中获得的包括生物分子(例如蛋白质、肽、核酸、脂质、碳水化合物或其组合)在内的任何样品。其他生物体的实例包括哺乳动物(例如人类;兽类动物,如猫、狗、马、牛和猪;以及实验室动物,如小鼠、大鼠和灵长类动物)、昆虫、环节动物、蛛形纲动物、有袋类动物、爬行类动物、两栖类动物、细菌和真菌。生物学样品包括组织样品(例如组织切片和组织的穿刺活检)、细胞样品(例如细胞学涂片,如子宫颈涂片或血液涂片或通过显微解剖获得),或细胞级分、碎片或细胞器(例如通过裂解细胞并通过离心或其他方式分离其组分获得)。生物学样品的其他实例包括血液、血清、尿液、精液、粪便、脑脊液、间质液、粘液、眼泪、汗液、脓液、活检组织(例如,通过手术活检或穿刺活检获得)、乳头抽吸物、耵聍、乳汁、阴道分泌物、唾液、拭子(例如口腔拭子)、或任何含有生物分子且从第一生物学样品导出的材料。在某些实施例中,本文使用的术语“生物学样品”是指从受试者获得的肿瘤或其一部分制备的样品(例如经均质或液化处理的样品)。

如本文所用,术语“细胞病理学”是指在细胞水平上对疾病的研究,诸如游离细胞或组织片段的样品。

如本文所用,术语“DICOM”是指用于在医学成像中处理、存储、打印和传输信息的标准。它包括文件格式定义和网络通信协议。网络通信协议是一种使用TCP/IP以在系统之间进行通信的应用协议。该标准的目标之一是使医学图像和信息在查看和扫描源之间的传输均匀化,以实现不同成像软件和/或硬件的用户共享信息。可以在两个能够以DICOM格式接收图像和患者数据的实体之间交换DICOM文件。DICOM可以将来自多个生产商的扫描仪、服务器、工作站、打印机和网络硬件集成到用于存储和下载数字图像的图片存档和通信系统(PACS)中。不同的装置带有DICOM一致性声明,这些声明清楚地说明了它们支持的DICOM类别。DICOM已被医院广泛采用,并在小型牙医和医生办公室中越来越受欢迎。DICOM文件通常包含图像;因此,它们通常被称为DICOM图像。但是将理解,DICOM文件不一定需要包括图像。而是,这样的文件可以包括测量或报告数据。因此,DICOM文件可能包含媒体数据,诸如视频和音频数据,或者根本不包含任何媒体数据。在那种情况下,DICOM文件可能仅包含标识原始模态、操作员或待检查患者的元数据。这里的模态是指医学成像中的任何图像生成设备,还包括使用扫描仪生成组织病理学载玻片或细胞病理学载玻片的图像,诸如经苏木精和伊红染色或经染色以识别一种或多种生物标志物的存在的那些病理学载玻片。

如本文所用,术语“组织病理学”是指组织(例如活检标本、手术标本)的显微镜检查以研究疾病的表现。

如本文所用,术语“图像数据”涵盖从生物组织样品采集的原始图像数据,例如通过光学传感器或传感器阵列,或预处理的图像数据。特别地,所述图像数据可以包括像素矩阵。在一些实施例中,图像数据存储在图像图块的块中(例如,整个载玻片图像的部分具有约500像素乘约500像素的大小)。在一些实施例中,图像数据来自设置在基板(例如,显微镜载玻片)上的生物样品的扫描,并且对生物样品的扫描可以包括以不同放大级的同一载玻片的多个图像(例如,20x、40x等)。在一些实施例中,第一,以低放大级(例如,适合于缩略图像);第二,以中间放大级;第三,以高放大级捕获图像数据。在一些实施例中,可以针对多个放大级来获取图像数据,并且可以针对多个放大级中的每一个生成一个或多个图像数据文件。在一些实施例中,图像图块的数量随放大级或缩放水平而增加,即,图像图块可用于预定数量的可用放大级中的每一个,并且那些较高放大级将比较低放大级具有更多数量的图像图块。在一些实施例中,每个缩放水平的图块的数量例如线性地、二次方地、指数地或以其他方式增加。例如,最低放大倍率图像数据(对应于上述第一放大级)可以包括一百个图块,而中间放大级图像数据可以包括四百个图块。

如本文所用,术语“载玻片”是指任何合适尺寸的、可将生物学标本置于上面进行分析的任何基质(例如,全部或部分由玻璃、石英、塑料、硅等制成的基质),更特别地是指标准3英寸×1英寸显微镜载玻片或标准75mm×25mm显微镜载玻片等“显微镜载玻片”。可以置于载片上的生物学标本的实例包括但不限于细胞学涂片、薄的组织切片(例如来自活检)和生物标本阵列,例如组织阵列、细胞阵列、DNA阵列、RNA阵列、蛋白质阵列或其任何组合。因此,在一个实施例中,将组织切片、DNA样品、RNA样品和/或蛋白质置于载片的特定位置上。在一些实施例中,术语“载片”可指SELDI和MALDI芯片,以及硅片。

如本文所用,术语“染色剂”、“染色”或类似的术语通常是指对生物学标本的任何处理,所述处理检测和/或区分生物学标本中特定分子(例如脂质、蛋白质或核酸)或特定结构(例如正常或恶性细胞、细胞质、细胞核、高尔基氏体或细胞骨架)的存在、位置和/或量(例如浓度)。例如,染色可以将生物学标本的特定分子或特定细胞结构与周围部分进行比对,并且染色的强度可以测定所述标本中特定分子的量。染色不仅可以和明视野显微镜一起使用,而且还可以和相衬显微镜、电子显微镜和荧光显微镜等其他观察工具一起使用,以用于辅助观察分子、细胞结构和生物体。一些由系统进行的染色可以让细胞的轮廓清晰可视。由所述系统进行的其他染色可依赖于染色的且不对其他细胞组分染色或对其他细胞组分相对极少染色的特定细胞组分(例如分子或结构)。由所述系统进行的各类染色方法的实例包括但不限于,组织化学方法、免疫组化方法和基于核酸分子间的杂交反应等分子间反应(包括非共价结合相互作用)的其他方法。特定的染色方法包括但不限于,初级染色方法(如H&E染色、子宫颈染色等)、酶联免疫组化方法,以及原位RNA和DNA杂交方法,例如荧光原位杂交(FISH)。

如本文所用,术语“用户界面”指允许用户(例如终端用户,诸如组织学家和/或病理科医生)输入命令和数据并接收结果的界面(诸如图形用户界面,GUI)。术语“用户界面”和“图形用户界面”在本文可互换使用。

概述

病理图像通常非常大,例如,超过1000兆字节,每个超过2000兆字节。例如,高分辨率载玻片图像可以具有100,000×80,000像素的分辨率。这样的大图像通常太大而不能在网络上有效地传输,尤其是在网络上以及通过互联网服务提供商。为了减轻网络延迟在查看器应用程序中可视化图像数据的影响,基于用户输入,从远程服务器中预取并传输图像数据,诸如以图像图块的形式(包括作为本文所述的预处理图像图块)至查看器应用程序120。人们认为使用图块分解较大的图像数据块可大大提高通过网络传输图像数据的效率,因为与传输整个载玻片图像相比,仅需要传输与特定选定放大倍数相对应的那些图块或图块的一部分。

预取是指在任何特定用户对图像数据的请求之前,从远程存储系统或数据库(诸如远程服务器的数据库)请求图像数据,以便可以在装置上采集和缓存图像数据,直到特定用户请求图像数据为止。以此方式,在实际调用该图像数据以在显示器上构建可视化效果之前,预取试图在后台采集图像数据,从而减少(甚至消除)客户端系统仅在用户请求之后才请求图像数据的需求。预取的图像数据被自动识别、请求并存储在查看器应用程序或浏览器的预分配存储器中,以供以后用于构建可视显示时使用。在一些实施例中,预取的数据包括图像图块,诸如特定放大级的多个图像图块。

在一些实施例中,预取基于用户输入的预测,例如,使用用户的过去操作、选择和输入来预期进一步的操作、选择和输入,即,当通过用户界面接收到用户输入时,还会预取接下来的几个水平可能的用户输入的图像数据。查看器应用程序或浏览器可以基于用户输入和/或预期的用户输入来常规地预取包括多个图像图块的图像数据。当用户与查看器应用程序或浏览器中显示的可视化进行交互时,用户可能希望平移以可视化任何第一可视化图像数据附近的其他图像数据。因此,查看器应用程序或浏览器使用系统来预取并存储足够量的图像数据(例如,图像图块)以提供请求的可视化,同时将其他图像数据缓存在查看器应用程序或浏览器的存储器中实现用户与该可视化的有效交互。举例来说,如果查看器应用程序或浏览器确定用户正在沿特定方向平移图像,则可以沿用户平移的通用路径预取图像图块数据。美国专利号9,569,463和8,970,618描述了可视化和预取图块数据的其他方法,其公开内容通过引用以其全文并入本文。

如上所述,数据的预取仅限于分配至界面应用程序的可用存储器资源,例如:在客户端系统170上运行的查看器应用程序120或浏览器195。这样的存储器分配可能不足以提供基于用户输入的图像数据的实时可视化和分析。在一些实施例中,客户端缓存和/或服务器缓存(其中每个都可以包括预处理图像数据)可以用于在查看器应用程序120或浏览器195可用的存储器上扩展。如本文所述,与可比较地存储在分配至查看器应用程序120或浏览器195的存储器中相比,可在客户端缓存中存储更多数量的图像图块。实际上,患者病例记录中的整个图像、整个患者病例记录、甚至多个患者病例记录(每个都具有一个或多个放大级的多个图像和相关图像图块)可以存储在客户端缓存(诸如由缓存代理140管理的一个),以供查看器应用程序120或浏览器195检索。与通过网络130从远程服务器检索预取的图像数据相比,这种维护的图像数据的缓存能够更快地检索或预取图像数据。

为了便于提供图像数据并加快这种图像数据的可视化,在一些实施例中,提供了客户端缓存(例如,联接至数字病理分析系统的缓存),其将图像数据存储在通信地联接至客户端系统的存储子系统中。在一些实施例中,客户端缓存由缓存代理管理,例如,该缓存代理确定诸如基于预先建立的和/或用户可配置的标准来确定待从缓存保留或丢弃的那些接收和存储的图像数据的集合。在一些实施例中,该图像数据被自动从服务器推送到客户端系统(诸如通过在客户端系统上运行的“缓存代理”应用程序)。以这种方式,联接至客户端系统的客户端缓存被预填充图像数据,诸如当服务器接收新扫描的图像数据时或在服务器首先对其进行预处理之后,新扫描的图像数据。在一些实施例中,由于可以从联接至客户端系统的客户端缓存而不是从远程服务器(即,从预填充的客户端缓存中本地检索图像数据,而不是通过网络)快速预取或检索图像数据,因此客户端缓存可以改进对所请求和/或呈现的图像数据的可视化和分析。结果,改进了延迟(参见本文的实例)。还认为这还可以释放服务器资源,因为不需要服务器获取和传输数据或尽可能多的数据。此外,认为通过使用这样的客户端缓存,用户将不受可用网络或互联网服务提供商带宽的限制,从而实现更快且更有效地可视化和分析图像数据。

改进用于可视化和分析的图像数据传输的另一种模态是通过服务器端预处理例程的实现,其中接收的扫描的图像数据(诸如输入文件格式(例如,DICOM、BIF或另一未压缩图像文件格式)),先转换为目标文件格式,然后再存储在服务器缓存中或传输到客户端系统。在一些实施例中,目标文件格式是在客户端系统上运行的标准网络浏览器可读取的格式,即,其格式是网络浏览器可识别的格式,而无需任何进一步的转换或使用任何其他图像读取应用程序。在一些实施例中,输入图像数据还可以分解成较小的文件,这些文件可以存储在服务器缓存中(并且可以根据需要预取预处理图像数据)或传输至客户端系统,可以根据用户请求实时传输,也可以预传输到客户端缓存。在服务器上使用图像数据的这种预处理可以更有效地利用服务器资源(例如,一旦接收到图像数据就进行预处理,而不是根据请求进行实时处理),还可以更快地传输此类数据到客户端系统(例如,使用压缩图像文件格式,或多个图像文件,每个都以压缩图像文件格式)。

本文提供的系统和方法可以应用于生物标本(包括组织病理学标本和/或细胞病理学标本)的任何类型的图像的可视化和分析。在一些实施例中,组织样品经苏木精和伊红染色或经染色以识别一种或多种生物标志物的存在。例如,生物样品可以通过应用一种或多种染色剂进行染色,并且由此产生的图像或图像数据包括对应于一种或多种染色剂中每一者的信号。在一些实施例中,输入图像是仅具有单一染色剂的单纯形图像(如,用3,3'-二氨基联苯胺(DAB)染色)。在一些实施例中,所述生物学样品可以在两种或多种染色剂的多路分析中染色(从而提供多路图像)。在一些实施例中,针对至少两种生物标记物对所述生物学样品进行染色。在一些实施例中,针对至少两种生物标志物的存在对生物样品进行染色,并且还用初染剂(如苏木精)对所述生物样品进行染色。在一些实施例中,针对至少一种蛋白生物标记物和至少两种核酸生物标记物(如DNA、RNA、microRNA等)的存在对所述生物学样品进行染色。

在一些实施例中,所述生物学样品针对一种或多种蛋白生物标记物的存在以免疫组化测定进行染色。例如,可以对生物样品进行染色以检测是否存在人表皮生长因子受体2蛋白(HER2蛋白)(例如,HerceptTestTM(DAKO,Glostrup Denmark)和HER2/neu(4B5)兔单克隆一抗(Ventana,Tucson,Arizona)。

在一些实施例中,针对雌激素受体(ER)、孕激素受体(PR)或Ki-67的存在对所述生物样品进行染色。在一些实施例中,针对EGFR或HER3的存在对生物样品进行染色。Zamay等人“Current and Prospective Biomarkers of Long Cancer”,Cancers(Basel),2018年11月;9(11)描述了其他蛋白生物标志物的实例,其公开内容通过引用以其全文并入本文。Zamay描述的蛋白生物标记物的实例包括CEACAM、CYFRA21-1、PKLK、VEGF、BRAF和SCC。

在一些实施例中,生物样品针对一种或多种核酸(包括mRNA)的存在在原位杂交(ISH)测定中进行染色。美国专利第7,087,379号(其公开内容通过引用整体合并于本文)描述了用ISH探针对样品进行染色进而可以观察和检测代表单个基因拷贝的单个斑点(或点)的方法。在一些实施例中,通过将细胞或组织样品暴露在多个核酸探针上来同时分析多个靶基因,所述核酸探针已经由多个不同的核酸标签标记。

在一些实施例中,本公开的系统适于促进可视化、分析和报告从受试者(例如,从人患者获得的活检样品)获得的生物图像数据。图1A至图1D中描绘了示例性客户端-服务器系统150,包括服务器160和客户端系统170(例如,数字病理分析系统),它们通过网络130联接在一起,网络130可以是例如互联网或内联网。服务器160包括联接至存储器子系统162的处理器161、用户界面163、大容量存储设备164和网络接口165。在一些实施例中,大容量存储设备164包括用于图像数据(诸如预处理图像数据)的预分配的存储空间量。在一些实施例中,网络接口165可以直接联接至网络130,或者可以通过互联网服务提供商(ISP)180或其他实体联接至网络130。在一些实施例中,服务器160可以包括另外的模块,诸如图像管理模块188(参见图1D)。在一些实施例中,图像管理模块188可以包括逻辑或软件以加载、读取和转换包括图像数据的文件。在一些实施例中,图像管理模块188可以包括转换器,该转换器配置为获取进入的扫描的图像数据并且自动地将其转换以分配至界面并在界面(例如网络浏览器)内查看。

类似地,客户端系统170包括联接至存储器子系统172、用户界面171、存储子系统104和网络接口112的处理子系统102。在一些实施例中,存储子系统104可以包括用于存储图像数据的预分配空间,诸如从服务器160接收的预处理图像数据。客户端170可以直接联接至网络130,也可以通过ISP 185或其他实体联接至网络130。客户端系统的用户界面171可以包括显示器108、键盘和鼠标和/或其他图形输入装置106。另外地或可替代地,用户界面171可以是例如触摸屏。在一些实施例中,用户界面171由处理子系统102渲染并提供在显示器108上,以(i)促进成像数据和/或患者数据的可视化和分析;和/或(ii)基于接收的用户输入,从数据库或大容量存储设备164中检索成像数据、患者信息或其他临床信息,诸如可通过网络130获得的一个。

在一些实施例中,服务器160和客户端系统170均包括缓存,即分别在大容量存储设备164或存储子系统104内分配的存储空间。在一些实施例中,大容量存储设备164或存储子系统104内的缓存配置为存储图像数据,诸如从设置在显微镜载玻片上的生物标本的整个载玻片扫描得到的预处理图像数据。

在一些实施例中,软件,诸如查看器应用程序120和缓存代理140,在客户端系统170上运行,并且服务器160上的客户端界面或客户端门户(未示出)用于促进客户端系统170与服务器160之间的通信(参见图1B)。在一些实施例中,查看器应用程序120在服务器160上远程运行,并且查看器应用程序120的实例在客户端系统170上的浏览器195内运行(参见图7C)。如此,用户(例如,病理科医生)可以与系统的元件(例如,可配置的元件)进行交互,从而可以分析和/或解释图像数据(例如,组织学家或病理科医生可以选择用户可配置参数,诸如菜单栏工具和/或查看器面板)。

在一些实施例中,本地运行的查看器应用程序120或浏览器195向运行在远程服务器160上的应用程序发送对图像数据文件的位置的请求。在一些实施例中,信息数据文件的位置存储在一个或多个URL中。图像数据文件的位置可以在远程服务器上,诸如在远程服务器上的缓存中,或者可以在通信地联接至客户端系统的本地缓存中。无论何种方式,发送的位置信息(例如,URL)提供适当的图像数据文件或图像图块文件的位置以供检索。在一些实施例中,URL提供另外参数,诸如清晰度、对比度、饱和度、颜色等。包括参数的URL的实例如下:https://localhost/restapp/slide/imageFetcher/1012/116?quality=2&roff=3072,0&rsiz=1536,1536&imgtype=jpg&brightness=0&contrast=0&saturation=0&sharpness=0&hue=0&color=0,0,0&transformType=SRGB

图2A示出了通信地联接至扫描装置110的服务器160(计算机或计算装置)。在一些实施例中,服务器160可以包括软件以命令扫描装置110使用某些用户可配置参数执行某些操作,并将获取的成像数据发送到处理子系统161或大容量存储设备164。在一些实施例中,扫描装置110可以通信地联接至服务器160,由此可以将扫描的载玻片通过网络130传输到服务器160,并且存储在大容量存储设备164上,以用于以后的检索,例如,整个载玻片图像或从整个载玻片图像得到的预处理图像图块都可以存储在服务器上。例如,可以使用扫描装置110获取图像数据,并且将扫描的图像数据存储在位于大容量存储设备164或其他网络服务器上的文件中,由此文件(包括相关元数据、患者病例标识符和用户标识)可以稍后检索以进行可视化和分析(诸如从客户端170)。在一些实施例中,例如,服务器160和扫描装置110被单独维护,例如,由不同组织维护,其中载玻片可以由一个参与者扫描并在另一参与者的控制下传输到服务器160。

图2B和2C是根据本公开的实施例的客户端系统170的框图。客户端系统170可以使用任何类型的用户可操作的计算装置来实现,包括台式计算机、膝上型计算机、平板计算机、手持式装置(例如智能电话、媒体播放器)等等。如上所述,客户端系统170可以包括多个互连的组件,诸如如下面更详细地讨论的处理子系统102、存储子系统104、用户输入设备106、显示器108和经由总线114进行通信的网络接口112。

处理子系统102可以包括单个处理器(其可以具有一个或多个核),或者可以包括多个处理器(每个具有一个或多个核)。在一些实施例中,处理子系统102可以包括一个或多个通用处理器(例如CPU)、专用处理器(例如图形处理器,GPU)、数字信号处理器、或这些和其它类型的处理器的任意组合。在一些实施例中,可以使用例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)之类的定制电路来实现处理子系统中的一些或所有处理器。在一些实施例中,这样的集成电路执行存储在电路本身上的指令。仅作为实例,处理子系统102可以执行指令以接收和处理存储在本地或网络存储系统内的图像数据并显示图像数据(例如,显示整个载玻片扫描图像,或任何整个载玻片扫描图像的放大部分)。

存储子系统104和/或存储器子系统172(以及它们在服务器160上的对应物)可以包括各种存储器单元,诸如系统存储器、只读存储器(ROM)和永久性存储装置。ROM可以存储处理子系统102和客户端系统170的其他模块所需的静态数据和指令。所述永久存储设备可以是读写存储设备。永久存储装置可以是即使在客户端系统170断电时也存储指令和数据的非易失性存储单元。在一些实施例中,大容量存储设备(例如磁盘或光盘或闪存)可以用作永久存储设备。其它实施例可以使用可移动存储设备(例如闪存驱动器)作为永久存储设备。所述系统存储器可以是读写存储设备,也可以是易失性读写存储器(例如动态随机存取存储器)。所述系统存储器可以存储处理器在运行时所需的部分或全部指令和数据。

存储子系统104和/或存储器子系统172可以包括非暂时性计算机可读存储介质的任意组合,包括各种类型的半导体存储芯片(DRAM、SRAM、SDRAM、闪存、可编程只读存储器)等等。也可以使用磁盘和/或光盘。在一些实施例中,存储子系统104可包括可读取和/或可写入的可移动存储介质;此类介质的示例包括光盘(CD)、只读数字通用光盘(例如DVD-ROM、双层DVD-ROM)、只读和可读磁盘、超密度光盘、闪存存储卡(例如SD卡、小型SD卡、微型SD卡等)等等。在一些实施例中,图像数据和/或患者数据可以存储在一个或多个远程位置,例如云存储中,并与客户端系统170的其他组件同步。当在本文中使用术语“存储器”或“一存储器”时,它们可以指一个或多个存储器,例如多个存储器。

在一些实施例中,存储子系统104可以存储一个或多个待由处理子系统102执行的软件程序,诸如查看器应用程序120或缓存代理140。“软件”通常指指令序列,当由处理子系统102执行时,使客户端系统170执行各种操作,从而定义一种或多种执行和实施软件程序的操作的特定机器实施方式。因此,“软件”还可以包括固件或嵌入式应用或处理子系统102可读和可执行的任何其它类型的指令。软件可以实现为单个程序,也可以实现为按期望交互的单独程序或程序模块的集合。在一些实施例中,程序和/或数据可以存储在非易失性存储器中,并在程序执行期间全部或部分拷贝到易失性工作存储器中。处理子系统102可以从存储子系统104中检索要执行的程序指令和要处理的数据,以便执行包括以下描述的操作的各种操作。

可以将用户界面171提供给显示装置108和/或一个或多个其他用户输出装置(未示出)。用户界面171可以包括,例如,可视化和其他表示,该表示包括从染色的生物样品(例如,针对一种或多种生物标志物的存在被染色或经苏木精和伊红染色的样品)的扫描得到的图像、菜单栏、下拉菜单和/或面板。输入装置106可以包括用户可以通过其向客户端系统170提供信号的任何装置;客户端系统170可以将信号解释为指示特定用户请求或信息。在一些实施例中,输入装置106可以包括键盘触摸板、触摸屏(例如显示器108的显示表面上的触敏覆盖)、鼠标或其他点选装置、滚轮、点击轮、拨盘、按钮、开关、键盘、麦克风等中的任一个或全部。

显示器108可以显示由客户端系统170生成的可视化(例如,包括图像数据的表示,向用户传达信息的查看器面板,或提供用户可选择的配置选项的上下文菜单等),并且可以包括各种图像生成技术,例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)(包括有机发光二极管,OLED)、投影系统等,以及支持电子设备(例如数模转换器或模数转换器、信号处理器等)。一些实施例可以包括既充当输入设备又充当输出设备的设备,例如触摸屏。在一些实施例中,除了显示器108之外或代替显示器,可以提供其它用户输出设备。

在一些实施例中,用户界面可以提供图形用户界面(诸如通过浏览器或在客户端系统170上的查看器应用程序中),其中显示器108的某些区域中的可见图像元素定义为用户使用用户输入设备106选择的活动元素、交互元素或控制元素。例如,用户可以操纵用户输入设备106以将屏幕上的光标或指针定位在所述控制元素上,然后“点击”按钮以指示选择,以及选择发送信号以执行指定的动作或例程。例如,用户可以操纵用户输入设备106以选择用户界面内的图标(诸如在查看器面板、菜单栏中或下拉菜单内的图标),这将实现操作的启动或工具的选择。在一些实施例中,用户可以操纵用户输入设备106以选择患者病例内的某些图像、放大图像、平移显示的图像(即改变视野)、倾斜图像、旋转图像等。在一些实施例中,用户可以操纵用户输入设备106,以便与下拉菜单交互以选择一个或多个面板,包括交互面板。

另外地或可替代地,用户可以(例如用手指或手写笔)触摸触摸屏装置上的控制元素。在一些实施例中,用户可以说出与控制元素相关联的一个或多个单词(该单词可以是例如元素上的标签或与元素相关联的功能)。在一些实施例中,可以将触敏设备上的用户手势识别并解释为输入命令;这些手势可以但不必与显示器108上的任何特定区域相关联。其它用户界面也可以实现。

网络接口112可以为客户端系统170提供数据通信能力。在一些实施例中,网络接口112可以包括用于访问无线语音和/或数据网络(例如使用蜂窝电话技术、高级数据网络技术(诸如3G、4G或EDGE、5G、WiFi(IEEE 802.11系列标准))、或其它移动通信技术或其任意组合)的射频(RF)收发器部件、GPS接收器部件和/或其它部件。在一些实施例中,除了无线接口之外或代替无线接口,网络接口112可以提供有线网络连接性(例如以太网)。可以使用硬件(例如天线、调制器/解调器、编码器/解码器以及其它模拟和/或数字信号处理电路)和软件部件的组合来实现网络接口112。

总线114可以包括通信地连接客户端系统170的大量组件的各种系统总线、外围总线和芯片组总线。例如,总线114可以将处理子系统102与存储子系统104通信地联接。总线114也可以连接至输入设备106和显示器108。总线114还可以通过网络接口112将处理子系统102联接至网络。以这种方式,客户端系统170可以连接至多个计算机系统的网络130(例如,局域网(LAN)、广域网(WAN)、内联网,或网络的网络诸如互联网)。技术人员将理解,可以将其他组件(诸如扫描装置、扫描装置、组织处理系统)连接至总线114。

一些实施例包括电子部件,例如微处理器、存储设备和将计算机程序指令存储在计算机可读存储介质中的存储器。本文描述的许多特征可以实现为指定为编码在计算机可读存储介质上的一组程序指令的过程。当这些程序指令由一个或多个处理单元执行时,它们使处理单元执行程序指令中指示的各种操作。程序指令或计算机代码的示例包括(例如由编译器产生的)机器代码和文件(包括由计算机、电子部件或使用解释器的微处理器执行的高级别代码)。

通过适当的编程,处理子系统102可以为客户端系统170提供各种功能。例如,处理子系统102可以执行浏览器,该浏览器与远程服务器160通信,并且有助于浏览和解释生物样品的扫描图像。浏览器可以配置为运行远程应用程序(诸如查看器应用程序)的实例,并且可以提供各种功能,诸如选择用户可配置选项或用户可选面板的能力,或者控制导航和注释图像的能力(参见图2C)。作为另一实例,处理子系统102可以执行具有用户界面的查看器应用程序120(即,诸如在图2B中本地运行的查看器应用程序),该用户界面便于查看和解释生物样品的扫描图像。查看器应用程序120可提供各种功能,诸如选择用户可配置选项或用户可选面板的能力,或控制导航和注释图像的能力。

在一些实施例中,查看器应用程序120合并了各种互操作模块(例如代码块),当由处理子系统102内的一个或多个处理器执行时,所述互操作模块实现界面操作的各方面。例如,查看器应用程序120可以包括内容获取器122(例如,适于通过网络130从服务器160检索URL或图像数据的获取器)、内容渲染器124(例如以解密接收的图像数据或患者数据)、GUI渲染器126(例如,基于用户选择和命令并基于内容获取器122接收的图像数据连续生成表示和可视化)和UI解释器128(例如,解释用户选择和命令,诸如平移命令;缩放命令;以及选择命令)。

参考图2B,在一些实施例中,查看器应用程序120配置为与服务器160通信,例如,配置为发送对图片位置信息的请求,例如URL,至服务器160,并从服务器160接收此类图像位置信息。在一些实施例中,查看器应用程序120可以与缓存代理140通信,以基于接收的位置信息(诸如在一个或多个URL中)访问客户端缓存中的图像数据。在一些实施例中,如果客户端缓存不再包括缓存中请求的图像数据(例如,图像数据可能已根据用户建立的标准自动从缓存中删除),则可以将查看器应用程序120(或缓存代理140)重定向到服务器(或反向代理)以检索图像数据。

参考图2C,在一些实施例中,查看器应用程序120代替地在服务器160上运行(诸如通过网络130),并且浏览器195在客户端系统170上运行,由此浏览器195可以远程运行查看器应用程序的实例,或者浏览器可以与查看器应用程序或远程服务器160上运行的其他软件进行通信。在任何一种情况下,浏览器均配置为将对图像数据位置(诸如URL)的请求发送到服务器160。在一些实施例中,基于接收的文件位置信息,浏览器195可以与缓存代理140通信以基于接收的图像位置信息来访问客户端缓存中的图像数据。在一些实施例中,如果客户端缓存不再包括缓存中请求的图像数据(例如,图像数据可能已根据用户建立的标准自动从缓存中删除),则可以将浏览器195(或缓存代理140)重定向到服务器(或反向代理)以检索图像数据。

在一些实施例中,缓存代理140可以通信地联接至客户端系统170的查看器应用程序120或浏览器195,并且还通信地联接至服务器160。在一些实施例中,缓存代理140与本地运行的查看器应用程序120或浏览器195分离,并且在一些实施例中,缓存代理140始终运行,也就是说,即使在关闭查看器应用程序120或浏览器195之后它也运行。在一些实施例中,缓存代理140例如通过HTTP协议直接与服务器160通信,并且其本身可以被视为在客户端系统170上运行的HTTP服务器。

在一些实施例中,缓存代理140是客户端缓存管理应用,其被配置为管理图像数据(例如,或扫描图像的一部分,诸如本文所述的图像图块)并根据各种事件或预先建立的用户标准管理图像数据或图像图块的缓存。在一些实施例中,缓存代理140在运行时可以基于从服务器160接收的位置信息自查看器应用程序120或浏览器195接收请求,诸如接收包括预处理图像数据的图像数据的请求。举例来说,服务器160可以配置为自动将新接收的或扫描的图像数据发送到客户端系统170(诸如在对扫描的图像数据进行预处理之后),并且缓存代理140可以管理与服务器160的通信,并且管理图像数据的接收。在一些实施例中,缓存代理140配置为管理客户端缓存本身,例如,确定诸如基于预先建立的用户标准(在本文进一步描述)保留哪些图像数据集以及删除哪些图像数据集。在一些实施例中,缓存代理140配置为确定是保留还是删除先前已经可视化和/或分析的图像数据集。在一些实施例中,客户端缓存是客户端系统170的存储子系统104内的预分配的存储空间量。

在一些实施例中,缓存代理140可以任选地将数据发送到服务器,以指示某些图像数据集(或整个患者病例)已由用户检查和/或已经删除或将要从缓存中删除的图像数据(诸如根据用户配置的缓存到期标准的设定日期)。在一些实施例中,缓存代理140不向服务器160提供数据。

在一些实施例中,缓存代理140可以配置为促进将图像数据传递到浏览器195或查看器应用程序120。例如,查看器应用程序120可以基于用户输入来请求所需的图像数据的位置,并且可以从服务器160请求该信息(例如,它可以请求图像数据的URL),并且缓存代理140可以用于检索来自客户端缓存的图像数据,前提是该图像数据由缓存代理140保留。

用图像数据填充客户端缓存

图3显示了说明从染色的生物样品中获取图像数据的流程图。在第一步骤(300)中,病理科医生创建并输入病理工作单。在一些实施例中,病理科医生具有分配的用户标识。如此,病理科医生创建的任何工作单都可以追溯到病理科医生的用户标识。

接下来,对染色的载玻片(诸如由组织病理科医生制备的载玻片)进行扫描(步骤310)。在一些实施例中,图像数据从扫描装置(诸如VENTANA DP 200扫描仪,可从VentanaMedical Systems,Inc.,Tucson,AZ获得)获取,并且图像数据可以存储在数据库中,诸如联网的数据库中或在大容量存储设备164上,用于以后进行可视化和分析。

在一些实施例中,扫描装置生成每个载玻片的高分辨率图像以用于随后的显示和查看。在一些实施例中,扫描装置以多个放大级(例如,20x或40x)产生每个载玻片的高分辨率图像。在一些实施例中,与标本有关的所有载玻片的图像数据和标本的临床详细信息可以与关于虚拟载玻片的元数据一起存储在数据库中。扫描的载玻片与患者病例标识信息(和病理科医生用户标识)相关联,包括元数据。在一些实施例中,以第一文件格式(例如,未压缩图像文件格式)存储扫描的图像数据。在一些实施例中,扫描的图像数据(例如,整个载玻片图像的扫描)存储为DICOM文件、BIF文件或TIFF文件。在一些实施例中,DICOM文件或BIF文件可以包括多个放大级的RAW图像数据或其他未压缩的图像数据。

随后,来自扫描装置110的图像数据和相关的患者病例标识信息被发送到服务器160以进行存储(例如,发送到服务器160并被存储在大容量存储设备164内)(图3的步骤320,图10的步骤1000)。在一些实施例中,扫描的图像数据被存储为单独的文件,即,单个文件被存储在服务器160上,该单个文件代表以第一文件格式对整个载玻片图像的扫描。在一些实施例中,应用户请求,生成图像图块并将其发送到客户端系统。

在一些实施例中,在从扫描装置110接收扫描的图像数据之后,诸如利用图像管理模块188,在服务器160上自动对其进行预处理(参见图10,步骤1010)。在一些实施例中,图像管理模块188包括逻辑或软件,以加载接收的图像数据,读取接收的数据,将接收的图像数据从第一格式转换为第二格式和/或执行其他图像处理操作,诸如提取接收的图像数据的部分,并将提取的部分输出到单独的文件。

在一些实施例中,对扫描的图像数据进行预处理,使得将第一格式(例如,输入文件格式)的单个图像文件转换为具有第二格式的单个图像文件,从而第一图像格式和第二图像格式不同。例如,可以将第一格式的整个载玻片图像转换为第二格式的整个载玻片图像。在一些实施例中,第二图像文件格式是目标文件格式。在一些实施例中,目标文件格式是被预先选择以在客户端系统170上使用的一种,或者是与浏览器应用程序(诸如在个人计算机上运行的标准网络浏览器应用程序)兼容的一种。在一些实施例中,第二图像文件格式是压缩文件格式,包括但不限于JPEG、JPEG 2000和PNG。举例来说,可以将单个DICOM、BIF或TIFF图像文件转换为单个压缩图像文件,例如,单个JPEG文件。

另外地或可替代地,在单个DICOM或BIF图像文件包括与多个扫描放大级有关的图像数据的情况下,可以针对每个放大级生成单个压缩图像文件。例如,如果BIF图像包括放大级为20x的整个载玻片图像数据和放大级为40x的整个载玻片图像数据,则可以生成两个压缩图像文件(例如,JPEG文件),一个为20x,另一个为40x,并且两者都是完整的载玻片图像。在一些实施例中,这些压缩图像文件可以根据请求被发送给用户(例如,根据请求,可以以一定放大倍率将压缩图像文件分解成多个图块,并实时发送给用户)。

在一些实施例中,对扫描的图像数据进行预处理(图10的步骤1010),使得将第一格式的单个图像文件分割成多个预处理图像文件,其中多个预处理图像文件中的每一个与第一文件格式相比,处理后的图像文件可以具有相同或不同的文件格式。例如,第一文件格式的单个图像文件,例如TIFF文件格式可以分为多个预处理图像文件,例如500个或更多的预处理图像文件,每个文件具有TIFF文件格式或不同的文件格式。作为另一实例,TIFF图像文件可以被分成具有TIFF格式的多个预处理图像文件,例如,单个TIFF文件可以被分割成500个或更多个TIFF格式的预处理图像文件。

另外地或可替代地,并且再次遵循以上实例,TIFF图像文件可以被分成具有不同文件格式的多个预处理图像文件,诸如压缩图像文件格式,包括JPEG、JPEG2000和PNG。在这些实施例中,TIFF图像文件可以首先被转换为第二文件格式(例如,JPEG),然后被分为多个预处理JPEG图像文件;或者,可以先将TIFF图像文件分成具有TIFF文件格式的多个预处理图像文件,然后再单独转换为JPEG文件。在任一种情况下,结果都是具有不同文件格式的多个预处理图像文件,诸如目标文件格式,包括与Web浏览器兼容的格式。

在一些实施例中,预处理可以生成多组预处理图像文件,并且图像预处理图像文件的每个单独的集合可以包括多个图像图块文件。例如,并且如上所述,DICOM格式或BIF格式的整个载玻片扫描可以包括对应于几个放大级的图像数据,例如,1x、20x和40x。在一些实施例中,可以针对原始整个载玻片扫描内的每个放大级生成多个图像图块文件。例如,第一组生成的预处理图像文件可包括与20x放大倍率相关的多个图像图块文件,而第二组生成的预处理图像文件可包括与40x放大倍率相关的多个图像图块文件。

在一些实施例中,在生成预处理图像文件之后,将它们存储在一个或多个存储器中(步骤1020),该存储器包括但不限于易失性和非易失性存储器。在一些实施例中,预处理图像文件存储在通信地联接至服务器160的大容量存储设备164内的预分配的存储空间中。在一些实施例中,预处理图像文件各自包括唯一的文件名。在一些实施例中,唯一的文件名包括从整个载玻片图像导出的图块图像的位置的坐标。以这种方式,如果用户请求坐标为(x1,y1)、(x2,y1)和(x3,y1)的图块,则基于归因于每个图像图块文件的唯一文件名,可以容易检索与这些位置中的每个位置对应的预处理图块图像文件。

在一些实施例中,预处理图像文件然后可以发送到客户端系统170。在一些实施例中,可在接收到请求获取某些图像数据的用户输入后(例如,参见图710中的步骤710),将预处理图像文件发送到客户端系统170,例如,在用户输入需要特定图像图块时实时传输。在一些实施例中,在图像的预处理完成之后(例如,在步骤1000至1020完成之后),可以将预处理图像文件推出到客户端系统170。例如,可以将预处理图像文件传递到在客户端系统170上运行的缓存代理140,以便如本文所述,在接收到请求特定图像图块的用户输入后,可以从客户端系统的存储子系统本地检索图像数据(参见图3的步骤330;另见图4A和图7)。在一些实施例中,将数据推送到已被分配了特定患者病例标识的客户端系统以及具有特定用户标识的病理科医生所使用的系统。换言之,在一些实施例中,将图像数据推送到分配了患者病例的特定病理科医生的计算机上。

图4A显示了用新接收的(即,新生成的图像数据)填充客户端系统170上的客户端缓存的步骤。在一些实施例中,如果尚未从联接至扫描装置的计算机系统的扫描装置110访问数据,则服务器160访问已经与特定用户标识相关联的新生成的图像数据(步骤400)。在一些实施例中,可以在如上所述将所访问的扫描的图像数据(诸如以输入文件格式)推送到缓存代理140之前对其进行预处理。

接下来,服务器160向客户端系统170执行认证(步骤410),以确保客户端系统170正在运行缓存代理140(使得可以填充管理的客户端缓存),并确保将正确的信息传递给正确计算机和正确用户(即,进行可视化和分析的正确病理科医生)。在一些实施例中,服务器160将认证请求发送到客户端系统170(参见图4B的步骤411)。在认证请求之后,在一些实施例中,客户端系统170将其互联网协议(IP)地址发送到服务器160(图4B的步骤412),服务器160将其验证为属于正确的客户端系统170。接下来,服务器160请求并且客户端系统170发送用户标识数据(图4B的步骤413)。在一些实施例中,一旦识别正确的系统和用户,则已完成认证。当然,其他标识数据可以用于认证目的。

在一些实施例中,认证仅执行一次,例如,在将缓存代理140安装在客户端系统170上之后(例如,参见图9)。在这些实施例中,仍然执行认证,而不是确认用户标识凭证和/或客户端系统170的IP地址,而是仅确认缓存代理仍在系统上运行。

在认证之后,在一些实施例中,服务器160将所有可用的图像数据发送到客户端系统170。在这些实施例中,向缓存代理140提供清除联接至客户端系统170的客户端缓存内的空间以存储所有新接收的图像数据的任务。例如,如果待将10GB的预处理图像图块文件从服务器160传输到客户端系统170,但是客户端缓存中仅有5GB的空间可用,则缓存代理140将删除客户端缓存中5GB的现有图像数据,以便为服务器接收的所有图像数据腾出空间。可以基于诸如本文所述的预先建立的标准来确定可用缓存空间的维护。

在一些实施例中,所有可用图像数据的仅一部分被推送到客户端系统170。例如,并且在一些实施例中,服务器160基于用户是否已经查看数据来发送所访问的图像数据的部分。例如,如果某些图像数据先前已被传送但在该先前传送的图像数据的缓存到期日期之前未被用户查看(如本文所述),则该图像数据(或其部分)可再次被传送至客户端缓存。

在一些实施例中,服务器160基于预定选择标准来传输图像数据的那些部分。在一些实施例中,服务器160传输图像数据中最早的那些部分。例如,如果在可用于推送到客户端系统170的10GB图像数据中,存在从第一扫描日期开始的图像扫描,以及从第二扫描日期开始的图像扫描,并且第一扫描日期在第二扫描日期之前,则从第一个扫描日期开始的较旧图像扫描可能是选择待传输到客户端缓存的图像扫描。在一些实施例中,服务器160发送那些用记号标记的图像数据部分,例如,那些必须无序启动审查的人、具有更高优先级更高的那些、那些属于已经在检查中的病例的图像(例如,为已审查的病例提供新图像的新扫描)等。

在一些实施例中,服务器160可执行对联接至客户端系统170的客户端缓存内有多少存储空间可用的确定(步骤420)。在一些实施例中,在客户端系统170上运行的缓存代理140可以发送表示客户端缓存中的预分配存储空间量的值,该值在服务器160请求时可用。在一些实施例中,服务器利用从缓存代理140传输的值(即表示客户端缓存内可用的存储空间量的值)来确定服务器160接收到的多少可用扫描的图像数据可以传输到客户端缓存。在一些实施例中,服务器160基于客户端缓存中的可用空间来选择图像数据的各部分以传递给客户端缓存(步骤430)。

例如,如果可用于在服务器上传递的图像数据包括10GB的信息,并且客户端缓存中仅有5GB的存储空间可用,则服务器160可以确定待发送图像数据的哪些部分,即哪例患者病例、图像、预处理图像或其一部分、图像图块等,以基于客户端缓存内的可用空间发送到客户端系统170。在一些实施例中,选择用于传递的图像数据的部分可以来自单例患者病例或来自多例患者病例。例如,可以传递与第一患者病例有关的一系列预处理图像图块,并且可以从第二患者病例中传递另一系列预处理图像文件。在一些实施例中,选择用于传递的图像数据的部分可以是从扫描图像文件内的某些放大倍率得出的预处理图像图块(例如,考虑到客户端缓存内的空间限制,仅传递40x放大倍率的预处理图像图块,而不是传递三组不同的放大倍率的预处理图像图块)。在一些实施例中,利用来自服务器160的可用图像数据填充客户端缓存的整个自由可用空间。

在将保留在服务器上的至少一部分可用图像数据传递到客户端缓存之后,生成一个或多个提供所存储图像数据位置的URL并将其存储在服务器160上(这些URL可以随后由查看器应用程序检索,例如由服务器上运行的查看器应用程序或客户端系统上浏览器中加载的查看器应用程序的实例来检索)。在一些实施例中,URL包括各种图像参数,包括亮度、清晰度、对比度、颜色等。合适的URL的实例如下:https://localhost/restapp/slide/imageFetcher/1012/116?quality=2&roff=3072,0&rsiz=1536,1536&imgtype=jpg&brightness=0&contrast=0&saturation=0&sharpness=0&hue=0&color=0,0,0&transformType=SRGB。在一些实施例中,如果待从客户端缓存中获取图像,则URL的一部分可以与客户端代理URL一起使用。在一些实施例中,URL可以由客户端系统170(诸如在客户端系统170上运行的查看器应用程序120和/或缓存代理140)检索,使得图像数据(诸如客户端缓存内存在的图像数据)可以被检索以进行可视化和/或分析。

在一些实施例中,缓存代理140管理存储在客户端缓存中的图像数据,该客户端缓存驻留在客户端系统170的存储子系统104上(参见图6的610)。在一些实施例中,缓存代理140周期性地维护客户端缓存,例如,在固定的时间或固定的时间间隔。在一些实施例中,缓存代理140根据需要维护客户端缓存。在一些实施例中,缓存代理140从客户端缓存中删除已经由用户检查过的那些缓存的图像数据集(参见图5的步骤510)。例如,缓存代理140可以删除与已经检查过的特定载玻片集合有关的缓存图像数据。作为另一实例,缓存代理140可以配置为删除用户已经检查过的全部患者病例。

在一些实施例中,缓存代理140可以配置为基于预先存在的和用户建立的标准来删除缓存的图像数据(参见步骤520)。例如,如果用户未能在预定的时间段内查看缓存的图像数据,则可以删除缓存的图像数据。作为另一实例,无论图像数据是否已经被用户查看(例如,3天、1周或1个月的设定时间段),缓存的数据本身都可以具有有效期。作为又一实例,如果已经将患者病例从一个用户重新分配给另一个用户,则可以通过缓存代理140删除缓存的数据。作为又一个实例,一旦满足某个存储空间阈值,例如,如果在预分配的客户端缓存中仅剩余一定量的空间可用,则可以删除较旧的缓存数据并且可以保留较新数据,以预期从服务器160接收新的图像数据。

在一些实施例中,运行在客户端系统170上的缓存代理140配置为诸如在每天的特定时间周期性地接收新的图像数据。在一些实施例中,缓存代理140配置为一旦新图像数据在服务器160上变得可用就接收新图像数据(即,一旦服务器接收到新扫描的图像和/或患者病例并且准备好传输)。参考图6,可以从远程服务器160接收请求(步骤620),并且远程服务器160可以检查以查看缓存代理140是否在客户端系统170上安装和/或运行。在一些实施例中,执行认证(步骤630)(另见图4B)。在缓存代理140与客户端系统170之间建立认证会话之后,缓存代理140可以接收存储的图像数据以存储在预分配的客户端缓存中(步骤640)。

然后,在已经从用户接收到对图像数据的请求之后,客户端系统170可以访问客户端缓存内的图像数据以进行可视化(参见图7和图8)。参照图7,在第一步骤中,查看器应用程序120接收与图像数据的选择有关的第一用户输入,例如,用户输入,其中需要另外的图块来完成平移操作(步骤710)。在一些实施例中,查看器应用程序120在客户端系统170上运行。在一些实施例中,查看器应用程序120在远程服务器160上运行,但是查看器应用程序的实例经由客户端系统170上的浏览器195访问。如果通过浏览器访问查看器应用程序,则浏览器可以接收用户输入,并且那些用户输入可以远程传输。

随后,对图像数据的请求从查看器应用程序120发送到远程服务器160。在一些实施例中,在客户端系统170和远程服务器160之间执行认证(步骤720),并且客户端系统170可以向远程服务器160发送缓存代理140正在客户端系统170上运行的信号。在一些实施例中,然后远程服务器160将一个或多个URL发送至查看器应用程序120,其中一个或多个URL中的每一个提供关于请求图像数据的存储位置的位置信息(步骤730)。在一些实施例中,查看器应用程序120确定请求的图像数据是否存在于客户端缓存中(步骤740)。在一些实施例中,查看器应用程序120基于所提供的URL并假设图像数据存储在客户端缓存中,可以直接从客户端缓存中检索该图像数据(步骤750)。在一些实施例中,缓存代理140基于从查看器应用程序120接收的指令从客户端缓存中检索图像数据。在一些实施例中,基于所提供的URL,查看器应用程序120被重定向到用于请求的图像数据的远程服务器(或在远程服务器上运行的反向代理)(步骤750)(在这个实例,如果图像数据在客户端缓存维护期间被缓存代理140删除,则在缓存中找不到图像数据)。一旦查看器应用程序120接收到图像数据,则将其可视化(步骤760)。当接收新用户输入(诸如第二、第三和第四用户输入)时,重复该过程。对于用户查看的每例患者病例也重复该过程。

参照图8,在一些实施例中,查看器应用程序在服务器160上远程运行,并且该查看器应用程序的实例被加载到在客户端系统170上本地运行的浏览器中。以这种方式,用户将以与查看器应用程序在客户端系统170上本地运行相同的方式使用查看器应用程序。在该方面,在执行认证和检查以查看缓存代理140是否在客户端系统170上运行之后,加载到浏览器的查看器中进行的用户输入将使查看器应用程序检索请求的图像数据。然后,远程运行的查看器应用程序将向浏览器发送一个或多个URL,浏览器将尝试获取这些URL,诸如从客户端系统上的客户端缓存内部(以及通过在客户端系统170上运行的缓存代理140)。如果图像数据存在于本地客户端缓存中,则浏览器将从该缓存中检索图像。否则,浏览器将被重定向到将检索图像数据的远程服务器(例如,反向代理)。无论哪种情况,检索到的图像数据均将被加载并可视化。

在一些实施例中,在客户端系统和远程服务器之间执行认证,并且客户端系统可以向远程服务器发送缓存代理正在客户端系统上运行的信号。在一些实施例中,然后远程服务器可以向在客户端系统上运行的浏览器发送一个或多个URL,其中一个或多个URL中的每一个提供关于请求图像数据的存储位置的位置信息。在一些实施例中,浏览器确定请求的图像数据是否存在于客户端缓存中。在一些实施例中,浏览器基于所提供的URL并假设图像数据存储在客户端缓存中,可以直接从客户端缓存中检索该图像数据(例如,通过在客户端系统上运行的缓存代理)。在一些实施例中,基于所提供的URL,浏览器被重定向到用于请求的图像数据的远程服务器(或在远程服务器上运行的反向代理)(在这个实例,如果图像数据在客户端缓存维护期间已被缓存代理删除,则在缓存中找不到该图像数据)。一旦浏览器接收到图像数据,则将其可视化。当接收新用户输入(诸如第二、第三和第四用户输入)时,重复该过程。对于用户查看的每例患者病例也重复该过程。

其他实施例

本说明书描述的主题和操作的实施例可以在数字电子电路,或在计算机软件、固件或硬件中实现,包括本说明书公开的结构及其类似结构,或它们中的一个或多个组合。本说明书所述主题的实施例可作为一个或多个计算机程序来实现,即作为一个或多个计算机程序指令模块来实现,为由数据处理设备执行,或控制数据处理设备的操作,所述一个或多个计算机程序指令模块可在计算机存储介质上编码。本文所述的任何模块均可以包括由所述处理器执行的逻辑。本文所使用的“逻辑”是指具有任何形式的可影响处理器操作的指令信号和/或数据的信息。软件是逻辑的一个实例。

计算机存储介质可以是或可包含在计算机可读存储设备、计算机可读存储基片、随机或串行存取存储器阵列或设备,或它们的一个或多个组合中。此外,尽管计算机存储介质不是传播信号,但它可以是在人工生成的传播信号中编码的计算机程序指令的源或目的。所述计算机存储介质也可以是或可包含在一个或多个单独的物理组件或介质(如多个CD、磁盘或其他存储设备)中。本说明书中所述的操作可以以由数据处理设备对存储在一个或多个计算机可读存储设备上或从其他来源接收的数据进行的操作来实现。

术语“编程处理器”涵盖处理数据的各种设备、装置和机器,例如包括可编程微处理器、计算机、芯片上系统、或上述的多个或组合。所述设备可以包括特殊用途的逻辑电路,如FPGA(现场可编程门阵列)或ASIC(特定用途集成电路)。除硬件外,所述设备还可以包括为所述有关计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们的一个或多个组合的代码。所述设备和执行环境可以实现各种不同的计算模型基础架构,例如,网络服务、分布式计算和网格计算基础架构。

计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言编写,包括编译型或解释型语言、说明性语言或程序化语言,并且它可以任何形式部署,包括作为独立程序或作为模块、组件、子程序、对象或其他适合在计算环境中使用的单元。计算机程序可以但不必与文件系统中的文件相对应。一个程序可以存储在保存其他程序或数据的部分文件中(如存储在标记语言文件中的一个或多个脚本),也可以存储在专门用于有关程序的单个文件中,或者存储在多个协调的文件中(如存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以部署在一台计算机上执行,也可以部署在多台计算机上执行,这些计算机位于一个站点或分布在多个站点,并通过一个通信网络相互连接。

本说明书中描述的过程和逻辑流程可以由一个或多个执行一个或多个计算机程序以通过对输入数据的运算并产生输出结果完成操作的可编程处理器来执行。所述过程和逻辑流程也可以由特殊用途的逻辑电路执行,如FPGA(现场可编程门阵列)或ASIC(特定用途集成电路),并且,设备也可实现为特殊用途的逻辑电路。

例如,适用于执行计算机程序的处理器包括通用和专用微处理器,以及数字计算机的任何一种或多种的处理器。一般来说,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是一个按照指令执行操作的处理器和一个或多个存储指令和数据的存储设备。一般来说,计算机还将包括或有效联接至一个或多个用于存储数据的大容量存储设备(磁盘、磁光盘或光盘),以从所述设备接收数据或向其传输数据或两者兼有。但是,计算机不需要这样的装置。此外,计算机可以嵌入另一个装置,如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制器、全球定位系统(GPS)接收器或便携式存储设备(如通用串行总线(USB)闪存驱动器)等。适合存储计算机程序指令和数据的装置包括各种形式的非易失性存储器、介质和存储器设备,例如包括半导体存储器设备,如EPROM、EEPROM和闪存设备;磁盘,如内部硬盘或可移动磁盘;磁光盘;以及CD-ROM和DVD-ROM磁盘。所述处理器和所述存储器可以由特殊用途的逻辑电路添加,或并入其中。

为了方便与用户的交互,本说明书所述主题的实施例可以在计算机上实现,所述计算机具有向用户显示信息的显示装置,如LCD(液晶显示器)、LED(发光二极管)显示器或OLED(有机发光二极管)显示器,以及键盘和定点设备,如鼠标或轨迹球,所述用户可以通过它们实现对计算机的输入。在一些实施方式中,触摸屏可用于显示信息和接收用户的输入。其他种类的装置也可用于方便与用户的交互;例如,向用户提供的反馈可以是任何形式的感觉反馈,如视觉反馈、听觉反馈或触觉反馈;并且可以以任何形式接收用户的输入,包括声音、语音或触觉输入。此外,计算机可以通过向用户使用的装置发送文件以及从该装置接收文件实现与用户的交互;例如,通过响应从用户客户端设备上的网络浏览器接收的请求而向所述网络浏览器发送网页。

本说明书所述主题的实施例可以在计算系统中实现,所述计算系统包括后端组件,如作为数据服务器,或者包括中间软件组件,如应用服务器,或者包括前端组件,如具有图形用户界面或Web浏览器的客户端计算机,用户可以通过所述浏览器与本说明书所述主题的实施方式进行交互,或者一个或多个此类后端、中间软件或前端组件的任意组合。所述系统的各组件可以通过数字数据通信的任何形式或介质(如通信网络)相互连接。通信网络的实例包括局域网(“LAN”)和广域网(“WAN”)、互联网络(如互联网)和对等网络(如专设对等网络)。例如,图1的网络20可以包括一个或多个局域网。

所述计算系统可以包括任何数量的客户端和服务器。通常,客户端和服务器之间彼此是远程设置,并且一般情况下通过一个通信网络进行交互。借助运行在各自计算机上的计算机程序以及彼此之间的客户端-服务器关系产生客户端和服务器之间的关系。在一些实施例中,服务器将数据(如HTML页面)传输到客户端设备(如用于向与所述客户端设备交互的用户显示数据和接收该用户的输入)。在所述客户端设备上产生的数据(如用户交互的结果)可以在所述服务器上从所述客户端设备接收。

本说明书中提到的和/或应用数据表中列出的所有美国专利、美国专利申请公开、美国专利申请、国外专利、国外专利以及非专利公开均通过引用整体并入本文。如果需要采用各种专利、申请和出版物的概念来提供其它实施例,则可以修改实施例的各方面。

尽管已经参照一些说明性实施例描述了本公开,但应当理解,本领域技术人员可以在本公开原则的精神和范围内设计出许多其他的修改和实施例。更具体地,在不违背本公开的精神的情况下,在上述公开、附图和所附权利要求的范围内,所述主题组合排列的组成部分和/或布置可以进行合理的变化和修改。除了在所述组成部分和/或布置中的变化和修改外,对于本领域技术人员来说,替代用途也将是显而易见的。

45页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:先进循环选择系统和用于支持有效回波比较方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!