提供与应用有关的文本翻译管理数据的方法及其电子装置
阅读说明：本技术 提供与应用有关的文本翻译管理数据的方法及其电子装置 (Method of providing text translation management data related to application and electronic device thereof ) 是由 李始炯 金范洙 金宣廷 金树完 金在贤 宋仁善 李贤奭 崔智焕 于 2019-02-21 设计创作，主要内容包括：本公开的某些实施例涉及一种用于在电子装置中通过使用外部电子装置来翻译图像中包括的文本的设备和方法。一种方法包括：在显示器上显示图片,该图片包括在图片内的位置处承载文本的对象；提取文本；从提取的文本生成另一文本；以及将另一文本自动覆盖在显示器上的另一图片中的该对象上,该另一图片在另一图片内的另一位置处包括该对象。(Certain embodiments of the present disclosure relate to an apparatus and method for translating text included in an image by using an external electronic device in an electronic device. One method comprises the following steps: displaying a picture on a display, the picture including an object bearing text at a location within the picture; extracting a text; generating another text from the extracted text; and automatically overlaying another text over the object in another picture on the display, the other picture including the object at another location within the other picture.)
技术领域
本公开的某些实施例涉及一种用于在电子装置中提供包括在通过相机获得的图像中的文本的翻译服务的设备和方法。
背景技术
随着信息和通信技术和半导体技术的增强，各种类型的电子装置正在向提供各种多媒体服务的多媒体装置发展。例如，多媒体服务可以包括蜂窝电话服务、IP语音(Voiceover IP，VOIP)服务、消息服务、广播服务、无线互联网服务、相机、电子支付或媒体重放中的至少一种。
以上信息仅作为背景信息呈现，以帮助理解本公开。关于以上内容中的任何一项是否可以适用作关于本公开的现有技术，没有做出决定，也没有做出断言。
发明内容
问题的解决方案
电子装置可以通过使用相机来提供各种服务以增强用户的便利性。例如，电子装置可以搜索通过相机拍摄的产品的信息，并且可以输出该信息。它还可以提供关于通过相机获得的图像中包括的文本的翻译服务。
电子装置可以将通过相机获得的图像中包括的文本翻译成用户期望的语言，并且可以显示该文本。例如，电子装置可以通过用于预览图像的光学字符识别(opticalcharacter recognition，OCR)来识别包括在通过相机获得的预览图像中的文本。电子装置可以通过翻译引擎将从预览图像识别的文本翻译成用户期望的语言，并且可以将翻译的文本渲染到预览图像的文本区域。
由于电子装置驱动电子装置中的OCR和翻译引擎，因此翻译服务的性能可能受到限制。电子装置可以从外部装置下载数据库和翻译引擎以用于文本的翻译，并且可以将其存储在电子装置中以增强翻译服务的性能。这可能消耗电子装置的大量存储器。
本公开的某些实施例提供一种用于在电子装置中通过使用外部电子装置来提供通过相机获得的图像中包括的文本的翻译服务的设备和方法。
根据本公开的某些实施例，一种电子装置包括相机、显示器、收发器、存储器和处理器，其中处理器被配置为：通过显示器显示通过使用相机获得的包括一个或多个外部对象的第一图像；在显示第一图像的至少一部分时间期间，识别一个或多个外部对象中的与文本相对应的至少一个外部对象；通过收发器将与至少一个外部对象相对应的第一图像的局部图像发送到外部电子装置；通过收发器从外部电子装置接收与文本相对应的文本；识别在发送局部图像和从外部电子装置接收对应文本的时间期间生成的电子装置或至少一个外部对象的运动；以及，在通过显示器显示包括至少一个外部对象的第二图像时，通过补偿运动在至少一个外部对象上显示对应文本。
根据本公开的某些实施例，一种电子装置的操作方法包括：在电子装置的显示器上显示第一图像，该第一图像通过使用与该电子装置可操作地连接的相机获得、包括一个或多个外部对象；在显示第一图像的至少一部分时间期间，识别一个或多个外部对象中的与文本相对应的至少一个外部对象；将与至少一个外部对象相对应的第一图像的局部图像发送到外部电子装置；从外部电子装置接收与该文本相对应的文本；识别在发送局部图像和从外部电子装置接收对应文本的时间期间生成的电子装置或至少一个外部对象的运动；在通过显示器显示包括至少一个外部对象的第二图像时，通过补偿运动在至少一个外部对象上显示对应文本。
根据本公开的某些实施例，一种电子装置包括相机、显示器、收发器、存储器和处理器，其中处理器被配置为：通过显示器显示通过使用相机获得的第一图像；通过收发器将第一图像的至少一个局部图像和整体图像发送到外部电子装置；当通过收发器从外部电子装置接收到与局部图像或整体图像相对应的文本信息时，基于局部图像或整体图像完善用于显示文本信息的区域；基于电子装置或包括在第一图像中的至少一个外部对象的运动信息来校准文本信息的位置；以及，基于完善的区域信息和位置信息，在第二图像上显示文本信息。
根据某些实施例，存在一种用于对图片进行注释的方法，该方法包括：显示图片，该图片包括在图片内的位置处的承载文本的对象；提取文本；以及在另一图片中的对象上显示另一文本，该另一图片在另一图片内的另一位置处包括该对象。
附图说明
根据以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，在附图中：
图1是根据本公开的某些实施例的用于管理与网络环境中的应用有关的数据的电子装置的框图；
图2是示出根据本公开的某些实施例的相机的框图；
图3是根据本公开的某些实施例的用于在电子装置中通过使用外部电子装置来提供翻译服务的流程图；
图4是根据本公开的某些实施例的用于在电子装置中将用于翻译服务的图像选择性地发送到外部电子装置的流程图；
图5是根据本公开某些实施例的用于在电子装置中提取通过相机获得的图像的局部图像的流程图；
图6是示出根据本公开的某些实施例的通过相机获得的图像的配置的视图；
图7是根据本公开的某些实施例的用于在电子装置中显示从外部电子装置接收的翻译的文本的流程图；
图8A是示出根据本公开的某些实施例的用于通过相机获得的图像的翻译服务的屏幕的视图；
图8B是示出根据本公开的某些实施例的用于通过相机获得的图像的翻译服务的屏幕的视图；
图8C是示出根据本公开的某些实施例的用于通过相机获得的图像的翻译服务的屏幕的视图；
图8D是示出根据本公开的某些实施例的用于通过相机获得的图像的翻译服务的屏幕的视图；
图8E是示出根据本公开的某些实施例的用于通过相机获得的图像的翻译服务的屏幕的视图；
图8F是示出根据本公开的某些实施例的用于通过相机获得的图像的翻译服务的屏幕的视图；
图9是根据本公开的某些实施例的用于在电子装置中设置翻译的文本的显示位置的流程图。
图10A是示出根据本公开的某些实施例的用于在外部电子装置中设置翻译的文本的显示位置的配置的视图；
图10B是示出根据本公开的某些实施例的用于在外部电子装置中设置翻译的文本的显示位置的配置的视图；
图10C是示出根据本公开的某些实施例的用于在外部电子装置中设置翻译的文本的显示位置的配置的视图；以及
图11是根据本公开的某些实施例的用于在电子装置中显示与局部图像相对应的翻译的文本的流程图。
具体实施方式
下面将参考附图在本文中描述本公开的某些实施例。在下面的描述中，由于公知的功能或构造会在不必要的细节上使本公开不清楚，因此不对其进行详细描述。此外，本文中使用的术语是根据本公开的功能定义的。因此，这些术语可以根据用户或操作者的意图和用法而变化。也就是说，必须基于本文所做的描述来理解本文中使用的术语。
图1是示出根据某些实施例的用于管理与网络环境100中的应用相关的数据的电子装置101的框图。参考图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160(触摸屏显示器)、音频模块170、传感器模块176(运动传感器)、接口177、触觉模块179、相机180、电力管理模块188、电池189、通信模块190(除了其他之外还可以包括发送器/接收器(收发器)、调制器/解调器(MODEM)和振荡器的无线通信电路)、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。术语“收发器”可以指单个发送器/接收器，或一组发送器和接收器。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。术语“处理器”，尽管以单数使用，应被理解为意味着一个或多个处理器。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理单元(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标或键盘。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机180可捕获静止图像或运动图像。根据实施例，相机180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括一个或多个天线，并且因此，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
根据某些实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的某些实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的某些实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的某些实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据某些实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据某些实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据某些实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据某些实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图2是示出根据某些实施例的相机180的框图200。参考图2，相机180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可收集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个透镜。根据实施例，相机180可包括多个镜头组件210。在这种情况下，相机180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
闪光灯220可发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯220可包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施例，图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机180或包括相机180的电子装置101的移动来控制图像传感器230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕获的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器240可使用布置在相机180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机180或电子装置101的这样的移动。根据实施例，可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕获了多个图像或者由于快门时滞而导致图像捕获延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可经由显示装置160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器260可对包括在相机180中的部件中的至少一个部件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像提供给在相机180之外的外部部件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可由处理器120经由显示装置160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施例，电子装置101可包括具有不同属性或功能的多个相机180。在这种情况下，所述多个相机180中的至少一个相机180可形成例如广角相机，并且所述多个相机180中的至少另一个相机180可形成长焦相机。类似地，所述多个相机180中的至少一个相机180可形成例如前置相机，并且所述多个相机180中的至少另一个相机180可形成后置相机。
根据本公开的某些实施例的电子装置可以包括各种类型的电子装置。电子装置可以包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器中的至少一个。根据本公开的实施例的电子装置不限于上述装置。
应该理解的是，本公开的某些实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的某些实施例实现为包括存储在机器可读存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，计算机)读取的指令的软件(例如，程序140)。机器可以调用存储在存储介质中的指令，并且可以根据调用的指令进行操作，并且可以包括根据公开的实施例的电子装置(例如，电子装置101)。在处理器的控制下，所述指令当由处理器(例如，处理器120)运行时，处理器可直接运行与指令相应的功能或在处理器的控制下使用其他部件运行与指令相应的功能。所述指令可包括由编译器或解释器产生或运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的某些实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据某些实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。可省略上述子部件中的一个或更多个子部件，或者可添加一个或更多个其它子部件。可选地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据某些实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据某些实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
根据实施例，处理器120可以控制通信模块190将通过相机180获得的图像(预览图像)发送到外部电子装置(例如，电子装置102、电子装置104或服务器108)用于翻译服务。例如，处理器120可以基于通过相机180获得的图像的质量或通过传感器模块176获得的运动信息中的至少一个来确定是否发送通过相机180获得的图像。例如，当通过相机180获得的图像的清晰度(例如，模糊状态)小于或等于参考值时，处理器120可以确定对通过相机180获得的图像的翻译存在限制。也就是说，当通过相机180获得的图像的清晰度小于或等于参考值时，处理器120可以确定不将通过相机180获得的图像发送到外部电子装置。例如，当通过相机180获得的图像的特征点的数量小于参考数量时，或者当特征点按长于参考距离分布时，处理器120可以确定对通过相机180获得的图像的翻译存在限制。参考距离可以包括能够形成文本的特征点之间的最大距离。例如，当电子装置100的运动基于通过传感器模块176获得的运动信息而落在参考范围之外时，处理器120可以确定对通过相机180获得的图像的翻译存在限制。例如，当确定通过相机180获得的图像要被发送到外部电子装置时，处理器120可以控制通信模块190将与该图像相对应的至少一个局部图像和整体图像发送到外部电子装置。例如，处理器120可以基于使用翻译服务的历史或图像的特征点的分布中的至少一个来提取至少一个局部图像。使用翻译服务的历史是与使用翻译服务的历史相对应的至少一个文本区域概率模型，可以包括关于显示装置160的区域信息，在其上外部对象的文本已经被拍摄并显示以用于电子装置101中的翻译服务。例如，处理器120可以控制通信模块190将与图像相对应的至少一个局部图像和整体图像发送到不同的外部电子装置。
根据实施例，处理器120可以校准通过通信模块190从外部电子装置(例如，电子装置102、电子装置104或服务器108)接收的、被翻译成不同语言的文本的显示区域。例如，处理器120可以通过通信模块190接收包括在发送到外部电子装置的图像(局部图像或整体图像)中的文本以及该文本的区域信息(例如，文字的位置、大小和长度)。处理器120可以基于文本的区域信息来设置与发送到外部电子装置的图像中的文本相对应的感兴趣区域(region of interest，ROI)。处理器120可以将感兴趣区域中具有相同亮度或颜色属性的像素设置为文本候选区域。处理器120可以通过去除不适合文本候选区域中的文本的特征的离群值(outlier)来设置文本显示区域。例如，离群值可以包括位于文本候选区域中的感兴趣区域的边界上的至少一个像素。例如，文本可以包括通过光学字符识别方法识别的文本或通过翻译引擎翻译的文本。
根据实施例，处理器120可以通过文本的显示区域来确定文本的附加属性，以在对应区域上显示从外部电子装置接收的、被翻译成不同语言的文本。例如，文本的附加属性可以包括文本的颜色、背景颜色或文本的大小或字体中的至少一个。例如，处理器120可以识别包括在文本的显示区域中的像素的亮度或颜色的属性，并且可以将文本区域与背景区域区分开。处理器120可以基于文本区域的大小或包括在文本区域中的像素的颜色属性中的至少一个来设置被翻译成不同语言的文本的颜色、大小或字体中的至少一个。处理器120可以基于包括在背景区域中的像素的颜色属性，设置在文本的显示区域中除文本之外的区域(背景)的颜色(背景颜色)。例如，可以基于背景区域中包括的像素的颜色属性的平均值来设置除文本之外的区域的颜色。例如，可以基于包括在背景区域中的像素的颜色属性中分布最多的颜色属性来设置除文本之外的区域的颜色。
根据实施例，处理器120可以基于通过传感器模块176检测到的电子装置101的运动信息，校准从外部电子装置(例如，电子装置102、电子装置104或服务器108)接收的、被翻译成不同语言的文本的显示位置。例如，处理器120可以从通过相机180获得图像(预览图像)的时间起，通过传感器模块176连续收集电子装置101的运动信息。处理器120可以基于电子装置101的运动信息，检测发送到外部电子装置的图像与从外部电子装置接收的、显示被翻译成不同语言的文本的图像之间的差异。处理器120可以基于图像之间的差异来校准被翻译成不同语言的文本的显示位置。
根据实施例，处理器120可以基于被翻译成不同语言的文本来完善翻译服务的结果，该文本对应于通过通信模块190从外部电子装置(例如，电子装置102、电子装置104或服务器108)接收的多个图像(例如，局部图像或整体图像)。例如，当接收到与发送到外部电子装置的图像中的一个图像相对应的、被翻译成不同语言的文本时，处理器120可以确定在用于显示被翻译成不同语言的文本的区域中是否存在与另一图像相对应的文本。当在对应区域中不存在与另一图像相对应的文本时，处理器120可以渲染从外部电子装置接收的、被翻译成不同语言的文本以在对应区域中显示。当在对应区域中存在与另一图像相对应的文本时，处理器120可以从与另一图像相对应的文本和从外部电子装置接收的、被翻译成不同语言的文本中选择具有相对较高可靠性的文本，作为要在对应区域中显示的文本。例如，可以基于图像中文本的位置或文本的准确性中的至少一个来计算文本的可靠性。
图3是根据本公开的某些实施例的用于通过在电子装置中使用外部电子装置来提供翻译服务的流程图300。在下面的描述中，电子装置可以包括图1的电子装置101或电子装置101的至少一部分(例如，处理器120)。
参考图3，在操作301中，电子装置(例如，处理器120)可以在显示装置(例如，图1的显示装置160)上显示通过相机(例如，图1的相机180)获得的包括至少一个外部对象的第一图像。例如，第一图像可以包括通过相机180获得的预览图像。外部对象之一可以承载文本。
在操作303中，电子装置(例如，处理器120)可以将第一图像的至少一个局部图像发送到外部电子装置。例如，处理器120可以基于预览图像的清晰度(例如，模糊状态)、预览图像的特征点的数量或通过传感器模块176获得的运动信息中的至少一个来确定是否要发送预览图像。当确定要将预览图像发送到外部电子装置时，处理器120可以控制通过通信模块190将预览图像的至少一个局部图像和整体图像发送到外部电子装置。例如，可以基于使用翻译服务的历史(例如，文本区域概率模型)或图像的特征点的分布中的至少一个从预览图像中提取局部图像。例如，处理器120可以控制通过通信模块190将预览图像的至少一个局部图像和整体图像发送到不同的外部电子装置。例如，处理器120可以控制通过通信模块190将至少一个图像(例如，局部图像和整体图像中的至少一个)以及用于翻译包括在图像中的文本的语言信息发送到外部电子装置。在某些实施例中，可以提取局部图像以提取作为对象之一的文本。
在操作305中，电子装置(例如，处理器120)可以识别电子装置或包括在第一图像中的外部对象的运动。例如，处理器120可以通过传感器模块176收集在发送用于翻译包括在图像中的文本的图像和接收与该图像相对应的文本时发生的电子装置的运动信息。
在操作307中，电子装置(例如，处理器120)可以确定是否接收到与发送到外部电子装置的局部图像相对应的文本(文本信息)。例如，与局部图像相对应的文本可以包括从从图像中提取的第一语言(例如，英语)的文本翻译的第二语言(例如，韩语)的文本。例如，处理器120可以接收与局部图像相对应的文本以及文本在对应图像中的区域信息(例如，文本的位置、大小和长度)。然而，本公开不限于语言翻译。在某些实施例中，接收到的文本可以是文本的同义词。在其他实施例中，接收到的文本可以是文本的更新。例如，如果文本是随时间变化的信息，则接收到的文本可以包括该信息的更新。
当没有接收到与发送到外部电子装置的局部图像相对应的文本时(在操作307中为“否”)，在操作305中，电子装置(例如，处理器120)可以连续地识别电子装置或包括在第一图像中的外部对象的运动。
当接收到与发送到外部电子装置的局部图像相对应的文本时(在操作307中为“是”)，在操作309中，电子装置(例如，处理器120)可以基于电子装置或包括在第一图像中的外部对象的运动信息来补偿与局部图像相对应的文本的位置，并且可以在显示装置(例如，图1的显示装置160)上显示文本。
例如，处理器120可以基于电子装置或包括在第一图像中的外部对象的运动信息，检测在获得第一图像的时间与当前时间之间发生的、在显示装置160上显示的第一图像或包括在第一图像中的外部对象的位置改变。处理器120可以基于第一图像或包括在第一图像中的外部对象的位置改变来补偿与局部图像相对应的文本的位置，并且可以控制通过显示装置160显示文本以覆盖至少一个外部对象。
可以以各种方式确定外部图像从第一图像到第二图像的位置改变的检测。在某些实施例中，相机可以使用MPEG对第一图像和第二图像进行编码。可以通过检查第一图像、第二图像以及第一图像与第二图像之间的每个图像中的运动矢量来确定运动信息。在一个实施例中，电子装置可以通过根据MPEG标准将第一图片编码为I图片，并将第二图片编码为依赖于第一图片的数据的P图片来创建运动矢量。接近对象的运动矢量可以用于确定运动。
图4是根据本公开的某些实施例的用于在电子装置中将用于翻译服务的图像选择性地发送到外部电子装置的流程图400。下面的描述可以是关于在图3的操作303中将通过相机180获得的第一图像的至少一个局部图像发送到外部电子装置的操作。在下面的描述中，电子装置可以包括图1的第一电子装置101或电子装置101的至少一部分(例如，处理器120)。
参考图4，当通过相机(例如，图1的相机180)获得的第一图像(例如，预览图像)被显示在显示装置(例如，图1的显示装置160)上时(例如，图3的操作301)，在操作401中，电子装置(例如，处理器120)可以识别第一图像的质量。例如，第一图像的质量可以包括第一图像的清晰度(例如，模糊状态)、包括在第一图像中的特征点的数量或包括在第一图像中的特征点的分布中的至少一个。
在操作403中，电子装置(例如，处理器120)可以识别电子装置或包括在第一图像中的至少一个外部对象的运动。例如，处理器120可以从通过相机180获得第一图像的时间起收集电子装置101或包括在第一图像中的至少一个外部对象的运动信息。例如，可以通过传感器模块176(例如，加速度传感器、重力传感器)获得电子装置101的运动。
在操作405中，电子装置(例如，处理器120)可以基于第一图像的质量和电子装置或包括在第一图像中的至少一个外部对象的运动信息来确定是否请求第一图像的翻译。例如，当第一图像的分辨率(例如，模糊状态)高于或等于参考值(即，良好)时，处理器120可以确定提供第一图像的翻译服务。如上所述，尽管本实施例使用翻译，但是本公开不限于翻译。例如，当第一图像的特征点的数量大于参考数量或特征点集中在某个区域上时，处理器120可以确定提供第一图像的翻译服务。例如，当通过传感器模块176获得的电子装置101的运动落在参考范围之内时，处理器120可以确定提供第一图像的翻译服务。例如，当通过相机180获得的预览图像的运动落在参考范围之内时，处理器120可以确定提供第一图像的翻译服务。例如，预览图像的运动可以包括预览图像中包括的至少一个对象的运动。处理器120可以通过比较通过相机180获得的连续预览图像(例如，形成图像的像素)来检测包括在预览图像中的对象的运动。
当确定不请求第一图像的翻译(例如，在操作405中为“否”)时，电子装置(例如，处理器120)可以对第一图像的发送施加限制。例如，当确定不请求第一图像的翻译时，处理器120可以控制通过显示装置160显示指示对翻译服务存在限制的指导消息。例如，指导消息可以包括翻译服务受到限制的原因。
当确定请求第一图像的翻译(例如，在操作405中为“是”)时，电子装置(例如，处理器120)可以将第一图像的至少一个局部图像和整体图像发送到至少一个外部电子装置。例如，处理器120可以基于使用翻译服务的历史(例如，文本区域概率模型)或第一图像的第一特征点的分布中的至少一个，从第一图像提取至少一个局部图像。处理器120可以通过通信模块190将从第一图像提取的至少一个局部图像和整体图像发送到至少一个外部电子装置。
图5是根据本公开的某些实施例的用于提取通过电子装置中的相机获得的图像的局部图像的流程图500。图6示出根据本公开的某些实施例的通过相机获得的图像的配置600。下面的描述可以是关于在图4的操作407中将图像发送到外部电子装置的操作。在下面的描述中，电子装置可以包括图1的电子装置101或电子装置101的至少一部分(例如，处理器120)。对象610是承载文本的对象。电子装置可以拍摄承载文本的对象的图片620，并提取文本660、662。
参考图5，当提供通过相机(例如，图1的相机180)获得的第一图像(例如，预览图像)的翻译服务时(例如，图4的操作405)，在操作501中，电子装置(例如，处理器120)可以识别与使用翻译服务的历史相对应的至少一个文本区域的概率模型。例如，与使用翻译服务的历史相对应的文本区域的概率模型可以包括关于显示器160的区域信息，在该显示器上，外部对象的文本已经被拍摄并显示以用于翻译服务。与使用翻译服务的历史相对应的文本区域的概率模型可以随着翻译服务的提供而完善，并且可以包括至少一个区域。
在操作503中，电子装置(例如，处理器120)可以识别与通过相机(例如，图1的相机180)获得的第一图像的图像分析信息相对应的文本区域的概率模型。例如，与第一图像的图像分析信息相对应的文本区域的概率模型可以包括基于从第一图像提取的特征点的分布而设置的至少一条区域信息。例如，与第一图像的图像分析信息相对应的文本区域的概率模型可以包括至少一个区域的信息，在第一图像内大于或等于参考数量的多个特征点集中在该至少一个区域上。
在操作505，电子装置(例如，处理器120)可以设置第一图像的至少一个文本区域。第一图像的至少一个文本区域可以基于文本区域的概率模型。概率模型可以对应于使用翻译服务的历史或第一图像的图像分析信息中的至少一个。例如，处理器120可以控制通过显示装置160显示通过相机180获得的关于外部对象610的预览图像620，如图6所示。当与使用翻译服务的历史相对应的文本区域的概率模型被布置在显示装置160的中心时，处理器120可以将预览图像620的中心的至少一部分设置为第一图像的文本区域。处理器120可以将预览图像620的中心的至少一部分设置为第一图像的文本区域，特征点由在预览图像620内的文本“apple”和“banana”集中在预览图像620的中心上。
处理器120可以将与和使用翻译服务的历史相对应的文本区域的多个概率模型中的至少一个概率模型相对应的区域设置为第一图像的文本区域，该至少一个概率模型与其上至少部分地集中了特征点的区域重叠。例如，第一图像的文本区域可以包括估计为具有第一图像内的文本的至少一些区域。例如，预览图像620可以包括外部对象610的图像630、图像中包括的文本的语言650以及用于文本的翻译的语言652。显示装置160可以在至少一些区域上显示与预览图像620有关的服务列表640，如图6所示。服务列表640可以包括用于选择翻译服务的菜单(例如，“文本”)642。
在操作507中，电子装置(例如，处理器120)可以提取与第一图像的至少一个文本区域相对应的至少一个局部图像。例如，处理器120可以提取与图6的预览图像620的相应文本区域相对应的局部图像660和662。例如，处理器120可以生成与在预览图像620内不连续的相应文本区域相对应的局部图像660和662。在某些实施例中，可以选择局部图像660和662以主要包含图像的文本和周围像素。例如，OCR可以用于识别图像中的文本，并且可以选择局部图像660和662以提取图像的主要包括文本和周围像素的部分。
在某些情况下，局部图像(例如，局部图像662)可以适当地隔离文本。例如，局部图像662包括文本“apple”和文本“banana”的一部分，其中“banana”的底部部分被剪掉。
在操作509中，电子装置(例如，处理器120)可以将第一图像的至少一个局部图像和整体图像发送到至少一个外部电子装置。例如，处理器120可以控制通过通信模块190将从图6的预览图像620提取的局部图像660和662发送到至少一个外部电子装置。例如，处理器120可以控制通过通信模块190将第一局部图像660、第二局部图像662和整体图像620发送到不同的外部电子装置。
图7是根据本公开的某些实施例的用于在电子装置中显示可以从外部电子装置接收的翻译的文本(或其他方式的对应文本)的流程图700。图8A示出根据本公开的某些实施例的用于通过相机获得的图像的翻译服务的屏幕800。图8B示出根据本公开的某些实施例的用于通过相机获得的图像的翻译服务的屏幕800。图8C示出根据本公开的某些实施例的用于通过相机获得的图像的翻译服务的屏幕800。图8D示出了根据本公开的某些实施例的通过相机获得的图像的翻译服务的屏幕800，其中，对象已经移动。图8E示出了根据本公开的某些实施例的用于通过相机获得的图像的翻译服务的屏幕800。图8F示出了根据本公开的某些实施例的用于通过相机获得的图像的翻译服务的屏幕800。下面的描述可以是关于显示与在图3的操作307中的局部图像相对应的文本的操作。在下面的描述中，电子装置可以包括图1的电子装置101或电子装置101的至少一部分(例如，处理器120)。
参考图7，当从外部电子装置接收到与图像相对应的文本(例如，图3的操作307)时，在操作701中，电子装置(例如，处理器120)可以校准从外部电子装置接收到的文本。例如，当从外部电子装置接收到与图像相对应的文本时，处理器120可以识别在外部电子装置中提取的文本的区域信息(例如，文本的位置、长度和大小)。处理器120可以基于基于图像估计的文本显示区域来完善文本的区域信息。例如，图像可以包括与第一图像有关的多个图像(至少一个局部图像和整体图像)中的任何一个图像，该第一图像被发送到外部电子装置以用于第一图像的翻译服务。
在操作703中，电子装置(例如，处理器120)可以确定是否存在与从外部电子装置接收的另一图像相对应的文本。例如，处理器120可以确定在先前时间是否接收到与发送到外部电子装置的至少一个局部图像和整体图像中的另一图像相对应的文本。例如，另一图像可以包括与和第一图像有关的多个图像(至少一个局部图像和整体图像)中的图像不同的另一图像，该第一图像被发送到外部电子装置以用于第一图像的翻译服务。
当存在与在先前时间从外部电子装置接收到的另一图像相对应的文本(例如，在操作703中为“是”)时，在操作705中，电子装置(例如，处理器120)可以基于与图像相对应的文本完善在先前时间从外部电子装置接收到的翻译服务的结果。例如，当在与从外部电子装置接收的图像相对应的文本的位置相同的位置上存在与在先前时间接收到的另一图像相对应的文本时，处理器120可以基于每个文本的可靠性来选择要在对应位置上显示的文本。例如，文本的可靠性可以基于发送到外部电子装置以提取文本的图像(局部图像或整体图像)中的文本的位置或文本的准确性来确定。例如，文本的准确性可以指示关于从外部电子装置接收的文本是否可以被解释为特定语言的文本的准确性。例如，当与从外部电子装置接收到的图像相对应的文本和与在先前时间接收到的另一图像相对应的文本之间的位置存在差异时，处理器120可以将与该图像相对应的文本添加到从外部电子装置接收到的翻译服务的结果中。
当不存在与在先前时间从外部电子装置接收到的另一图像相对应的文本(例如，在操作703中为“否”)时，或者当翻译服务的结果被完善(例如，操作705)时，在操作707中，电子装置(例如，处理器120)可以基于电子装置或包括在第一图像中的外部对象的运动信息，来校准从外部电子装置接收到的文本的显示位置。例如，处理器120可以基于电子装置或包括在第一图像中的外部对象的运动信息，来检测发送到外部电子装置以用于翻译服务的第一图像与在显示从外部电子装置接收的文本时通过相机180获得的第二图像之间的差异。处理器120可以基于第一图像和第二图像之间的差异来校准从外部电子装置接收到的文本的显示位置。例如，可以从获得用于翻译服务的第一图像的时间起，连续地收集电子装置或包括在第一图像中的外部对象的运动信息。
在某些实施例中，第一图像可以包括在相机尚未捕获图像时由相机提供并显示在显示器上的实况(live)图像。第二图像可以包括当接收到对应文本时由相机提供的实况图像。在将文本发送到外部装置并接收到对应文本的时间期间，对象可能已经移动，或者相机可能已经移动。因此，承载文本的对象将在第二图片中位于不同的位置。因此，为了将接收到的对应文本放置到承载文本的对象上，从文本在第一图像中的原始位置来补偿运动。
在操作709中，电子装置(例如，处理器120)可以基于用于在第一图像内显示从外部电子装置接收到的文本的文本显示区域的颜色信息，来确定用于显示从外部电子装置接收到的文本的文本颜色和背景颜色。
例如，注意到在第二图像中，形成承载图像的对象的像素的颜色可能已经改变。例如，如果对象已经移动，则照明可能已经改变，从而导致像素的不同颜色。
在操作711中，电子装置(例如，处理器120)可以基于文本的校准显示位置、文本颜色和背景颜色，将从外部电子装置接收到的文本叠加在预览图像的至少一部分上。例如，当在第一时间接收到与图6的第二局部图像662相对应并被翻译成不同语言的文本时，处理器120可以控制通过显示装置160在与预览图像810中的对应文本相对应的区域上显示被翻译成不同语言的文本，“
根据实施例，电子装置101(例如，处理器120)可以设置用于翻译从第一图像提取的文本的语言。例如，当检测到用于翻译图6的预览图像620上显示的文本的语言652上的输入(例如，触摸输入)时，处理器120可以控制通过显示装置160显示用于翻译的可用语言列表870，如图8F所示。处理器120可以将从可用语言列表870中选择的语言设置为用于翻译从第一图像提取的文本的语言。如上所述，本公开不限于语言翻译。在某些实施例中，代替列出语言870，用户可以选择对应文本是同义词、更新的信息还是任何种类的不同对应关系。
根据实施例，电子装置101(例如，处理器120)可以通过第一外部电子装置(例如，第一服务器)来识别图像中包括的文本，并且可以通过第二外部电子装置(例如，第二服务器)将图像中包括的文本翻译成不同语言的文本。例如，处理器120可以控制通过通信模块190将预览图像的至少一个局部图像和整体图像发送到第一外部电子装置。当从第一外部电子装置接收到从图像中提取的并且与第一语言相对应的文本时，处理器120可以控制通过通信模块190将与第一语言相对应的文本发送到第二外部电子装置。如在操作705至711中，处理器120可以通过补偿包括在第一图像中的外部对象的运动差异，控制通过显示装置160显示从第二外部电子装置接收到的、被翻译成第二语言的文本。例如，在将与第一语言相对应的文本被发送到第二外部电子装置并且被翻译成与第二语言相对应的文本时，处理器120可以校准与第一语言相对应的文本(操作701)。如上所述，本公开不限于语言翻译，并且可以包括各种其他关系，诸如同义词和更新，仅举几例。
图9是根据本公开的某些实施例的用于在电子装置中设置翻译的文本或对应文本的显示位置的流程图900。图10A示出根据本公开的某些实施例的用于在外部电子装置中设置翻译的文本的显示位置的配置1000，图10B示出根据本公开的某些实施例的用于在外部电子装置中设置翻译的文本的显示位置的配置1000，图10C示出了根据本公开的某些实施例的用于在外部电子装置中设置翻译的文本的显示位置的配置1000。下面的描述可以是关于在图7的操作701中校准从外部电子装置接收的文本的操作。在下面的描述中，电子装置可以包括图1的电子装置101或电子装置101的至少一部分(例如，处理器120)。
参考图9，当从外部电子装置接收到与图像相对应的文本(例如，在图3的操作307中为“是”)时，在操作901中，电子装置(例如，处理器120)可以将与从外部电子装置接收的文本相对应的图像的至少一部分设置为感兴趣区域。例如，处理器120可以识别通过通信模块190从外部电子装置接收的文本的区域信息。例如，文本的区域信息可以包括从图像提取的文本的位置、大小和长度中的至少一个。处理器120可以基于从外部电子装置接收到的文本的区域信息，将与从外部电子装置接收的文本相对应的图像的至少一部分设置为感兴趣区域。例如，处理器120可以将局部图像1010的至少一部分设置为感兴趣区域1020，如图10A所示。例如，感兴趣区域可以被设置为大于或小于图像中的从外部电子装置接收的文本的区域信息。
在操作903中，电子装置(例如，处理器120)可以识别用于在感兴趣区域内显示文本的候选区域。例如，如图10B所示，处理器120可以将局部图像1010内的感兴趣区域1020中具有相同亮度或颜色属性的像素设置为文本候选区域1030和1032。例如，处理器120可以通过算法来设置文本候选区域1030和1032，该算法用于从比图10B的感兴趣区域1020内的周围相对更亮或更暗的像素中找到二进制编码阈值的改变稳定的区域(例如，最大稳定极值区域(maximally stable extremal regions，MSER))。
在操作905中，电子装置(例如，处理器120)可以去除与文本候选区域相距太远的周围像素。例如，处理器120可以基于文本候选区域的位置、大小或长度中的至少一个，去除对于包围文本而言不必要的离群值。例如，如图10B所示，处理器120可以将位于感兴趣区域1020的边界上的第二文本候选区域1032识别为离群值，并且可以将其从文本候选区域中去除。
在操作907中，电子装置(例如，处理器120)可以将从其去除了离群值的文本候选区域设置为用于在图像内显示文本的文本显示区域。例如，当位于感兴趣区域1020的边界上的第二文本候选区域1032被识别为离群值并且被去除时，处理器120可以将第一文本候选区域1030设置为局部图像1010内的文本显示区域1040，如图10C所示。例如，文本显示区域可以指示将从图像中提取的第一语言的文本翻译成第二语言并显示，或者以其他方式替换该文本的区域。
图11是根据本公开的某些实施例的用于在电子装置中显示与局部图像相对应的翻译的文本的流程图1100。下面的描述可以是关于在图7的操作703和705中完善翻译服务的结果的操作。在下面的描述中，电子装置可以包括图1的电子装置101或电子装置101的至少一部分(例如，处理器120)。
参考图11，当校准与从外部电子装置接收到的图像(例如，局部图像或整体图像)相对应的文本时，在操作1101中，电子装置(例如，处理器120)可以检测对应文本的可靠性。例如，处理器120可以基于从外部电子装置接收到的文本在图像(例如，局部图像或整体图像)中的位置或文本的准确性中的至少一个来检测对应文本的可靠性。例如，在图6的第一局部图像660的情况下，由于第一局部图像660中的文本“banana”更靠近第一局部图像660的中心，因此处理器120可以确定该文本具有相对较高的可靠性。例如，在图6的第二局部图像662的情况下，处理器120可以基于文本在第二局部图像662中的位置来检测文本“apple”和“banana”中的每一个的可靠性。在这种情况下，基于文本“apple”和“banana”在第二局部图像662中的位置，可以确定文本“apple”的可靠性高于文本“banana”的可靠性。例如，可以基于文本是否映射到特定语言的文本来确定文本的准确性。
在操作1103中，电子装置(例如，处理器120)可以确定在用于在第一图像(预览图像)中显示从外部电子装置接收到的文本的区域中是否存在在先前时间从外部电子装置接收到的另一文本。例如，处理器120可以确定是否存在与在先前时间从外部电子装置接收到的另一图像(例如，局部图像或整体图像)相对应的文本。当存在与在先前时间从外部电子装置接收到的另一图像相对应的文本时，处理器120可以确定第一图像(预览图像)中的与另一图像相对应的文本的显示区域是否重叠在操作1101中检测了其可靠性的文本的显示区域的至少一部分。例如，当不存在与在先前时间从外部电子装置接收的另一图像相对应的文本时，或者当另一图像的文本的显示区域不重叠第一图像中的文本的显示区域的至少一部分时，处理器120可以确定在第一图像中用于显示从外部电子装置接收到的文本的区域中不存在另一文本。例如，当第一图像中与在先前时间从外部电子装置接收到的另一图像相对应的文本的显示区域重叠文本的显示区域的至少一部分时，处理器120可以确定在第一图像中用于显示从外部电子装置接收到的文本的区域中存在另一文本。
当在第一图像(预览图像)中用于显示从外部电子装置接收到的文本的区域中不存在与另一图像相对应的文本(例如，在操作1103中为“否”)时，在操作1105中，电子装置(例如，处理器120)可以在整体图像中用于显示从外部电子装置接收到的文本的区域上显示从外部电子装置接收到的文本。例如，处理器120可以渲染图像以在通过操作901至907设置的预览图像中的文本显示区域上显示从外部电子装置接收到的、被翻译成不同语言的文本。例如，当在第一时间接收到与图6的第二局部图像662相对应的文本(被翻译成不同语言的文本)时，处理器120可以渲染预览图像以在与预览图像810中的第二局部图像662相对应的文本的显示区域上显示被翻译成不同语言的文本，“
当在第一图像(预览图像)中用于显示从外部电子装置接收到的文本的区域中存在与另一图像相对应的文本(例如，在操作1103中为“是”)时，在操作1107中，电子装置(例如，处理器120)可以确定从外部电子装置接收到的文本的可靠性是否高于另一文本的可靠性。例如，当在第二时间接收到与图6的第一局部图像660相对应的文本(被翻译成不同语言的文本)时，处理器120可以比较与第一局部图像660相对应的文本(“”(韩语的香蕉))和与第二局部图像662相对应的文本(“”(韩语的黄油))的可靠性。例如，由于与第一局部图像660相对应的文本(“”(韩语的香蕉))位于第一局部图像660的图像中心，所以该文本可以具有相对高于与第二局部图像662相对应的文本(“”(韩语的黄油))的可靠性的可靠性，与第二局部图像662相对应的文本(“
当从外部电子装置接收到的文本的可靠性高于与另一图像相对应的文本的可靠性(例如，在操作1107中为“是”)时，在操作1109中，电子装置(例如，处理器120)可以将文本显示区域的文本完善为从外部电子装置接收的文本。例如，当确定与第一局部图像660相对应的文本(“”(韩语的香蕉))的可靠性高时，处理器120可以渲染预览图像以将如图8A所示的通过显示装置160显示的预览图像810的文本“”(韩语的黄油)完善为如图8B所示的文本“”(韩语的香蕉)，并显示完善的文本。
当从外部电子装置接收到的文本的可靠性低于或等于另一文本的可靠性(例如，在操作1107中为“否”)时，电子装置(例如，处理器120)可以保持显示在第一图像(预览图像)的文本显示区域上的、与另一图像相对应的文本。
根据实施例，当在第一时间接收到的第一显示区域的文本与在第二时间接收到的第一显示区域的文本相同时，电子装置101(例如，处理器120)可以保持在预览图像的第一显示区域上显示的文本。例如，当在第一时间接收到的第一显示区域的文本与在第二时间接收到的第一显示区域的文本相同时，可以省略操作1107至1109。
根据实施例，电子装置101(例如，处理器120)可以从通过相机180获得第一图像的时间起连续收集电子装置101或包括在第一图像中的外部对象的运动信息。电子装置101可以基于电子装置101或包括在第一图像中的外部对象的运动信息，在翻译服务完成之前结束翻译服务。例如，当电子装置101或包括在第一图像中的外部对象的运动落在参考范围之外时，处理器120可以确定不可能显示被翻译成不同语言的文本。因此，处理器120可以停止翻译服务。
根据某些实施例的电子装置及其操作方法将通过相机获得的图像发送到外部电子装置(例如，服务器)，校准从外部电子装置接收到的、被翻译的文本的显示位置，或补偿发送到外部电子装置(例如，服务器)用于翻译服务的图像与显示器上显示的图像之间的差异，并显示翻译的文本。因此，通过外部电子装置翻译的文本可以平滑地显示在通过相机获得的图像上。
根据某些实施例的电子装置及其操作方法基于通过相机获得的图像的质量(例如，特征点的分布)或电子装置的运动信息中的至少一个，将用于翻译服务的图像选择性地发送到外部电子装置(例如，服务器)。因此，可以减少使用外部电子装置的翻译次数，从而可以减少网络资源的消耗。
根据某些实施例的电子装置和操作方法将与通过相机获得的图像相对应的至少一个局部图像和整体图像发送到外部电子装置(例如，服务器)。因此，可以减少由外部电子装置的计算引起的翻译服务中的延迟和网络中的翻译延迟。
本公开的某些实施例可以由包括存储在机器(例如，计算机)可读存储介质(例如，图1的存储器130)中的指令的软件来实现。该机器是能够从存储介质中检索存储的指令并根据检索到的指令进行操作的设备，并且可以包括电子装置100、102、104或服务器108。当指令由处理器(例如，处理器120)运行时，处理器可以直接执行与指令相对应的功能，或者可以在处理器的控制下使用其他元件来执行与指令相对应的功能。该指令可以包括由编译器或解释器生成或运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。在此，术语“非暂时性”仅是指存储介质是有形的而不包括信号，而不管数据是半永久地还是暂时地存储在存储介质中。
根据本文公开的某些实施例的方法可以被包括并提供在计算机程序产品中。该计算机程序产品可以作为产品在卖方和买方之间进行交易。例如，计算机程序产品可以是在卖方和购买方之间交易的可下载应用或计算机程序。该计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者可以经由应用商店(例如，PlayStoreTM)在线分发。如果被在线分发，则计算机程序产品的至少一部分可以临时生成或至少临时存储在机器可读存储介质中，诸如中继服务器、应用商店的服务器或制造商服务器的存储器。
根据某些实施例的每个元件(例如，模块或程序)可以包括单个实体或多个实体，并且在某些实施例中，可以省略上述元件中的一些子元件，或者可以添加其他子元件。替代地或附加地，一些元件(例如，模块或程序)可以被集成到单个元件中，并且集成元件仍然可以以与对应元件被集成之前相同或相似的方式执行由每个对应元件执行的功能。根据某些实施例的由模块、编程模块或其他元件执行的操作可以顺序地、并行地、重复地或以启发式方式运行。至少一些操作可以根据另一顺序运行，可以被省略，或者还可以包括其他操作。
已经参考本公开的各种示例实施例描述了本公开。本领域技术人员将理解，在不脱离本公开的本质特性的情况下，可以以修改的形式实施本公开。因此，应当从描述性的角度而不是从限制性的角度考虑所公开的实施例。本公开的范围不是由详细的描述限定，而是由所附权利要求限定，并且该范围内的所有差异应被理解为包括在本公开中。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：用于独立于领域的术语链接的系统和方法