具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，可选地，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：A、B、C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”，再如，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

需要说明的是，在本文中，采用了诸如S11、S12等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S12后执行S11等，但这些均应在本申请的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。

终端可以以各种形式来实施。例如，本申请中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本申请各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：RF(Radio Frequency，射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。可选地，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000，码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution，频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution，分时双工长期演进)等。

WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。可选地，光传感器包括环境光传感器及接近传感器，可选地，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。可选地，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。可选地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

可选地，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，可选地，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。可选地，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，可选地，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本申请实施例，下面对本申请的移动终端所基于的通信网络系统进行描述。

请参阅图2，图2为本申请实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的LTE系统，该LTE系统包括依次通讯连接的UE(User Equipment，用户设备)201，E-UTRAN(Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网)202，EPC(Evolved Packet Core，演进式分组核心网)203和运营商的IP业务204。

可选地，UE201可以是上述终端100，此处不再赘述。

E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地，eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。

EPC203可以包括MME(Mobility Management Entity，移动性管理实体)2031，HSS(Home Subscriber Server，归属用户服务器)2032，其它MME2033，SGW(Serving Gate Way，服务网关)2034，PGW(PDN Gate Way，分组数据网络网关)2035和PCRF(Policy andCharging Rules Function，政策和资费功能实体)2036等。可选地，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem，IP多媒体子系统)或其它IP业务等。

虽然上述以LTE系统为例进行了介绍，但本领域技术人员应当知晓，本申请不仅仅适用于LTE系统，也可以适用于其他无线通信系统，例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络系统等，此处不做限定。

基于上述移动终端硬件结构以及通信网络系统，提出本申请各个实施例。

本申请实施例提供了一种辅助方法，可以应用于移动终端，该辅助方法可以帮助残疾人与残疾人/健全人进行沟通交流，也可以帮助移动终端用户(包括残疾人与健全人)与外部环境的交流，在本申请中将这两种辅助沟通的方式分别称为第一辅助方式和第二辅助方式。请参见图3，本申请提供的辅助方法包括：

S11、获取交流过程中产生的第一交互信息。

S12、处理第一交互信息得到第二交互信息。

对于第一辅助方式，步骤S11交流过程中的交流方式包括文字交流、语音留言、语音通话、视频通话以及面对面交流等交流方式的一种或多种。对于文字交流，其包括短信沟通以及通过移动终端上的应用程序进行文字沟通，这种交流方式将产生文字信息。对于语音留言和语音通话，语音留言包括基于移动终端上的应用程序发送语音进行沟通，也包括移动电话、语音通话等未被接通而进行的语音留言，语音通话则可以包括移动电话、语音通话，语音留言、语音通话这两种交流方式将产生交流语音信息。视频通话可以包括基于应用程序进行视频交流，在本申请实施例中，视频通话这一交流方式主要产生的是手语信息(便于与残疾人沟通)，该手语信息体现方式可以是视频，可以是动态视图，还可以是一帧一帧的图像。

可以将第一辅助方式中的交流双方分别称为第一用户和第二用户，一方面，第一用户可以通过第一终端与第二用户进行交流，即交流中仅使用到一个终端，请见图4。在交互过程中，终端将接收到的第一用户和第二用户的信息，在该情况下将第一用户和第二用户直接产生的信息称为第一交互信息，将经过终端处理的信息称为第二交互信息，例如，一个盲人和一个聋哑人就可以通过终端实现面对面交流，盲人可以说话产生语音信息(第一交互信息)，经过终端处理后可以将语音信息转化为文字信息或手语信息(第二交互信息)。

另一方面，第一用户可以通过第一终端而第二用户通过第二终端实现相互间的交流，即在交流中使用到两个终端，请参见图5。在该示例下，第一种情况是，第一终端接收到第一用户产生的第一交互信息后，可以将第一交互信息转化为第二交互信息，之后将第二交互信息通过第一终端与第二终端的通信发送给第二用户。第二种情况是，第一终端接收到第一用户产生的第一交互信息后，可以将第一交互信息通过第一终端与第二终端的通信发送给第二用户，第二用户接受到第一交互信息之后可以将第一交互信息转化为第二交互信息。当然以上这两种情况都是不实时交流，对于实时交流的情况(第三种情况)，交流过程中第一交互信息与第二交互信息是实时转化的，例如，一个健全人与一个聋哑人视频通话，健全人可以说语音，此时移动终端可以在视频通话的过程中将语音信息实时转化为手语信息，以便聋哑人可以获取健全人所表达的内容，同样的，聋哑人在打手语时，移动终端可以将手语信息实时转化为文字信息或语音信息，以便健全人获取聋哑人所表达的内容。

可选地，在第一辅助方式中，用户还可以将对处理得到的第二交互信息进行编辑操作，编辑之后的第二交互信息才是用户所表达的、实际的第一交互信息。编辑操作包括对第二交互信息本身以及第二交互信息中的信息进行删除、增添、修改，此处第二交互信息中的信息可以为字符(对应于文字信息)、音段(对应于语音信息)以及图像、视频片段等的视图(对应于手语信息)。可选地，还可以修改第二交互信息的信息类型，例如修改为文字信息、语音信息或手语信息。例如，当第一交互信息为文字信息，而处理得到第二交互信息为语音信息时，可以调整第二交互信息为手语信息，这样可以用户可以选择更佳的沟通方式，获得更好的沟通体验。

可选地，可以将编辑之后的第二交互信息发送到交流中的另一方；可选地，还可以将第一交互信息与编辑后的第二交互信息相关联存储在移动终端，当再次的获取到第一交互信息时，直接查找记录将关联的、编辑后的第二交互信息作为处理得到的第二交互信息，这样可以节省由第一交互信息处理得到第二交互信息的计算资源。

对于第二辅助方式，步骤S11交流过程中的交流是指移动终端用户与外界的沟通交流，且主要指移动终端将外界发生的情况/信息传递残疾人，使之可以及时作出避险、应急等的操作。可选地，第二辅助方式中的环境信息可以包括如下至少一种：车辆响铃声、地震警报声、火灾警报声、紧急提示消息(可以包括政府通过基站群发的提示短信，这些提示信息中可以包含地震、火灾等字段信息，当然也可以是防诈骗等的信息)。可选地，移动终端可以在获取到环境信息之后确定环境信息的种类/内容，确定对应的提示信息，例如查询预设环境信息提示方式，通过开启预设提示方式的提示灯、开启预设震动模式和/或开启预设响铃方式以对环境信息进行提示。例如，在移动终端获取到火警报警声之后，移动终端可以通过闪亮红色呼吸灯(提示灯)，开启三秒强震动一秒弱震动的方式以对盲人进行提示。当然，预设环境信息提示方式可以由用户自己设置。

本申请提供的辅助方法通过获取交流过程中如文字信息、语音信息、手语信息等的第一交互信息，并将第一交互信息处理为便于交流中另一方进行识别和理解的第二交互信息(可为文字信息、语音信息或手语信息)，可以帮助残疾人之间以及健全人与残疾人之间进行沟通交流。可选地，本申请提供的辅助方法还可以将交流过程中的环境信息(第一交互信息)转化为对应该环境信息的提示信息(第二交互信息)，便于残疾人与外界环境进行“交流”，在有重要事件/突发事件发生的时候，残疾人能够及时获取到对应的信息并及时作出应对措施。通过上述方式，可以改善残疾人之间、残疾人与健全人以及残疾人与外部环境交流不便的问题，使残疾人可以具有较高的交流体验。

下文将基于上述介绍的辅助方法，继续介绍本发明提供辅助方法的其他可实施方式。

本申请实施例还提供了一种辅助方法，该辅助方法可以帮助残疾人与残疾人/健全人进行沟通交流，当然，本申请提供的辅助方法也可以帮助残疾人与外部环境的交流，而在本申请实施例中主要介绍的是前者，本申请实施例所介绍的交流过程中的交流包括文字交流、语音留言、语音通话、视频通话以及面对面交流等交流方式的一种或多种。对于文字交流，其包括短信沟通以及通过移动终端上的应用程序进行文字沟通，这种交流方式将产生文字信息。对于语音留言和语音通话，语音留言包括基于移动终端上的应用程序发送语音进行沟通，也包括移动电话、语音通话等未被接通而进行的语音留言，语音通话则可以包括移动电话、语音通话，语音留言、语音通话这两种交流方式将产生交流语音信息。视频通话可以包括基于应用程序进行视频交流，在本申请实施例中，视频通话这一交流方式主要产生的是手语信息(便于与残疾人沟通)，该手语信息体现方式可以是视频，可以是动态视图，还可以是一帧一帧的图像。

在本申请实施例中，将交流双方分别称为第一用户和第二用户，一方面，第一用户可以通过第一终端与第二用户进行交流，即交流中仅使用到一个终端，请见图4，在交互过程中，终端将接收到的第一用户和第二用户的信息，在该情况下将第一用户和第二用户直接产生的信息称为第一交互信息，将经过终端处理的信息称为第二交互信息，例如，一个盲人和一个聋哑人就可以通过终端面对面的实现其之间的沟通交流，盲人可以说话产生语音信息(第一交互信息)，经过终端处理后可以将语音信息转化为文字信息或手语信息(第二交互信息)。

另一方面，第一用户可以通过第一终端而第二用户通过第二终端实现相互间的交流，即在交流中使用到两个终端，请参见图5。在该示例下，第一种情况是，第一终端接收到第一用户产生的第一交互信息后，可以将第一交互信息转化为第二交互信息，之后将第二交互信息通过第一终端与第二终端的通信发送给第二用户。第二种情况是，第一终端接收到第一用户产生的第一交互信息后，可以将第一交互信息通过第一终端与第二终端的通信发送给第二用户，第二用户接受到第一交互信息之后可以将第一交互信息转化为第二交互信息。当然以上这两种情况都是不实时交流，对于实时交流的情况(第三种情况)，交流在实时发生时则第一交互信息与第二交互信息是实时转化的，例如，一个健全人与一个聋哑人视频通话，健全人可以说语音，此时移动终端可以在视频通话的过程中将语音信息实时转化为手语信息，以便聋哑人可以获取健全人所表达的内容，同时，聋哑人在打手语时，移动终端可以将手语信息实时转化为文字信息或语音信息，以便健全人获取聋哑人所表达的内容。

本申请实施例主要以使用两个移动终端进行沟通交流的第二种情况为例介绍本申请提供的辅助方法，即第一用户可以通过第一终端而第二用户通过第二终端实现相互间的交流(在交流中使用到两个终端)第一终端接收到第一用户产生的第一交互信息后，可以将第一交互信息转化为第二交互信息，之后将第二交互信息通过第一终端与第二终端的通信发送给第二用户。

请参见图6，该方法可以应用于移动终端，该方法包括步骤：

S101、获取移动终端当前用户的特征信息。

S102、基于特征信息确定所述当前用户是否为预设目标用户，若是则执行步骤S103，若否，则停止执行辅助方法的各个步骤。

特征信息包括移动终端用户使用移动终端过程中的行为特征，包括步态数据(移动终端可以基于位置传感器、速度传感器、加速度传感器等获取到移动终端用户的步态数据)、使用习惯数据(可以包括用户的使用应用程序及使用时长，以及移动终端使用时间周期等数据)，以及用户解锁移动终端的解锁密码、指纹、人脸特征等的信息。移动终端不同的使用用户具有不同的特征信息，基于这些特征信息可以确定移动终端的当前用户具体是哪一位，当移动终端的用户为残疾人，或者为与残疾人有密切交流的用户(预设目标用户)时，可以继续执行步骤S103。若移动终端的当前用户并非预设目标用户，即移动终端的当前用户并不是残疾人，也不会与残疾人有沟通，则为节省移动终端的运算资源可以停止执行本申请实施例辅助方法中的后续步骤。本申请实施例以移动终端当前用户为预设目标用户为例继续进行介绍。

S103、获取交流过程中产生的第一交互信息，以及识别交流过程中的情绪信息。

对应于文字交流、语音留言、语音通话、视频通话以及面对面交流等不同的交流方式，第一交互信息以及后文中介绍的第二交互信息可以为文字信息、语音信息或/和手语信息。

交流过程中除了传递信息，还会传递交流双方的情绪。情绪是对一系列主观认知经验的统称，是指用户通过多种感觉、思想和行为而综合产生的心理和生理状态。进而情绪反应了用户在进行人机语音交互时的心里状态，相应的为了给用户提供更优质的沟通交互体验，除了传递基本信息，还需要传递沟通交互双方的情绪信息。在不同的交流方式中将产生不同的情绪信息，例如文字交流中出现的“哈哈”，“心情不好”等表示情绪的字符即可以确定为该文字交流中的情绪信息，语音留言、语音通话这两种交流方式中，可以基于语调、音质特征确定说话人的情绪，对于手语视频/手语图像，可以基于人像中的表情获取到其中的情绪信息。

情绪识别可以基于情绪识别模型实现，情绪识别模型是指基于深度学习算法预先训练而成的模型，其中深度学习算法可以包括卷积神经网络(Convolutional NeuralNetwork，CNN)以及循环神经网络(Recurrent Neural Network，RNN)等深度学习算法。可选地，可以将会话语音转换为语音频谱图，将对语音的识别转换为对图像的识别，进而通过情绪识别模型直接对会话语谱图进行图像识别，避免了语音识别过程中繁复的语音特征提取的中间过程。本申请实施例不对模型的训练算法进行限定，任何可以实现图像识别的深度学习算法都可以应用于本实施例中。

S104、确定产生第一交互信息的应用程序，根据应用程序开启预设提示方式的提示灯、和/或开启预设震动模式，和/或开启预设响铃方式以对第一交互信息进行提示

在本申请实施例中，第一交互信息的产生是基于移动终端上的应用程序(包括移动终端上的各类应用，还包括移动终端上如短信、电话等的系统应用)产生的，可以基于第一交互信息确定产生第一交互信息的应用程序，不同的应用程序具有不同紧急程度，因此可以根据不同的应用程序开启移动终端上不同提示方式(不同颜色/不同显示方式)的提示灯，或/和，移动终端上不同的震动模式，或/和，开启不同的响铃方式以对移动终端进行提示。可选地，用户可以对应用程序的提示方式(提示灯的提示方式、震动方式、响铃方式)进行预先设置，当获取到对应应用程序的交互信息时可以按照预设的提示方式提示用户。

S105、处理第一交互信息得到第二交互信息，并将情绪信息添加到第二交互信息中。

如上介绍的，第一交互信息、第二交互信息可以为文字信息、语音信息以及手语信息中任意两种。在本申请实施例中，可以按照图7或图8所示的方式进行第一交互信息和第二交互信息的翻译，可选地，对于如何将手语视频转化为文字信息可以参见后文中的介绍。可选地，在本申请实施例中，还需要将识别到的交流过程中的情绪信息添加到第二交互信息中。例如，语音信息中加入对应的语调，在文字信息中加入“哈哈”拟声词等。在手语信息(视频/图像)中加入对应情绪信息的表情。

本申请实施例的步骤S105中需要将第一交互信息处理(翻译)为第二交互信息，对应于图7中示出的六种情况，可以实现文字信息翻译为语音信息(图7中情况1)，手语信息翻译为文字信息(图7中情况3)。可选地，将第一交互信息处理(翻译)为第二交互信息还可以是如图8所示的方式，即语音信息和手语信息之间的相互转化是需要以文字信息为中介进行的，将手语信息翻译为语音信息需要将手语信息先翻译为文字信息(图8中的情况9)，再将文字信息翻译为语音信息(图8中的情况7)。

S106、接收对第二交互信息的编辑操作，将编辑后的第二交互信息发送至交互方。

本申请实施例中交流将使用到两个终端，第一终端接收到第一用户产生的第一交互信息后，可以将第一交互信息转化为第二交互信息，之后将第二交互信息通过第一终端与第二终端的通信发送给第二用户。可以理解的是，处理得到的第二交互信息可能与第一交互信息的实际含义有一定的差距，此时第一用户可以对第二交互信息进行再次编辑，编辑之后再将编辑得到的第二交互信息发送至交互方。本申请实施例中的编辑操作包括对第二交互信息本身以及第二交互信息中的信息进行删除、增添、修改，第二交互信息中的信息可以为字符(对应于文字信息)、音段(对应于语音信息)以及图像、视频片段等的视图(对应于手语信息)。可选地，还可以修改第二交互信息的信息类型(包括文字信息、语音信息以及手语信息)，例如，当第一交互信息为文字信息，而处理得到第二交互信息为语音信息时，可以调整第二交互信息为手语信息，这样可以用户可以选择更佳的沟通方式，获得更好的沟通体验。

S107、将第一交互信息与编辑后的第二交互信息关联，当再次获取到第一交互信息时，确定编辑后的第二交互信息为第二交互信息。

移动终端将会把所有相关联的第一交互信息和第二交互信息存储起来，当再次获取到有记录的第一交互信息时，可以将其关联的信息确定为第二交互信息，而不需要对第一交互信息进行处理得到第二交互信息，因为第一交互信息处理后很可能得到需要二次修改的第二交互信息。其实这相当于一个修正反馈，记录用户的表达习惯，直接按照历史记录确定对应于第一交互信息的第二交互信息，这样便于提高用户的体验。

将一个含有T帧的视频映射到包含L个单词的标注序列s＝{s_i∈v|i＝1,...,L}的问题，可选地，h×w是图像x_t的尺寸，c是输入数据的维度，对于RGB视频来说c＝3。连续手语识别的的数学形式基于贝叶斯决策理论，识别结果是概率最大的估计结果决定，记所有可能的解码序列为s^*，识别结果可以表示为如下形式：可选地，在一些实施例中，当第一交互信息为手语视频(包含有手语信息)，第二交互信息是文字信息时，步骤S105中处理第一交互信息(手语视频)得到第二交互信息(文字信息)可以通过以下方式实现：

S1051、利用三维残差网络对采集到的手语视频转化为特征向量。

给定含有T帧图像的手语视频x_i是视频中的第i帧图像，使用窗长为8，步长为4的滑窗对视频进行分割，得到含有50％重叠的视频片段，记为N表示经过滑窗处理所得到的视频片段的个数。

Γ_θ表示三维残差网络特征提取器，对于每一个经过滑窗得到的视频片段v_t，其经过三维残差网络之后得到特征表达f_t＝Γ_θ(ν_t)∈R^d，可选地，d表示视频特征的维度。通过三维残差网络得到的视频特征可以表示为下式：

出于对GPU显存和计算复杂度的考虑，使用18层的三维残差卷积神经网络，提取池化层的512维响应作为视频片段的特征表达。

S1052、使用双向长短时记忆网络对特征向量进行编码生成与手语视频对应的文字信息。

双向长短时记忆网络的输出为将输出结果通过一个全连接层映射到文字信息对数概率空间得到y_t＝W_fc1·e_t+b_fc1，R表示双向长短时记忆网络。

对于含有还N个视频片段的手语视频，每个视频通过双向长短时记忆网络的输出类别的概率分布可以表示为Y＝(Y_t,z)＝[y₁,...,y_N]^T，其中Y_i,l是第t个视频片段属于手语单词l的概率，可以确定概率最大的手语单词为该第t个视频片段的文字信息，遍历视频的所有视频片段，则可以得到关于该视频的文字信息。

本申请实施例还提供了一种辅助方法，该方法可以帮助残疾人以及健全人及时的获取外界环境的信息，请参见图9，该辅助方法包括：

S201、获取交流过程中的环境信息。

S202、处理第一交互信息得到对应第一交互信息的提示信息。

此处的交流指移动终端用户与外界的沟通交流，且主要指移动终端将外界发生的情况/信息传递残疾人，使之可以及时作出避险、应急等的操作。此处的环境信息包括如下至少一种：车辆响铃声、地震警报声、火灾警报声、紧急提示消息(包括政府通过基站群发的提示短信，提示短信中可以包含地震、火灾等字段信息，当然也可以是防诈骗等的信息)。

移动终端可以在获取到环境信息之后确定环境信息的种类/内容，查询预设环境信息提示方式，确定对应的提示信息，例如通过开启预设提示方式的提示灯、和/或开启预设震动模式，和/或开启预设响铃方式以对环境信息进行提示。例如，在移动终端获取到火警报警声之后，移动终端可以通过闪亮红色呼吸灯(提示灯)，开启三秒强震动一秒弱震动的方式以对盲人进行提示。当然，预设环境信息提示方式可以由用户自己设置。

本申请还提供一种移动终端设备，终端设备包括存储器、处理器，存储器上存储辅助方法程序，辅助方法程序被处理器执行时实现上述任一实施例中的辅助方法的步骤。

本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有辅助方法程序辅助方法程序被处理器执行时实现上述任一实施例中的辅助方法的步骤。

在本申请提供的移动终端和计算机可读存储介质的实施例中，包含了上述辅助方法各实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不做再赘述。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如上各种可能的实施方式中的方法。

本申请实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中的方法。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本申请技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。

在本申请中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本申请技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本申请记载的范围。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。