具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

目前，在需要获取音视频数据的应用场景中，通常是用户在搜索引擎中输入关键词，对应地在搜索引擎中提供的搜索结果中选择出需要的音频数据，再下载到本地。该获取音视频数据的方式过于繁琐。

为解决上述现有技术中存在的问题，提出本发明的方案。本发明的一个实施例提供了一种输入法显示多媒体数据的方法，该方法可以在计算设备中执行。图1示出了根据本发明一个实施例的计算设备100的结构图。如图1所示，在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM，磁盘中的数据需要加载至物理内存中才能够被处理器104读取。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。应用122实际上是多条程序指令，其用于指示处理器104执行相应的操作。在一些实施方式中，在一些实施方式中，应用122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。操作系统120例如可以是Linux、Windows等，其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用122包括用于实现各种用户期望的功能的程序指令，应用122例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境IDE、编译器等)等，但不限于此。当应用122被安装到计算设备100中时，可以向操作系统120添加驱动模块。

在计算设备100启动运行时，处理器104会从存储器106中读取操作系统120的程序指令并执行。应用122运行在操作系统120之上，利用操作系统120以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用122时，应用122会加载至存储器106中，处理器104从存储器106中读取并执行应用122的程序指令。

计算设备100还包括储存设备132，储存设备132包括可移除储存器136和不可移除储存器138，可移除储存器136和不可移除储存器138均与储存接口总线134连接。

计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备100还包括与总线/接口控制器130相连的储存接口总线134。储存接口总线134与储存设备132相连，储存设备132适于进行数据存储。示例的储存设备132可以包括可移除储存器136(例如CD、DVD、U盘、可移动硬盘等)和不可移除储存器138(例如硬盘驱动器HDD等)。

在根据本发明的计算设备100中，应用122包括执行方法200的多条程序指令。

图2示出了根据本发明一个实施例的多媒体数据处理方法200的流程图。方法200适于在计算设备(例如前述计算设备100)中执行。

如图2所示，方法200的目的是实现一种多媒体数据处理方法，始于步骤S202，在步骤S202中，获取输入法的输入框中输入的信息。输入法是指为将各种符号输入计算机或其他设备(如手机)而采用的编码方法。通常，我们直接将“输入法软件”称为“输入法”，比如将“搜狗拼音输入法软件”称为“搜狗拼音输入法”。输入法软件一般默认自带某种编码方式，例如中文输入法中的拼音编码，也即通常所说的拼音输入法。有的输入法软件名称本身也就是该输入法的编码名称，如王码五笔字型输入法、超强二笔输入法等。

需要说明的是，输入法输入的信息一般为文字信息或者是语音信息，其一般采用电脑键盘或手机键盘等方式进行输入，广义上的输入法还包括手写、语音、OCR扫描阅读器、速录机等输入方式，本发明对采用何种方式来进行输入并不做限制。示例性地，手写识别借着计算机的认字功能，由使用者的手写字体来辨别文字或其它符号。语音识别使用话筒和语音识别软件来辩别文字。OCR软件种类比较多，常用的比如清华OCR，在系统对图形进行识别后，系统会把不能肯定的字符标记出来，从而将文字或符号输入到电脑中。速录技术一般采用专用的速录键盘和设备，有国际上的专用速录设备，通常采用并击手术(即每次按键多个手指按下不同键位)，可以实现每按一次就出来整一个单词。

在一个具体示例中，如图3所示，图3示出了根据本发明一个实施例的输入法300的结构示意图。在本示例中，以常规的键盘输入法为例。在图3示出的输入法结构中，包括输入框和显示框。输入框是基于用户对键盘的输入操作直接对应显示的内容。例如，拼音输入法中，输入框中显示的则是用户输入的拼音内容。显示框是根据输入框中输入的内容匹配到的显示内容。

在步骤S204中，确定与信息相匹配的至少一条多媒体数据。具体地，将该信息与多媒体数据集合中的各多媒体数据的描述信息进行匹配，以匹配到至少一个多媒体数据。多媒体数据集合中存储有文字、图片、照片、动画和音视频等多种媒体数据。其可以是驻留在计算设备的本地数据库，也可以是驻留在与计算设备连接的远端服务器中的数据库，对此，本申请不做限定。

在一种实施例中，多媒体数据集合(也称多媒体数据库)是基于各多媒体数据的元数据构建的，多媒体数据如音频、图像、视频、动画等需计算机的二进制数据，是非结构化的，不能简单地用数学解析式表示。多媒体数据库必须取得这些媒体对象内容及信息特征的解释，才能完成存储及检索应用，这些解释就称为元数据。元数据是通过对媒体对象的特征提取函数生成。

具体地，在本实施中，多媒体数据集合的构建方法包括：首先，生成各多媒体数据的描述信息，描述信息至少包括：多媒体数据的名称、特征数据等描述多媒体数据属性信息的数据。特征数据即媒体数据的元数据，例如数据的大小、数据的构建时间等。举例而言，对于冯巩老师的一个小品，其描述信息可为“冯巩春晚小品-5M”，其中“冯巩春晚小品”为媒体数据的名称，5M为媒体数据的大小(即特征数据)。

在又有一些实施例中，描述信息可以为文字信息，也可以为图片等其他结构体类型。对此，本申请不做限定。

然后，将各描述信息分别与对应的多媒体数据进行关联。

在一个具体示例中，用户可以基于自己的喜好，在多媒体数据集合中存储喜好的多媒体数据。示例性地，用户可以在多媒体数据集合中存储喜欢的冯巩老师的小品片段，并生成该小品片段的信息“冯巩2012春晚小品”或者“冯巩春晚作品”等。然后，将该描述信息与该小品片段进行关联，以便于在对多媒体数据集合中的多媒体数据进行检索。当检测到输入法的输入框中输入的信息与“fenggong”相关时，则在多媒体数据集合中匹配该小品片段。

在步骤S206中，在输入法的显示框上至少显示多媒体数据的描述信息。该描述信息可以为匹配到的多媒体数据在多媒体数据集合中的描述信息。也可为由输入框中输入的信息为基础形成的描述信息，只要能与匹配到的多媒体数据相互关联就行。本申请对此不做限定。

在一个具体示例中，继续参考图3，当用户在输入法的输入框中输入“fenggong”时，相对应地，在输入法的显示框中显示出与“fenggong”这一信息相匹配的多个显示结果内容，其中，除了在输入法的显示框中显示正常的纯文本信息内容外(如图中“冯巩”、“奉公”、“丰功”等)之外，还显示有多媒体数据的描述信息，如图中2位置处显示的为多媒体的描述信息。

另外，输入法通常是为一些可输入的应用程序服务的，即通过输入法在应用程序中进行输入操作。因此，在一些实施例中，该多媒体数据处理方法200还包括：

当监测到对描述信息的选择指令时，检测与输入法进行交互的目标应用是否支持多媒体数据。在本实施例中，选择指令为用户通过对显示框中显示的内容进行选择的指令。参考图3，显示框中显示的内容均一一对应一个标识，例如，“冯巩”对应标识1等，当用户通过键盘等硬件设备选择对应的标识后，计算设备会将对应的内容发送至目标应用的显示界面，比如，当用户通过对键盘上对应的“1”键进行触发时，则相应的在目标应用的显示界面输入“冯巩”。需要说明的是，除了通过数字键入1进行选择操作外，还可以通过鼠标等硬件设备选择，另外，对于具备触控功能的计算设备，可通过用户对对应位置的点击操作进行选择。对此，本申请不做限定。

在本实施例中，目标应用的显示界面为富文本框。富文本框中配置有图片、动画、音视频播放等各种多媒体数据播放插件。在本实施例中，通过DTK(deepin tool kit)作为富文本框的开发工具。DTK是基于Qt5开发的一整套UI图形库，方便统一的编写深度桌面和深度系列应用，主要的功能有：提供单实例的接口，方便直接使用。不用造轮子、提供XCB窗口移动、缩放等一系列函数，其提供大量美观的自绘控件，不用用户制备Qt控件，可直接用。根据不同的配置，富文本框可支持的数据不同，例如，一些配置的富文本框可支持图片、音频、视频等数据。另一些配置的富文本框可支持颜文字、纯文本等数据。并且，一些配置的富文本框可支持MP3、MP4、JGP、TFT等各种格式的多媒体数据。以及，根据配置的不同，可支持的多媒体数据的大小也不同。

之后，再根据属性信息判断目标应用是否支持多媒体数据。

当用户选择的为显示框中的多媒体数据的描述信息时，由于该描述信息关联着多媒体数据，则将该多媒体数据发送至目标应用。但是，考虑到该目标应用可能不支持该多媒体数据(由于多媒体格式等限定)，无法在目标应用的显示界面呈现该多媒体数据，致使多媒体数据发送失败。因此，在发送多媒体数据之前，需判断该目标应用是否支持该多媒体数据。

优选地，可通过以下方法进行检查目标应用是否支持多媒体数据：

提取目标应用的属性信息，属性信息至少包括支持的数据类型、大小和格式。

在一个具体示例中，将目标应用的显示界面配置为可支持音视频数据、MP3和MP4格式以及10M大小以内的数据。当通过输入框中的信息匹配到的多媒体数据为视频数据1、视频数据2及视频数据3。其中，视频数据1为MP4格式，大小为8M，则说明该目标应用的显示界面支持视频数据1。视频数据2为MP4格式，大小为20M，由于视频数据2的大小大于目标应用的显示界面所能承受的大小，则说明该目标应用的显示界面不支持视频数据2。视频数据3为ASF格式，大小为8M，由于目标应用的显示界面不支持给ASF格式，则说明该目标应用的显示界面不支持视频数据3。

需要说明的是，用户也可直接查询目标应用的显示界面的属性信息，以知晓该目标应用的显示界面所能支持的多媒体数据。由于通过DTK制作的富文本框与输入法框架之间有一个信息交互，将鼠标光标移动至该输入法的图标上，则该输入法会显示该富文本框的属性信息，其中记载有其所能支持的多媒体数据。

若目标应用支持该多媒体数据，则将多媒体数据发送至目标应用。具体地，先扫描计算设备的剪切板中是否有其他信息，如果有，则通过目标应用的显示界面(富文本框)中的多媒体数据插件对剪切板中的信息进行缓存。然后，利用剪切板将从多媒体数据集合中匹配到的多媒体数据拷贝至该目标应用的显示界面，最后，将多媒体数据插件缓存的信息再次拷贝至剪切板中。

当将多媒体数据拷贝至目标应用后，可以对多媒体数据进行播放等操作，因此，在一些实施例中，在目标应用的显示界面呈现输入选项接口，输入选项接口至少包括播放接口、暂停接口、返回接口、重播接口和保存接口中的一个。响应于对输入选项接口的触发操作，执行相应动作。

继续前述示例，如图4所示，图4示出了根据本发明一个实施例的应用场景400的示意图。在图4中，当用户通过数字键2对应的“冯巩经典小品视频片段”后，会在目标应用的显示界面中呈现出“播放”、“返回”等输入选项接口。然后，响应于对输入选项接口的触发操作，执行相应动作。例如，用户在触发“播放”接口时，会进行播放功能。

还需要说明的是，输入选项接口以嵌入的方式，嵌入至目标应用的显示界面中。输入法选项接口的触发操作可以与前述选择操作相同，也可以通过设置快捷键的方式进行触发。例如，将“播放”接口与键盘回车键关联，当用户按压回车键时，进行多媒体数据的播放。另外，图4中示出的“播放”接口中“播放”字符仅仅作为示例，也可设置为“确定”等其他字符。对此，本申请不做限定。

在一个具体示例中，用户可对匹配到的多媒体数据进行保存，当用户触发保存接口时，会将对应的多媒体数据保存至与之关联的数据库中，该数据库可以是与前述多媒体数据集合相同，也可不同。用户可自己设置该数据库，在该数据库中保存自己喜爱的多媒体数据，当用户在输入框中输入信息时，优先匹配该数据库中的多媒体数据。

若目标应用不支持该多媒体数据，则生成多媒体数据的超文本链接，并将超文本链接发送至目标应用，以通过跳转至超文本链接指向的界面显示所述多媒体数据。多媒体数据的超文本链接，又称超媒体、超级媒体等。其是一种采用非线性网状结构对块状多媒体信息(包括文本、图像、视频等)进行组织和管理的技术，超媒体在本质上和超文本是一样的，只不过超文本技术在诞生的初期管理的对象是纯文本，所以叫做超文本。超文本是用超链接的方法，将各种不同空间的文字信息组织在一起的网状文本。超文本更是一种用户界面范式，用以显示文本及与文本之间相关的内容。现时超文本普遍以电子文档方式存在，其中的文字包含有可以链结到其他位置或者文档的连结，允许从当前阅读位置直接切换到超文本连结所指向的位置。超文本的格式有很多，目前最常使用的是超文本标记语言(标准通用标记语言下的一个应用)及富文本格式。随着多媒体技术的兴起和发展，超文本技术的管理对象从纯文本扩展到多媒体，为强调管理对象的变化，就产生了超媒体这个词。另外，在本实施例中，输入法的显示框可直接显示匹配到的多媒体数据和多媒体数据的片段。

在一个具体示例中，如图5所示，图5示出根据本发明一个实施例的在输入法的显示框中播放音视频数据的应用场景500的流程图。具体步骤如下：

步骤S501、用户将鼠标光标移动至输入法上。

步骤S502、输入法检测到鼠标指示的焦点，向富文本框(输入法的显示框)发送是否支持多媒体数据播放的请求。

步骤S503、富文本款将支持的多媒体类型反馈至输入法的属性说明界面，并呈现给用户。多媒体类型包括视频、音频、图片、文字等。需要说明的是，在本示例中，仅仅以富文本框支持用户选择的多媒体数据进行说明。

步骤S504、根据用户输入的信息，通过相应的插件工具从多媒体数据集合中匹配相应的多媒体数据。

步骤S505、将匹配到的多媒体数据的描述信息拷贝至富文本框以展示给用户。当用户通过输入信息匹配到多媒体数据后，插件工具缓存计算设备的剪切板中的信息，然后将对应的多媒体数据从多媒体数据集合中拷贝至剪切板中，并粘贴至富文本框中，再见之前缓存的剪切板中的信息重新放到剪切板中。

步骤S506、对富文本框展示的输入选项接口进行触发。

步骤S507、响应用户的对输入选项接口的触发操作，执行相应的动作。

在本实施实施例提供的多媒体数据处理方法200，可通过输入法直接向目标应用发送多媒体数据，可以扩展输入法输入的内容，方便用户使用输入法进行多媒体数据的输入。以使得输入法能输入的内容不再局限于文字、图片。对输入法能输入的信息具有积极的启发扩展作用。

图6示出了根据本发明一个实施例的多媒体数据处理装置600的示意图。如图6所示，该多媒体数据处理装置600包括：相互耦接的获取模块610、确定模块620和显示模块630。

其中，获取模块610，适于获取输入法的输入框中输入的信息。

确定模块620，适于确定与信息相匹配的至少一条多媒体数据。

显示模块630，适于将多媒体数据的描述信息显示在输入法的显示框。

需要说明的是，本实施例提供的多媒体数据处理装置600的工作原理与前述多媒体数据处理方法200相似，相关之处，请参考对上述多媒体数据处理方法200的描述，在此，不再赘述。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的方法。

以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的较佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。