具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中，为了更准确地测试出智能语音系统反应时间，首先可以准备测试语料，其中可以包括测试语音指令，例如，唤醒指令、具体的交互指令等，并且可以在测试语音指令的尾部插入超声波信号。这样，在测试过程中通过具体的设备播放测试语料时，播放完具体的测试语音指令后，会播放一段超声波信号，该超声波信号的播放时间则可以代表具体语音指令播放完成的时间，也即，具体应用过程中人类通过说话的方式发出指令时结束说话的时间。进而，后续如果能够检测到该超声波信号在时间轴上的位置，即可确定出具体的测试语音指令的实际结束时间。

另外，具体的待测系统(智能语音系统)在收听到测试语音指令后，可以对语音进行识别，检测语音信号尾点(已识别出的语音内容是否已组成完整的一句或一段话)等等，之后还可以生成具体的应答语音流。在此过程中通常需要经历多个具体的处理节点，包括前述语音识别、尾点检测、应答语音生成、应答语音播放等等。在具体实现时，如果具体的智能语音系统分为终端设备以及服务端两部分，则终端设备检测出的语音指令需要提交到服务端，由服务端生成具体的应答语音流再回传给终端设备。在此过程中，还可能会涉及到语音指令的传输、应答语音流的传输等处理节点。在本申请实施例中，具体的待测系统中的终端设备还可以为上述多个处理节点中的一个或多个节点添加超声波信号并进行播放。这样，如果后续能够检测到这种超声波信号，在时间轴上的位置，即可确定出各个处理节点的发生时间。再结合具体测试语音指令的实际结束时间等信息，即可测试出具体待测系统在多个处理环节上的响应时间信息。

下面对本申请实施例提供的具体实现方式进行详细介绍。

实施例一

首先，该实施例一提供了一种测试系统，参见图1，该系统具体可以包括：

控制子系统110，用于在测试过程中播放测试语料，所述测试语料中包括测试语音指令，所述测试语音指令的尾部关联有超声波信号；

待测子系统120，用于对收听到的测试语料进行处理以便生成应答语音流，并在处理过程中的至少一个处理节点处播放超声波信号；

音频采集子系统130，用于在测试过程中进行音频信号进行采集，并将音频采集结果提供给所述控制子系统；

所述控制子系统110还用于，从所述音频采集结果中检测出超声波信号在音频时间轴上的位置信息，根据所述位置信息确定所述待测子系统的响应时间信息。

具体实现时，可以首先部署实验室环境，通过实验室模拟多种不同的噪音环境，尽量贴合实际噪音场景。例如，包括家庭场景，车载场景，等等。之后可以在实验室环境中部署具体的硬件设备。

具体的硬件设备就可以包括前述控制子系统、待测子系统、音频采集子系统。通过上述各子系统完成对待测子系统进行测试。

其中，控制子系统至少可以包括PC、笔记本电脑等计算机设备，同时可以带有扬声器等音频输出设备。在软件层面上，可以预先在计算机设备中安装测试程序，并保存测试语料，测试过程启动后，可以通过该测试程序对具体测试语料进行播放控制，以此代替实际应用场景中的人类通过说话方式向智能语音设备发出语音指令的过程。

待测子系统通常可以包括智能语音终端设备以及服务端两部分，终端设备主要用于收听具体的语音指令，还可以进行一些识别以及尾点检测等处理，然后将语音指令提交到服务端。服务端则主要用于根据具体的语音指令生成具体的应答语音流并返回给终端设备，以用于播放。在本申请实施例中，终端设备在具体处理的过程中，还可以执行在具体的处理节点处插入并播放超声波信号的操作。具体实现时，可以预先在终端设备中安装具体的测试模块或者写入测试代码，用以实现上述功能。当然，在测试完成并出厂时，可以将测试模块或者测试代码删除，这部分功能不需要提供给消费者用户。

音频采集子系统具体可以包括标准麦克风设备，在具体测试开始后，该标准麦克风设备可以持续进行音频信号的采集。其中采集到的音频内容中会包括控制子系统播放的测试语料，待测子系统播放的应答语音流以及超声波信号，当然，另外还可以包括测试环境的环境音，等等。

音频采集子系统与控制子系统之间可以通过有线或者无线等多种方式实现通信连接，这样，音频采集子系统采集到的音频采集结果，可以提供给控制子系统，控制子系统中的测试程序则可以从中检测出超声波信号在音频时间轴上的位置信息，并根据所述位置信息确定所述待测子系统的响应时间信息，以此结束一次测试过程。

其中，之所以采用插入超声波信号的方式来进行标记是因为，在测试过程中，无论是语音指令，还是应答语音流，抑或是环境音，都是以音频的形式存在，因此，普通频率的声波可能会被淹没在这些声音中，无法准确地分离出来。但是，这些语音指令、应答语音流、环境音的频率通常是在人耳可听的范围内，不会到达超声波的范围，因此，通过插入超声波，可以使得这种标记信号能够被准确地从其他声音中分离出来。需要说明的是，这种超声波信号在播放的过程中虽然可能不会被人耳收听到，但是音频采集子系统是能够采集到该信号的。

具体实现时，无论是测试语料，还是待测子系统的整个处理链路上，都可以插入超声波信号，以作为某个事件或处理节点的标记。其中，具体的测试语料中可以包括用于对智能语音终端设备进行唤醒的唤醒指令，另外还可以包括具体的交互指令，两种指令的尾部都可以插入具体的超声波信号，用以作为指令播放完成的标记。

其中，对于唤醒指令而言，由于在默认状态下，终端设备通常处于待机状态，在收听到具体的唤醒指令后才会启动，进而与用户进行对话。在测试过程中，同样可以通过上述唤醒指令首先将待测终端设备唤醒，然后再进行后续的对话交互。具体实现时，终端设备的唤醒过程通常是在终端设备本地来完成，并且在一些比较嘈杂的环境中，终端设备能否被唤醒，以及唤醒所需的时间长度等，是体现待测子系统性能的一个重要指标。因此，在本申请实施例中，可以为唤醒指令的尾部插入超声波信号，控制子系统在播放完该唤醒指令后，会播放其关联的超声波信号。相应的，音频采集子系统会采集到这种超声波信号，该超声波信号在时间轴上的位置则可以作为唤醒指令播放完成的时间点。

具体实现时，可以由控制子系统来启动测试过程，测试开始后，音频采集子系统同步开始采集音频信号。控制子系统首先可以播放上述唤醒指令(例如，“你好XX”)，及其尾部关联的超声波信号。待测子系统如果能够收听到具体的唤醒指令，则会播放唤醒应答语音，例如，“我在”等。在本申请实施例中，则可以在播放该唤醒应答语音之前，插入一超声波信号，并进行播放，以此代表待测子系统识别出唤醒指令的时间。这样，唤醒指令尾部关联的超声波信号的播放时间与唤醒应答语音关联的超声波信号的播放时间之间的时间差，即可作为待测系统的唤醒反馈时间信息。也即，通过这种方式，可以测试出待测系统的唤醒反馈时间信息这一指标。

另外，在唤醒设备后，才会进入具体的交互对话过程，该过程中也可能存在一些需要测试的指标，包括全链路的响应时间(从交互语音指令播放完成到播放出具体的应答语音所需的时间)，或者，还可以包括终端设备进行语音识别以及尾点检测所需的时间，等等。因此，除了可以在交互语音指令尾部插入超声波信号，还可以在待测子系统处理链路的多个处理节点上分别插入超声波信号。当然，为了能够更好的区分出超声波信号与所代表的语音指令或处理节点之间的对应关系，测试语音指令关联的超声波信号以及不同处理节点处播放的超声波信号可以分别具有不同的频率。

例如，前述唤醒指令可以关联有第一超声波信号，待测子系统在播放唤醒应答语音之前播放的可以是第二超声波信号，两者具有不同的频率，因此，可以根据频率的不同，确定出各自关联的指令类型或者处理节点标识。

另外，具体的语音交互指令可以关联有第三超声波信号，在所述待测系统识别出所述语音交互指令，并判断所述语音交互指令播放完毕时，播放的可以是第四超声波信号。这样，控制子系统可以根据所述第三超声波信号与所述第四超声波信号之间的时间间隔，确定所述待测系统的语音识别模型的响应时间信息。也即，可以测试出终端设备进行语音指令识别以及尾点检测所需的时间。例如，控制子系统播放完成某测试语音指令的时间是T1，该时间代表用户与智能语音终端设备对话过程中，用户说话完成的时间，而智能语音终端设备收听到具体的音频信号后，需要一段时间的处理才能确认出用户输入了语音指令，并结束了说话，该识别完成的时间是T2。该T2与T1之间的时间差就是用户实际结束说话与系统认为的用户结束说话的时间之间的差距。该时间差也可以作为评价待测子系统性能的指标。

再者，所述待测系统在具体确定出应答语音流并播放应答语音流之前还可以播放第五超声波信号，此时，可以根据所述第三超声波信号与所述第五超声波信号之间的时间间隔，确定所述待测系统的全链路响应时间信息。也即，从用户说话结束，到该用户收听到终端设备的应答语音之间的时间，该时间是反映待测子系统性能的重要指标。当然，由于播放插入的超声波信号也需要占用一定的时间，因此，具体实现时，为了更准确地确定出该全链路响应时间信息，还可以将测试过程中播放超声波信号的时间从中扣除。

例如，假设第三超声波信号在时间轴上的位置为T3，第五超声波信号在时间轴上的位置为T5，则全链路响应时间＝T5-T3-N*T_PI；其中，N为在T2、T5之间插入等超声波信号个数，T_PI为插入的超声波脉冲信号时长。

当然，在具体实现时，由于具体的应答语音流可能是服务端生成的，终端设备在收到应答语音流之后，可能还需要进行缓存、解码等处理，才能够进行播放。因此，还可以在待测子系统接收到服务器返回的应答语音流中的首个数据包时，播放第六超声波信号。这样，还可以根据所述第六超声波信号与所述第五超声波信号之间的时间间隔，确定所述待测系统对语音流的播放处理时间信息，该信息也可以作为评价待测子系统性能的一项指标。

具体实现时，控制子系统中可以预先保存各种语音指令以及各处理节点对应的超声波信号的频率信息，这样，在检测出超声波信号在音频时间轴上的位置信息后，可以根据所述超声波信号的频率信息确定出对应的是何种语音指令，或者是哪个具体的处理节点。具体的，保存的形式可以如表1所示：

表1

通过上述方式，可以将各种不同的语音指令、系统链路上的处理节点区分出来，并且可以根据具体的需求，完成对多种不同指标的测试。

例如，如图2所示，在一个具体的例子中，控制子系统播放唤醒指令“你好XX”，该指令尾部插入有第一超声波信号，假设该信号播放时间为T0；待测子系统收听到唤醒指令后反馈唤醒应答语音，在此之前插入第二超声波信号，该信号播放时间为T1；控制子系统播放交互语音指令，例如“今天天气怎么样”，该指令尾部插入有第三超声波信号，其播放时间为T2；待测子系统识别该交互语音指令，并检测到尾点后闭麦，不再收听其他的语音信号；此时，插入第四超声波信号，其播放时间为T3；待测子系统将检测到的语音信号上传到服务端，服务端进行处理后返回应答语音流数据包(TTS)，终端设备收到应答语音流首包时插入第六超声波信号，该信号的播放时间为T4；之后，终端设备对收到的应答语音流首包进行播放，例如“今天天气晴，×××”，并在播放前插入第五超声波信号，该信号播放时间为T5。音频采集子系统可以完成对上述测试过程中产生的音频信号的采集，控制子系统从中检测出各种超声波信号的位置。之后，便可以获得多种具体的测试结果。例如：

全链路响应时间：T5-T2-N*T_PI

唤醒反馈时间：T1-T0

尾点检测时间：T3-T2

云处理时间(含网络运输)：T4-T3

TTS缓存及解码时间：T5-T4

另外，通过本申请实施例提供的方案，还可以实现对多个待测子系统的同时测试。例如，同一批终端设备在出厂前，如果需要对其中多个终端设备进行测试，则在本申请实施例中，可以同时对这些终端设备进行测试。具体实现时，可以预先为不同待测系统分配不同的超声波频段，同一待测系统的不同处理节点处播放的超声波信号可以在各自对应的频段内选择不同的频率。这样，控制子系统可以在检测出超声波信号在音频时间轴上的位置信息后，根据所述超声波信号的频率信息确定对应的处理节点，并根据所属的频段确定对应的待测子系统。然后，根据同一待测子系统中的各种超声波信号对应的处理节点信息，对各种所需的指标进行测试即可。

总之，通过本申请实施例，通过在测试语音指令的尾部插入超声波信号，可以作为语音指令播放完成的标志，另外，在待测子系统处理链路上的至少一个处理节点上插入超声波信号，也可以作为具体处理节点发生时间的标志。这样，只要从采集到的音频采集结果中检测出具体超声波信号在时间轴上的位置信息，即可测试出待测子系统的响应时间信息。通过这种方式，可以获得更准确的测试结果。

实施例二

该实施例二是与实施例一相对应的，从控制子系统的角度，提供了一种测试方法，参见图3，该方法具体可以包括：

S310：获得测试过程中采集的音频采集结果，所述音频采集结果中包括测试语音指令及其关联的超声波信号，以及待测系统在处理测试语音并生成应答语音流的过程中，至少一个处理节点处播放的超声波信号；

S320：从所述音频采集结果中检测出超声波信号在音频时间轴上的位置信息；

S330：根据所述位置信息确定所述待测子系统的响应时间信息。

其中，所述处理节点可以为多个，此时，不同处理节点处播放的超声波信号可以具有不同的频率；这样，在检测出超声波信号在音频时间轴上的位置信息后，可以根据所述超声波信号的频率信息确定对应的处理节点。

另外，所述待测系统也可以为多个，不同待测系统可以对应不同的超声波频段，同一待测系统的不同处理节点处播放的超声波信号在对应的频段内选择不同的频率；这样，在检测出超声波信号在音频时间轴上的位置信息后，还可以根据所述超声波信号的频率信息确定对应的处理节点，并根据所属的频段确定对应的待测系统。

其中，所述测试语音指令包括唤醒指令，所述唤醒指令关联有第一超声波信号；所述处理节点处播放的超声波信号包括：在播放唤醒应答语音之前播放的第二超声波信号；此时，可以根据所述第一超声波信号与所述第二超声波信号之间的时间间隔，确定所述待测系统的唤醒反馈时间信息。

或者，所述测试语音指令包括语音交互指令，所述语音交互指令关联有第三超声波信号；所述处理节点处播放的超声波信号包括：在所述待测系统识别出所述语音交互指令，并判断所述语音交互指令播放完毕时，播放的第四超声波信号；此时，可以根据所述第三超声波信号与所述第四超声波信号之间的时间间隔，确定所述待测系统的语音识别模型的响应时间信息。

另外，所述测试语音指令包括语音交互指令，所述语音交互指令关联有第三超声波信号；所述处理节点处播放的超声波信号包括：所述待测系统播放应答语音流之前播放的第五超声波信号；此时，可以根据所述第三超声波信号与所述第五超声波信号之间的时间间隔，确定所述待测系统的全链路响应时间信息。

另外，所述处理节点处播放的超声波信号还可以包括：所述待测系统将所述语音交互指令提交到服务器，并接收到服务器返回的应答语音流中的首个数据包时，播放的第六超声波信号；此时，可以根据所述第六超声波信号与所述第五超声波信号之间的时间间隔，确定所述待测系统对语音流的播放处理时间信息。

具体的，可以确定所述第三超声波信号与所述第五超声波信号之间的时间间隔，并将各处理节点处播放超声波信号的时长扣除后，确定所述待测系统的全链路响应时间信息。

实施例三

该实施例三也是与实施例一相对应的，从待测子系统的角度，提供了一种测试方法，参见图4，该方法具体可以包括：

S410：收听测试语料，所述测试语料中包括测试语音指令，所述测试语音指令的尾部关联有超声波信号；

S420：对收听到的测试语料进行处理以便生成应答语音流，并在处理过程中的至少一个处理节点处播放超声波信号，以便通过检测超声波信号在音频时间轴上的位置信息，确定所述待测子系统的响应时间信息。

实施例四

前述实施例中，均是针对智能音箱等待测系统的测试方式进行了介绍，而在实际应用中，还可能存在其他类型的待测系统，并且可能是通过其他类型的人机交互方式与用户进行交互，例如，输入信号可能是用户的眼动信号，返回的响应可能是语音，也可能是图像等多种类型的信息。针对这些其他的人机交互方式的场景，也可以提供类似的测试方案。具体的，可以根据具体待测系统关联的人机交互方式信息提供测试指令集，每条测试指令的结尾处可以关联有标记信号，具体标记信号的形式可以根据测试指令的信号类型而定，例如，如果测试指令是模拟的眼动信号，则标记信号可以是一段光信号，等等。相应的，待测系统在执行具体测试指令的过程中，也同样可以在应答过程的至少一个处理节点处插入标记信号。这样，可以通过对标记信号的检测，来确定出待测系统在具体目标处理节点处的响应时间信息。

具体的，参见图5，该实施例四提供了一种测试方法，该方法具体可以包括：

S510：获得对待测系统进行测试的过程中获得的信息采集结果，所述信息采集结果中包括测试指令及其关联的标记信号，以及待测系统在处理测试指令并生成应答信息的过程中，在至少一个处理节点处插入的标记信号；

S520：从所述信息采集结果中检测出标记信号在时间轴上的位置信息；

S530：根据所述位置信息确定所述待测系统在目标处理节点的响应时间信息。

实施例五

在该实施例五中，可以将本申请实施例提供的技术方案以开放式平台的形式，提供给第三方的设备或系统供应商。第三方的供应商如果需要对自己的设备或者系统进行测试，则可以向该开放式平台提交请求，由平台向其提供相应的测试指令集，另外，其在测试过程中按照要求采集到具体的信息还可以提交到该开放式平台，平台则可以对其中包含的标记信号进行检测，根据标记信号出现的时间点，确定各个处理节点的发生时间，进而可以确定出所需的响应时间信息。进而，可以将这种响应时间信息返回给第三方客户端，使得第三方能够据此对其设备或者系统的性能进行了解，必要时可以进行优化，等等。

具体的，参见图6，该实施例五提供了一种测试方法，该方法具体可以包括：

S610：接收对目标待测对象进行测试的请求；

S620：根据所述目标待测对象关联的人机交互方式信息，提供测试指令集，所述测试指令的结尾处关联有标记信号，以便所述目标待测对象在通过执行所述测试指令并生成应答信息进行测试的过程中，在至少一个处理节点处插入标记信号；

S630：获取测试过程中的信息采集结果，所述信息采集结果包括所述测试指令及其关联的标记信号，以及所述应答信息的至少一个处理节点处插入的标记信号；

S640：从所述信息采集结果中检测出标记信号在时间轴上的位置信息；

S650：根据所述位置信息确定所述待测系统在目标处理节点的响应时间信息；

S660：返回所述响应时间信息，以用于对所述目标待测对象进行优化。

其中，所述人机交互方式包括语音交互，所述测试指令包括测试所需的语音指令；所述标记信号包括超声波信号，所述信息采集结果包括音频采集结果。

具体实现时，所述标记信号可以包括由所述请求的发起方自定义的信号。例如，所述标记信号包括超声波信号，则所述自定义的信号可以包括：自定义的超声波波形和/或频率信息。也就是说，请求方可以根据自己待测试对象的特点或者需求，对具体标记信号进行自定义，并由平台方插入到具体的测试指令中。

实施例六

该实施例六是与实施例五相对应的，从第三方的测试请求方角度，提供了一种测试方法，参见图7，该方法具体可以包括：

S710：向服务端提交针对目标待测对象进行测试的请求，以便所述服务端根据所述目标待测对象关联的人机交互方式信息，提供测试指令集，所述测试指令的结尾处关联有标记信号；

S720：启动对所述目标待测对象的测试过程，并播放所述测试指令集，以便在通过执行所述测试指令并生成应答信息进行测试的过程中，在至少一个处理节点处插入标记信号；

S730：在所述测试过程中进行信息采集，并将信息采集结果提交到所述服务端，所述信息采集结果包括所述测试指令及其关联的标记信号，以及所述应答信息的至少一个处理节点处插入的标记信号，以便所述服务端从所述信息采集结果中检测出标记信号在时间轴上的位置信息，并根据所述位置信息确定所述待测系统在目标处理节点的响应时间信息；

S740：接收所述服务端返回的所述响应时间信息，以便对所述目标待测对象进行优化。

关于前述实施例二至实施例六中的未详述部分，可参见实施例一中的记载，这里不再赘述。

与实施例二相对应，本申请实施例还提供了一种测试装置，参见图8，该装置具体可以包括：

音频采集结果获得单元810，用于获得测试过程中采集的音频采集结果，所述音频采集结果中包括测试语音指令及其关联的超声波信号，以及待测系统在处理测试语音并生成应答语音流的过程中，至少一个处理节点处播放的超声波信号；

超声波信号检测单元820，用于从所述音频采集结果中检测出超声波信号在音频时间轴上的位置信息；

测试结果获得单元830，用于根据所述位置信息确定所述待测子系统的响应时间信息。

其中，所述处理节点为多个，所述测试语音指令关联的超声波信号以及不同处理节点处播放的超声波信号分别具有不同的频率；

所述装置还可以包括：

第一信号识别单元，用于在检测出超声波信号在音频时间轴上的位置信息后，根据所述超声波信号的频率信息确定对应的测试语音指令类型或处理节点标识。

或者，所述待测系统为多个，不同待测系统对应不同的超声波频段，同一待测系统的不同处理节点处播放的超声波信号在对应的频段内选择不同的频率；

所述装置还可以包括：

第二信号识别单元，用于在检测出超声波信号在音频时间轴上的位置信息后，根据所述超声波信号的频率信息确定对应的处理节点，并根据所属的频段确定对应的待测系统。

具体实现时，所述测试语音指令包括唤醒指令，所述唤醒指令关联有第一超声波信号；所述处理节点处播放的超声波信号包括：在播放唤醒应答语音之前播放的第二超声波信号；

所述测试结果获得单元具体可以用于：

根据所述第一超声波信号与所述第二超声波信号之间的时间间隔，确定所述待测系统的唤醒反馈时间信息。

或者，所述测试语音指令包括语音交互指令，所述语音交互指令关联有第三超声波信号；

所述处理节点处播放的超声波信号包括：在所述待测系统识别出所述语音交互指令，并判断所述语音交互指令播放完毕时，播放的第四超声波信号；

此时，所述测试结果获得单元具体可以用于：

根据所述第三超声波信号与所述第四超声波信号之间的时间间隔，确定所述待测系统的语音识别模型的响应时间信息。

或者，所述测试语音指令包括语音交互指令，所述语音交互指令关联有第三超声波信号；

所述处理节点处播放的超声波信号包括：所述待测系统播放应答语音流之前播放的第五超声波信号；

此时，所述测试结果获得单元具体可以用于：

根据所述第三超声波信号与所述第五超声波信号之间的时间间隔，确定所述待测系统的全链路响应时间信息。

另外，所述处理节点处播放的超声波信号还可以包括：所述待测系统将所述语音交互指令提交到服务器，并接收到服务器返回的应答语音流中的首个数据包时，播放的第六超声波信号；

此时，所述测试结果获得单元还可以用于：

根据所述第六超声波信号与所述第五超声波信号之间的时间间隔，确定所述待测系统对语音流的播放处理时间信息。

具体的，所述测试结果获得单元可以用于：

确定所述第三超声波信号与所述第五超声波信号之间的时间间隔，并将各处理节点处播放超声波信号的时长扣除后，确定所述待测系统的全链路响应时间信息。

与实施例三相对应，本申请实施例还提供了一种测试装置，参见图9，该装置具体可以包括：

收听单元910，用于收听测试语料，所述测试语料中包括测试语音指令，所述测试语音指令的尾部关联有超声波信号；

超声波信号播放单元920，用于对收听到的测试语料进行处理以便生成应答语音流，并在处理过程中的至少一个处理节点处播放超声波信号，以便通过检测超声波信号在音频时间轴上的位置信息，确定所述待测子系统的响应时间信息。

与实施例四相对应，本申请实施例还提供了一种测试装置，参见图10，该装置具体可以包括：

信息采集结果获得单元1010，用于获得对待测系统进行测试的过程中获得的信息采集结果，所述信息采集结果中包括测试指令及其关联的标记信号，以及待测系统在处理测试指令并生成应答信息的过程中，在至少一个处理节点处插入的标记信号；

标记信号检测单元1020，用于从所述信息采集结果中检测出标记信号在时间轴上的位置信息；

响应时间确定单元1030，用于根据所述位置信息确定所述待测系统在目标处理节点的响应时间信息。

与实施例五相对应，本申请实施例还提供了一种测试装置，参见图11，该装置具体可以包括：

请求接收单元1110，用于接收对目标待测对象进行测试的请求；

测试指令提供单元1120，用于根据所述目标待测对象关联的人机交互方式信息，提供测试指令集，所述测试指令的结尾处关联有标记信号，以便所述目标待测对象在通过执行所述测试指令并生成应答信息进行测试的过程中，在至少一个处理节点处插入标记信号；

信息采集结果获取单元1130，用于获取测试过程中的信息采集结果，所述信息采集结果包括所述测试指令及其关联的标记信号，以及所述应答信息的至少一个处理节点处插入的标记信号；

标记信号检测单元1140，用于从所述信息采集结果中检测出标记信号在时间轴上的位置信息；

响应时间确定单元1150，用于根据所述位置信息确定所述待测系统在目标处理节点的响应时间信息；

响应时间信息返回单元1160，用于返回所述响应时间信息，以用于对所述目标待测对象进行优化。

其中，所述人机交互方式包括语音交互，所述测试指令包括测试所需的语音指令；所述标记信号包括超声波信号，所述信息采集结果包括音频采集结果。

所述标记信号还可以包括由所述请求的发起方自定义的信号。其中，所述标记信号包括超声波信号，所述自定义的信号包括：自定义的超声波波形和/或频率信息。

与实施例六相对应，本申请实施例还提供了一种测试装置，参见图12，该装置具体可以包括：

请求提交单元1201，用于向服务端提交针对目标待测对象进行测试的请求，以便所述服务端根据所述目标待测对象关联的人机交互方式信息，提供测试指令集，所述测试指令的结尾处关联有标记信号；

测试启动单元1202，用于启动对所述目标待测对象的测试过程，并播放所述测试指令集，以便在通过执行所述测试指令并生成应答信息进行测试的过程中，在至少一个处理节点处插入标记信号；

信息采集单元1203，用于在所述测试过程中进行信息采集，并将信息采集结果提交到所述服务端，所述信息采集结果包括所述测试指令及其关联的标记信号，以及所述应答信息的至少一个处理节点处插入的标记信号，以便所述服务端从所述信息采集结果中检测出标记信号在时间轴上的位置信息，并根据所述位置信息确定所述待测系统在目标处理节点的响应时间信息；

测试结果接收单元1204，用于接收所述服务端返回的所述响应时间信息，以便对所述目标待测对象进行优化。

另外，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述方法实施例中所述的方法的步骤。

以及一种计算机系统，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中所述的方法的步骤。

其中，图13示例性的展示出了计算机系统的架构，具体可以包括处理器1310，视频显示适配器1311，磁盘驱动器1312，输入/输出接口1313，网络接口1314，以及存储器1320。上述处理器1310、视频显示适配器1311、磁盘驱动器1312、输入/输出接口1313、网络接口1314，与存储器1320之间可以通过通信总线1330进行通信连接。

其中，处理器1310可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器1320可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1320可以存储用于控制电子设备1300运行的操作系统1321，用于控制电子设备1300的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器1323，数据存储管理系统1324，以及测试处理系统1325等等。上述测试处理系统1325就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1320中，并由处理器1310来调用执行。

输入/输出接口1313用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口1314用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1330包括一通路，在设备的各个组件(例如处理器1310、视频显示适配器1311、磁盘驱动器1312、输入/输出接口1313、网络接口1314，与存储器1320)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1310、视频显示适配器1311、磁盘驱动器1312、输入/输出接口1313、网络接口1314，存储器1320，总线1330等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本申请所提供的测试方法、装置及系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。