阅读说明：本技术 扫地机器人的清扫方法及装置 (Sweeping method and device of sweeping robot ) 是由 檀冲 张书新 霍章义 王颖 李欢欢 李贝 于 2020-06-18 设计创作，主要内容包括：本发明公开了一种扫地机器人的清扫方法及装置,包括：获取语音采集装置采集的声音信号对应的语义内容；当所述声音信号对应的语义内容满足预设条件时,确定清扫路径；根据满足所述预设条件的语义内容对应在所述声音信号的声音片段,确定用户清扫需求；根据所述用户清扫需求,确定所述清扫路径对应的清扫模式,并根据所述清扫路径对应的清扫模式进行清扫。通过本发明提供的技术方案,可根据不同用户清扫需求选择不同的清扫模式进行清扫,满足了用户清扫需求,丰富了扫地机器人的清扫模式,提高了用户体验以及清扫过程的智能化。(The invention discloses a sweeping method and a sweeping device of a sweeping robot, which comprise the following steps: obtaining semantic content corresponding to a sound signal collected by a voice collecting device; when the semantic content corresponding to the sound signal meets a preset condition, determining a cleaning path; determining a cleaning requirement of a user according to the sound fragment of the sound signal corresponding to the semantic content meeting the preset condition; and determining a cleaning mode corresponding to the cleaning path according to the cleaning requirement of the user, and cleaning according to the cleaning mode corresponding to the cleaning path. According to the technical scheme provided by the invention, different cleaning modes can be selected for cleaning according to the cleaning requirements of different users, the cleaning requirements of the users are met, the cleaning modes of the sweeping robot are enriched, and the user experience and the intelligence of the cleaning process are improved.)

扫地机器人的清扫方法及装置

技术领域

本发明涉及家用电器技术领域，尤其涉及扫地机器人的清扫方法及装置。

背景技术

随着经济的发展和科技的进步，人们对生活环境质量的要求越来越高，而随着人工智能的崛起，市场也越来越关注于基于人工智能技术的清扫技术，在现有的智能清扫技术中，扫地机器人由于能够降低人们在家里的劳动强度，提高人们在家里的劳动效率，因此受到广泛的欢迎。扫地机器人又称自动打扫机、智能吸尘、机器人吸尘器等，是智能家用电器的一种，能凭借一定的人工智能，自动在房间内完成地板清理工作。

在传统的自动清扫过程中，扫地机器人往往是根据预设程序在当前场景内按照预设的清扫路径执行清扫操作，并不能满足了用户清扫需求，大大降低了用户体验。

发明内容

本发明提供一种扫地机器人的清扫方法及装置，可根据不同用户清扫需求选择不同的清扫模式进行清扫，满足了用户清扫需求，丰富了扫地机器人的清扫模式，提高了用户体验以及清扫过程的智能化。

第一方面，本发明提供了一种扫地机器人的清扫方法，包括：

获取语音采集装置采集的声音信号对应的语义内容；

当所述声音信号对应的语义内容满足预设条件时，确定清扫路径；

根据满足所述预设条件的语义内容对应在所述声音信号的声音片段，确定用户清扫需求；

根据所述用户清扫需求，确定所述清扫路径对应的清扫模式，并根据所述清扫路径对应的清扫模式进行清扫。

第二方面，本发明提供了一种扫地机器人的清扫装置，包括：

语义获取模块，用于获取语音采集装置采集的声音信号对应的语义内容；

路径确定模块，用于当所述声音信号对应的语义内容满足预设条件时，确定清扫路径；

需求确定模块，用于根据满足所述预设条件的语义内容对应在所述声音信号的声音片段，确定用户清扫需求；

清扫模块，用于根据所述用户清扫需求，确定所述清扫路径对应的清扫模式，并根据所述清扫路径对应的清扫模式进行清扫。

第三方面，本发明提供了一种扫地机器人，包括：如第二方面所述的扫地机器人的清扫装置，以及和所述扫地机器人的清扫装置连接的语音采集装置以及环境感知传感器。

第四方面，本发明提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。

第五方面，本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。

本发明提供了一种扫地机器人的清扫方法及装置，该方法通过获取语音采集装置采集的声音信号对应的语义内容，从而了解到说话内容，然后，当声音信号对应的语义内容满足预设条件时，确定清扫路径，然后，根据满足预设条件的语义内容对应在声音信号的声音片段，确定用户清扫需求，之后，根据用户清扫需求确定清扫模式，并根据清扫路径对应的清扫模式进行清扫，从而实现按照清扫路径，根据用户清扫需求对应的清扫模式进行清扫。综上，通过本发明提供的技术方案，可实现根据不同用户清扫需求选择不同的清扫模式进行清扫，从而满足了用户清扫需求，丰富了扫地机器人的清扫模式，提高了用户体验以及清扫过程的智能化。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合

具体实施方式

加以说明。

附图说明

为了更清楚地说明本发明实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种扫地机器人的清扫方法的流程示意图；

图2为本发明一实施例提供的另一种扫地机器人的清扫方法的流程示意图；

图3为本发明一实施例提供的一种扫地机器人的清扫装置的结构示意图；

图4为本发明一实施例提供的一种扫地机器人的结构示意图；

图5为本发明一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例提供的扫地机器人的清扫方法的具体实施例。本实施例中，所述方法具体包括以下步骤：

步骤101、获取语音采集装置采集的声音信号对应的语义内容。

具体地，语音采集装置具体指的是能够采集声音的设备，比如，麦克风阵列。其中，语音采集装置可以安装在扫地机器人上，也可以安装在房间内，当语音采集装置安装在房间内时，需要将语音采集装置采集的声音信号发送给扫地机器人，从而使得扫地机器人能够及时了解用户的说话内容。

具体地，声音信号具体指的是语音采集装置采集的外界环境的声波的振幅随时间变化的模拟信号。语义内容具体指的是语言所蕴含的意义，也就是说话内容。

本发明实施例中，语义内容可通过对获取的语音采集装置采集的声音信号进行语义识别得到。其中，语义识别具体指的是确定说话人发出的语音所包含的词汇内容。需要说明的是，语义识别为现有技术，本发明实施例对语义识别原理不做过多赘述。

步骤102、当所述声音信号对应的语义内容满足预设条件时，确定清扫路径。

本发明实施例中，当声音信号对应的语义内容满足预设条件时，则可判断出扫地机器人需要进行清扫工作，此时，可确定清扫路径。

具体地，语义内容满足预设条件具体指的是语义内容包括预设清扫指令。其中，预设清扫指令可以是一个也可以是多个，具体需要结合实际情况确定。本发明实施中，当声音信号对应的语义内容包含预设清扫指令，此时，需要打扫用户所居住房子的所有地面，而不是仅打扫某些房子，实现对房间清扫的全面覆盖。

考虑到扫地机器人适用的场景可能不同，本发明实施例可以有多种确定清扫路径的方法，具体如下：

本发明实施例的清扫路径可以选择动态规划的方式，可选地，本发明实施例中动态规划清扫路径具体可通过如下方法确定：

获取初始三维地图以及环境感知传感器采集的环境数据；根据环境感知传感器采集的环境数据，确定环境数据对应的三维图像；根据对三维图像进行图像识别的结果和初始三维地图，确定实时地图，并根据实时地图进行清扫路径规划，确定清扫路径。

具体地，环境感知传感器用于感知扫地机器人周围的环境信息，可选地，环境感知传感器包括视觉传感器和/或深度传感器，对应的，环境数据包括深度传感器采集的深度图像和/或视觉传感器采集的室内图像；其中，视觉传感器可以是RGB相机，RGB相机可以是单目相机或鱼眼相机，此处不做限定，任何现有技术中的RGB相机皆可。深度传感器具体指的是用于采集外部环境到深度传感器距离的仪器，可以是结构光传感器、激光传感器等，本发明实施例对此不做具体限定，任何现有技术中的深度传感器皆可。可选地，结构光传感器包括结构光发射器及结构光接收器，具体地，结构光发射器包括光线式结构光发射器或光面式结构光发射器，优选光线式结构光发射器，结构光接收器优选单目红外线摄像头。

具体地，初始三维地图可以是空房间三维地图，也可以是历史三维地图，此处不做具体限定，具体需要结合实际需求确定。其中，空房间三维地图指的是内部不存在任何物体的扫地机器人当前所在的房间或者用户所居住房子的所有房间的三维地图，优选用户所居住房子的所有房间的三维地图，这样，只需调用一次初始三维地图即可，当初始三维地图为空房间三维地图时，实时地图可以理解为将三维图像融合到空房间三维地图中所得到的地图；历史三维地图指的是以前存储的扫地机器人当前所在的房间或者用户所居住房子的所有房间的三维地图，包括家具、电器及用户等，优选用户所居住房子的所有房间的三维地图，当初始三维地图为历史三维地图时，实时地图可以理解为通过三维图像对历史三维地图进行更新所得到的地图。需要说明的是，空房间三维地图因为不包含任何物体，占用的存储容量较小，可节约扫地机器人的存储容量，降低计算量，同时能够灵活的对其进行布置，便于数据处理，因此，优选空房间三维地图。

具体地，三维图像通过对环境数据进行三维重建得到。三维重建可以采用主动式三维重建方法，包括莫尔条纹法、结构光法、三角测距法以及飞行时间法中的任意一种或多种，也可以采用被动式三维重建方法，包括纹理恢复形状法、阴影恢复形状法以及立体视觉法中的任意一种或多种，具体需要基于环境感知传感器的类型确定。三维重建为现有技术，本发明实施例对此原理不做过多的赘述。

具体地，实时地图中的目标物具体指的是实时地图中的所有物体，比如，家具、电器、地面及墙壁等。需要说明的是，通过实时地图规划的清扫路径综合考虑了当前的房间情况，具有较高的参考价值，能够确保清扫效果。其中，规划清扫路径的方法为现有技术中的方法，本发明实施例对规划路径的方法不作过多赘述。

本发明实施例中清扫路径可以根据环境感知传感器所感知的环境数据动态规划，从而确保了清扫路径的参考价值，降低因清扫路径规划不合理所造成的清扫效果不佳或者影响用户行动等的问题，确保了用户体验。

考虑到扫地机器人的应用场景不同，实时地图可能不同，具体如下：

作为一种可能的情况，实时地图中的目标物未携带语义信息，换言之，实时地图不具有语义信息。具体地，实时地图通过对三维图像进行目标物识别，以得到三维图像中的目标物的位置信息，根据目标物的位置信息，将目标物加入到初始三维地图中进行融合得到。需要说明的是，实时地图中的目标物未携带语义信息时，则清扫路径的规划主要考虑躲避障碍物。

作为另一种可能的情况，实时地图中的目标物携带语义信息，换言之，实时地图具有语义信息。具体地，实时地图通过对三维图像进行目标物识别，以得到三维图像中的目标物的位置信息以及语义信息，根据目标物的位置信息以及语义信息，将目标物加入到初始三维地图中进行融合得到。需要说明的是实时地图中的目标物携带语义信息时，清扫路径的规划不仅需要考虑躲避障碍物，还需要考虑障碍物的类型对清扫过程的影响，进一步提高清扫路径的参考价值。

本发明实施例的清扫路径可以选择静态规划的方式，可选地，本发明实施例中静态规划清扫路径具体可通过如下方法确定：

获取至少一个参考清扫路径；根据各个参考清扫路径，确定待清扫区域的清扫路径。

作为一种可能的情况，参考清扫路径为历史清扫路径。其中，历史清扫路径具体地指的是扫地机器人在以前清扫过程中的清扫路径，可以固定不变，也可以实时变更。当确定清扫路径时，直接调用多个历史清扫路径即可，从而可快速确定清扫路径。

作为另一种可能的情况，参考清扫路径可以是可移动对象对应的历史运动轨迹。可行的一个实现方式中，获取多张历史图像，每个历史图像中均包括可移动对象，对多张历史图像中的可移动物体进行目标追踪，确定可移动对象的历史运动轨迹，根据多个可移动对象分别对应的历史运动轨迹，确定若干个参考清扫路径。可行的另一种实现方式中，为了节约扫地机器人的存储空间，和外部设备建立连接，接收外部设备发送的可移动对象的若干个历史运动轨迹即可。其中，可移动对象具体地指的是能够运动的对象，比如，人，可移动的椅子等位置可变化的对象。

作为又一种可能的情况，多个参考清扫路径包括若干个历史清扫路径以及若干个可移动对象对应的历史运动轨迹，从而便于通过历史运动轨迹对历史清扫路径进行修正，确保得到的清扫路径的准确性及参考价值。

需要说明的是，参考清扫路径可以是用户所居住的所有房间的清扫路径，也可以是指定清扫房间的清扫路径，具体需要结合实际场景确定。

具体地，清扫路径可以通过对多个参考清扫路径进行融合得到。需要说明的是，对多个参考清扫路径进行融合，具体指的是对多个参考清扫路径进行组合以及调整，找到一条从起始状态到目标状态，可以避开障碍物的最优路径。

需要说明的是，当声音信号对应的语义内容中包括指定清扫区域时，指定清扫区域可能和扫地机器人之间具有一定的距离，需要确定扫地机器人移动到指定清扫区域的运动路径，使得扫地机器人按照运动路径快速准确的移动到指定清扫区域，从而实现对指定清扫路径的清扫。因此，清扫路径中应当包括移动到指定清扫区域的运行路径。

步骤103、根据满足所述预设条件的语义内容对应在所述声音信号的声音片段，确定用户清扫需求。

具体地，声音片段具体指的是满足预设条件的语义内容对应在声音信号上的片段。语义内容可能包括多个预设清扫指令，每个预设清扫指令均对应一个声音片段。需要说明的是，声音片段对应的语义内容为预设清扫指令。

具体地，用户清扫需求可以指示对房间清扫的最终效果，比如，用户清扫需求为高，则说明扫地机器人对房间清扫后，房间的干净程度应该较高，从而满足了用户清扫需求，提高用户体验。

本发明实施例中，具体可通过如下方法确定用户清扫需求：

从声音信号中获取至少一个声音片段，声音片段对应的语义内容满足预设条件；提取声音片段中的声纹信息，并对声纹信息和预设候选声纹信息进行匹配，确定声音片段对应的候选用户；确定声音片段对应的候选用户的参考信息，并根据各个声音片段分别对应的候选用户的参考信息，从各个声音片段分别对应的候选用户中确定出目标用户；将目标用户对应的清扫需求确定为用户清扫需求。

具体地，提取声音片段的声纹信息可通过声纹特征提取技术实现。其中，声纹信息具体指的是声纹特征；声纹特征提取技术为现有技术，本发明实施例对声纹特征提取原理不做过多赘述。

需要说明的是，对声音片段对应的声纹信息和预设候选声纹信息进行匹配，确定声音片段对应的候选用户，具体指的是：对声纹信息和若干个预设候选声纹信息进行匹配，从而判断声音片段对应的用户为若干个预设候选声纹信息分别对应的预存用户中的哪一个，进而确定声音片段对应的用户。若声音片段对应的用户不是若干个预设候选声纹信息分别对应的预存用户，则扫地机器人不进行清扫工作。

具体地，预设候选声纹信息有多个，为了确保识别结果的准确性，可选地，预设候选声纹信息基于对预设清扫指令对应的声音信号进行声纹特征提取确定，这里，每个预存用户分别对应有一个或多个预设候选声纹信息。

还需要说明的是，针对每个预存用户，预存用户设置有清扫需求，换言之，预存用户和清扫需求之间存在的对应关系，基于该对应关系，即可确定声音片段对应的候选用户的清扫需求。

作为一种可能的情况，当声音片段只有一个时，只需要将该声音片段对应的候选用户的清扫需求确定为用户清扫需求即可。

作为另一种可能的情况，当声音片段有多个时，则通过确定若干个声音片段对应的候选用户的参考信息，综合考虑若干个候选用户的参考信息，从若干个候选用户中确定出目标用户，并将目标用户对应的清扫需求确定为用户清扫需求，从而确保用户清扫需求能够满足大多数用户的清扫要求，从而提升用户体验。

具体地，每个声音片段分别对应一个候选用户，这些候选用户可能相同，也可能不同，也可能部分相同。举例来说，假设有N个声音片段，则有N个候选用户，N个候选用户可能相同，也可能完全不同，也可能部分相同。可选地，可以仅确定不同候选用户分别对应的参考信息。

具体地，参考信息包括但不限于优先级、发出预设清扫指令的起始时间点以及预设清扫指令重复次数，其中，优先级指示了候选用户的优先考虑级别，发出预设清扫指令的起始时间点指示了候选用户发出预设清扫指令的开始时间点，如果候选用户发出了多个预设清扫指令，则每个预设清扫指令分别对应一个起始时间点，预设清扫指令重复次数指示了同一候选用户所说的预设清扫指令的次数，举例来说，当一个用户说了4次清扫时，预设清扫指令重复次数为4次。具体地，目标用户可以是优先级最高的候选用户，也可以是预设清扫指令重复次数最多的候选用户，也可以是发出预设清扫指令的起始时间点最靠近当前时刻的候选用户，从而确保用户体验。

步骤104、根据所述用户清扫需求，确定所述清扫路径对应的清扫模式，并根据所述清扫路径对应的清扫模式进行清扫。

本发明实施例中，根据用户清扫需求，确定清扫模式，之后，根据清扫模式，按照清扫路径，进行清扫，实现不同用户采用不同的清扫模式对房间进行清扫，丰富了扫地机器人的清扫模式，满足不同的清扫要求，使得清扫过程更加智能。

具体地，清扫模式基于清扫速度以及清扫强度确定，这里，扫地机器人可以灵活的改变清扫速度以及清扫强度，从而得到多个清扫模式，满足不同用户清扫需求，提高用户体验。也可以为扫地机器人预先设置多个清扫模式，每个清扫模式设置清扫速度以及清扫强度，比如，清扫模式可以是普通清扫、快速清扫、标准清扫、柔和清扫、节电清扫、强力清扫、深度清扫等，具体可以结合实际情况确定。

为了确保清扫效果，在本发明实施例中，具体可通过如下方法进行清扫：

实时获取沿清扫路径进行清扫过程中的地面图像；根据对地面图像进行图像识别的结果，确定地面图像中的地面区域对应的干净程度，地面区域和清扫路径相交；根据地面区域对应的干净程度和用户清扫需求，确定地面区域内的清扫路径对应的清扫模式；根据地面区域内的清扫路径以及对应的清扫模式进行清扫。

需要说明的是，本发明实施例适用于对不同地面区域采用不同清扫方式的场景或者用户对地面的干净程度要求较高的清扫场景，比如，对较脏的区域进行清扫，对较为干净的地面不进行清扫，或者，对较脏的区域进行强力清扫，对较为干净的地面进行柔和清扫。

作为一种可能的情况，当清扫路径基于历史清扫路径和/或可移动对象对应的历史运动轨迹确定时，地面图像可以基于扫地机器人上的环境感知传感器实时获取，当环境感知传感器包括视觉传感器，地面图像可以是二维图像，也可以是三维图像，本发明实施例对此不做具体限定。

作为另一种可能的情况，当清扫路径基于实时地图确定时，地面图像可以从实时地图中进行选取确定，此时，地面图像为三维图像。

具体地，通过预先设置干净程度和清扫模式之间的映射关系，从而得到每个预存用户分别对应的干净程度和清扫模式之间的预设关系，映射关系指示了不同干净程度分别对应的清扫模式，每个预存用户分别对应的预设关系可以相同也可以不同，对于干净程度的具体划分以及清扫模式的设定需要结合实际场景，以及扫地机器人能够实现的清扫模式确定，举例来说，干净程度可以包括A1、A2、A3、A4、A5，用户A依次对应的清扫速度-清扫强度可以是V1-I1、V2-I2、V3-I3、V4-I4、V5-I5，用户B依次对应的清扫速度-清扫强度可以是V1-I2、V2-I3、V3-I4、V4-I5、V5-I6，其中，V1到V5表示不同的清扫速度，I1到I6表示不同的清扫强度。具体地，可以用数字或字母指代干净程度，从而便于数据处理。清扫速度和清扫强度用具体的数值表示即可。

需要说明的是，地面区域可以有多个，每个地面区域对应的干净程度相近，由闭合线形成，这里，闭合线和清扫路径相交，无需对清扫路径之外的地面区域进行处理，仅仅需要处理清扫路径上的地面，以清扫路径上的地面为基准，将干净程度相近的地面聚集到一起以形成地面区域，从而更加快速的识别出地面区域的干净程度。

在本发明实施例中，通过实时检测地面的干净程度，并根据用户清扫需求以及干净程度不断改变清扫模式，从而确保对地面的清洁效果以及用户体验。

需要说明的是，本发明实施例中，清扫路径一旦规划好后固定不变，通过改变清扫模式以达到不同的清扫效果，因此，清扫路径需要尽量做到清扫面积全覆盖且行走路径不重叠，可以避开障碍物，同时，相邻路径之间的间距在保证清扫效果的前提下尽可能的小，从而确保清扫效果以及用户体验。

通过以上技术方案可知，本实施例存在的有益效果是：通过语音采集装置采集的声音信号，从而确保能够及时捕捉到用户的说话内容，当用户需要清扫时，直接确定清扫路径，然后，基于对声音信号进行说话人识别以确定用户清扫需求，通过用户清扫需求确定清扫模式，并按照清扫路径以及清扫模式进行清扫，从而满足不同用户的不同清扫需求，丰富了扫地机器人的清扫模式，提高了用户体验以及清扫过程的智能化。

图1所示仅为本发明所述方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到所述方法的其他优选实施例。

为了更加清楚的说明本发明的技术方案，请参考图2，本发明实施例提供了另一种扫地机器人的清扫方法，本实施例在前述实施例的基础上，结合具体应用场景进行进一步的叙述，具体场景如下：章某说“请清扫章某的房间”，刘某说“请清扫房间”，章某和李某都是家庭成员，所居住的房子有4个房间，分别为A1、A2、A3、A4，章某和李某是夫妻，住在房间A1内。本实施例中，具体可以包括如下各个步骤：

步骤201、获取语音采集装置采集的声音信号对应的语义内容。

假设语义语音采集装置设置在扫地机器人上，语义语音采集装置采集到章某和刘某说话时产生的声音信号，对声音信号进行语义识别，得到的声音信号对应的语义内容为：请清扫章某的房间请清扫房间。

步骤202、当所述声音信号对应的语义内容满足预设条件时，获取初始三维地图以及环境感知传感器采集的环境数据；根据所述环境感知传感器采集的环境数据，确定所述环境数据对应的三维图像；根据对所述三维图像进行图像识别的结果以及所述初始三维地图，确定实时地图，并根据所述实时地图进行清扫路径规划，确定清扫路径。

对上述语义内容进行检测，判断得到语义内容包括“清扫”这一预设清扫指令，假设扫地机器人上安装有RGB摄像头以及结构光传感器，此时，即可获取A1至A4这4个房间形成的空房间三维地图，然后获取RGB摄像头采集的室内图像以及结构光传感器采集的室内深度图像，这里，室内图像和室内深度图像是对应的，换言之，室内深度图像包括室内图像对应的深度信息，然后，基于深度图像和室内图像进行三维重建，得到三维图像，对三维地图进行图像识别，得到三维地图中目标物的位置信息和语义信息，基于此，将三维图像融合到空房间三维地图中，得到具有语义的实时地图，上述语义内容中包括指定清扫区域，即章某的房间A1，假设扫地机器人在房间A2中，则规划的清扫路径中包括扫地机器人从当前所在位置移动到章某的房间A1的运动路径，以及章某的房间A1的清扫路径。

步骤204、从所述声音信号中获取至少一个声音片段，所述声音片段对应的语义内容满足所述预设条件；提取所述声音片段中的声纹信息，并对所述声纹信息和预设候选声纹信息进行匹配，确定所述声音片段对应的候选用户。

假设预设清扫指令包括：清扫，上述语义内容中包含两个清扫，即二个预设清扫指令，每个预设清扫指令对应一个声音片段，一共二个声音片段，然后，根据预先设置的包括章某、刘某的声纹信息的声纹数据库，对声音片段进行声纹识别，确定每个声音片段分别对应的候选用户，候选用户为：章某以及刘某。

步骤205、确定所述声音片段对应的候选用户的参考信息，并根据各个所述声音片段分别对应的候选用户的参考信息，从各个所述声音片段分别对应的候选用户中确定出目标用户；将所述目标用户对应的清扫需求确定为用户清扫需求。

假设参考信息为优先级，章某的优先级高于刘某，则将章某的清扫需求确定为用户清扫需求，假设章某的清扫要求为高，刘某的清扫要求为低，则用户清扫需求为高。

步骤206、实时获取沿所述清扫路径进行清扫过程中的地面图像；根据对所述地面图像进行图像识别的结果，确定所述地面图像中的地面区域对应的干净程度，所述地面区域和所述清扫路径相交。

获取RGB相机采集的A1房间内的地面图像，对地面图像进行识别，确定地面图像中的若干个地面区域分别对应的干净程度，形成地面区域的闭合线和清扫路径相交，从而了解到清扫路径对应的地面的污渍情况，每个地面区域对应在地面图像中的多个像素值相近，换言之，位于合理的数值范围内。

步骤207、根据所述地面区域对应的干净程度以及所述用户清扫需求，确定所述地面区域内的清扫路径对应的清扫模式；根据所述地面区域内的清扫路径以及对应的清扫模式进行清扫。

获取章某对应的干净程度和清扫模式的对应关系。这里，用不同的数字表示不同的干净程度，数字越大表示干净程度越高，假设地面区域的干净程度为2，2表示干净程度很低即地面很脏，则从章某对应的干净程度和清扫模式的对应关系中，选择出干净程度为2对应的清扫模式，然后沿着清扫路径，按照清扫模式，对房间A1进行清扫，从而确保清扫效果，满足章某的用户体验。

通过以上技术方案可知，本实施例存在的有益效果是：通过语音采集装置采集的声音信号，从而确保能够及时捕捉到用户的说话内容，当用户需要清扫时，通过构建的实时地图确定清扫路径，确保清扫路径的参考价值，然后，基于对声音信号进行说话人识别，从多个用户中确定用户清扫需求，满足大多数用户的清扫要求，之后，通过实时检测地面的干净程度以确定清扫模式，使得能够根据地面的情况变化，适应性的改变模式，确保清扫效果，提高用户体验，之后，按照清扫路径以及清扫模式进行清扫，从而满足了用户清扫需求，实现不同用户以不同清扫模式进行清扫，确保了清扫效果，丰富了扫地机器人的清扫模式，提高了用户体验以及清扫过程的智能化。

基于与本发明方法实施例相同的构思，请参考图3，本发明实施例还提供了扫地机器人的清扫装置，包括：

语义获取模块301，用于获取语音采集装置采集的声音信号对应的语义内容；

路径确定模块302，用于当所述声音信号对应的语义内容满足预设条件时，确定清扫路径；

需求确定模块303，用于根据满足所述预设条件的语义内容对应在所述声音信号的声音片段，确定用户清扫需求；

清扫模块304，用于根据所述用户清扫需求，确定所述清扫路径对应的清扫模式，并根据所述清扫路径对应的清扫模式进行清扫。

另外在图3所示实施例的基础上，在本发明实施例中，所述需求确定模块303，包括：片段确定单元、用户识别单元、用户确定单元以及需求确定单元；其中，

所述片段确定单元，用于从所述声音信号中获取至少一个声音片段，所述声音片段对应的语义内容满足所述预设条件；

所述用户识别单元，用于提取所述声音片段中的声纹信息，并对所述声纹信息和预设候选声纹信息进行匹配，确定所述声音片段对应的候选用户；

所述用户确定单元，用于确定所述声音片段对应的候选用户的参考信息，并根据各个所述声音片段分别对应的候选用户的参考信息，从各个所述声音片段分别对应的候选用户中确定出目标用户；

所述需求确定单元，用于将所述目标用户对应的清扫需求确定为用户清扫需求。

本发明实施例中，所述清扫模块304，包括：图像获取单元、图像识别单元、模式确定单元以及清扫单元；其中，

所述图像获取单元，用于实时获取沿所述清扫路径进行清扫过程中的地面图像；

所述图像识别单元，用于根据对所述地面图像进行图像识别的结果，确定所述地面图像中的地面区域对应的干净程度，所述地面区域和所述清扫路径相交；

所述模式确定单元，用于根据所述地面区域对应的干净程度以及所述用户清扫需求，确定所述地面区域内的清扫路径对应的清扫模式；

所述清扫单元，用于根据所述地面区域内的清扫路径以及对应的清扫模式进行清扫。

在本发明实施例中，所述参考信息包括优先级、发出预设清扫指令的起始时间点、预设清扫指令重复次数中的任意一个或多个。

本发明实施例中，所述路径确定模块302，包括：获取单元、图像确定单元以及第一路径确定单元；其中，

所述获取单元，用于获取初始三维地图以及环境感知传感器采集的环境数据；

所述图像确定单元，用于根据所述环境感知传感器采集的环境数据，确定所述环境数据对应的三维图像；

所述第一路径确定单元，用于根据对所述三维图像进行图像识别的结果以及所述初始三维地图，确定实时地图，并根据所述实时地图进行清扫路径规划，确定清扫路径。

在本发明实施例中，所述实时地图中的目标物携带语义信息。

在本发明实施例中，当所述声音信号对应的语义内容包括指定清扫区域时，所述清扫路径包括移动到所述指定清扫区域的运动路径。

本发明实施例中，所述路径确定模块302，包括：路径获取单元以及第二路径确定单元；其中，

所述路径获取单元，用于获取至少一个参考清扫路径；

所述第二路径确定单元，用于根据各个所述参考清扫路径，确定所述待清扫区域的清扫路径。

本发明实施例中，所述至少一个参考清扫路径包括历史清扫路径和/或可移动对象对应的历史运动轨迹。

为了实现上述实施例，请参考图4，本发明实施例提供了一种扫地机器人，包括：如第二方面实施例提出的扫地机器人的清扫装置403，以及和所述扫地机器人的清扫装置连接的语音采集装置402以及环境感知传感器401。

图5是本发明实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器501以及存储有执行指令的存储器502，可选地还包括内部总线503及网络接口504。其中，存储器502可能包含内存5021，例如高速随机存取存储器(Random-AccessMemory，RAM)，也可能还包括非易失性存储器5022(non-volatile memory)，例如至少1个磁盘存储器等；处理器501、网络接口504和存储器502可以通过内部总线503相互连接，该内部总线503可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等；内部总线503可以分为地址总线、数据总线、控制总线等，为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。当然，该电子设备还可能包括其他业务所需要的硬件。当处理器501执行存储器502存储的执行指令时，处理器501执行本发明任意一个实施例中的方法，并至少用于执行如图1或图2所示的方法。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成一种扫地机器人的清扫装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本发明任一实施例中提供的一种扫地机器人的清扫方法。

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本发明实施例还提供了一种计算机可读存储介质，包括执行指令，当电子设备的处理器执行执行指令时，所述处理器执行本发明任意一个实施例中提供的方法。该电子设备具体可以是如图5所示的电子设备；执行指令是一种扫地机器人的清扫装置所对应计算机程序。

本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。