具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

手势轨迹数据是用户在使用APP时用户的手势操作所产生的数据，一般情况下是用户会针对某一页面来进行各种手势操作，从而进行各种信息交互。手势轨迹数据可以包含时间维度和空间维度两方面的信息，其中，空间维度可以是手势动作在页面区域中的位置信息，具体可以为手势动作对应的运动轨迹的坐标信息，而时间维度可以是手势动作对应的时间，具体可以为手势动作的起始和结束时间以及运动轨迹上的各个点所对应的时间信息等。由于触屏设备在现有终端设备中占有非常大的比例，因此，用户在应用页面上的手势行为能够直接体现用户使用该应用时的状态，而手势轨迹数据是也能够充分刻画出在页面级别的用户体验。在本发明实施例中，提出了一种基于用户在页面上的手势轨迹数据，而检测用户行为异常的技术方案，以实现对用户的使用障碍以及阻塞性问题的及时发现。

如图1所示，其为本发明实施例的用户异常行为的检测方法的数据处理原理示意图。其中，在最左侧的指定页面可以为用户终端上APP的页面或者浏览器的页面等，用户可以在该指定页面上进行例如单击、双击、单指滑动、多指滑动等操作，操作轨迹可能是点、直线或者曲线。在实际应用中，可以采集用户进入该指定页面到离开该指定页面这段时间手势轨迹数据作为一个检测样本，由此，可以形成用对该指定页面较为完整的手势操作行为，从而更好地判断用户在使用该页面时是否存在行为异常。在本发明实施例中，用户行为异常可以是指由于用户终端上的页面或者该页面对应的服务器侧的系统出现的各种问题，而导致的使用障碍以及阻塞性问题。

在本发明实施例中，没有对手势轨迹数据进行直接分析处理，而是先将手势轨迹数据转换为对应的手势图像，然后使用图像分析模型对基于图像特征数据来对用户异常行为进行检测。由于在指定页面上的手势动作具有很强的轨迹或者位置特点，因此，将这些手势动作转换为手势图像后，能够更好的挖掘出其包含的内在信息。上述的图像分析模型可以采用基于非监督学习的图像聚类模型或者基于监督学习的图像分类模型来实现。

其中，对于聚类模型，可以预先将海量的用户手势轨迹数据样本对应的手势图像作为聚类样本进行聚类处理，形成聚类空间。如前面所介绍的，可以以用户进入该指定页面到离开该指定页面这段时间手势轨迹数据对应的手势图像作为一个聚类样本，当然，也可以截取固定的时间段中的用户手势轨迹数据对应的手势图像作为聚类样本等等，具体方式可以根据需要而定。基于对海量聚类样本的聚类处理，能够形成作为正常用户行为判定基准的样本空间，对于构建聚类空间而言，认为用户行为正常的情况是占大多数的，因此，大部分样本将会形成较为集中的聚类分布，例如样本空间中会出现几个样本集中的聚类区域。基于已经形成聚类空间，将采集到用户手势轨迹数据形成手势图像后，作为检测样本进行聚类处理，然后根据该检测样本在该聚类空间所处的位置来确定用户行为是否异常。具体可以根据所述检测样本到所述聚类空间中聚类中心的距离和/或所述检测样本周围的样本数据的分布密度，来对用户的异常行为进行识别，例如，如果检测样本距离聚类中心(可能为多个聚类中心)比较远，则说明该检测样本属于聚类空间中孤立的点，那么可以判定为用户行为异常，此外，在一些情况下，虽然检测样本距离聚类中心较远，但是其周围仍然有很多样本存在，这些样本分布密度较低，并且覆盖较大的样本范围，所以在这个聚类的样本中有很多样本都距离聚类中心很远，在这种情况下，可以认为该检测样本仍然是正常的，用户行为并没有出现异常。

另外，对于图像分类模型而言，需要对图像分类模型进行训练，具体可以基于APP正常的情况下，基于前述同样的方式，采集大量用户手势轨迹数据样本并生成对应的手势图像作为训练数据，对图像分类模型进行训练。然后使用训练后的图像分类模型，对检测样本对应的手势图像进行分类处理，从而判断用户行为是否异常。此外，还可以是制作与不同种类的用户行为异常对应的手势轨迹数据样本作为训练数据，从而使得图像分类模型不仅能判断出用户行为是否异常，还能给出具体异常分类的检测结果，例如，可以通过训练使得图像分类模型能够对页面加载问题导致的用户行为异常和页面按键失灵导致的用户行为异常进行识别。

以上介绍了本发明实施例进行用户异常行为检测的基本原理。本发明实施例的技术方案可以应用于云服务平台上，如图2所示，其为本发明实施例的用户异常行为检测方法所应用的系统架构示意图。用户通过安装在用户终端上的APP使用云服务平台提供的服务。用户终端可以不断向云服务平台上报用户使用该APP的手势轨迹数据，云服务平台中的手势图像生成模块可以基于前面提到的方式，将手势轨迹数据转换为手势图像，然后基于图像特征提取模块提取图像特征数据，进而使用图像分析模型对图像特征数据进行处理，从而得到用户异常行为的检测结果。由于云服务平台会面对大量的用户终端，当其检测到大量用户终端上的用户行为都出现异常时，这种情况可能说明云服务平台一侧的页面功能出现了问题或者页面的交互方式不适用于当前使用的用户，从而可以及时进行处理。例如，云服务平台一侧可能出现了页面数据的丢失或者页面功能的缺陷等，针对这种情况，可以执行页面更新处理，向终端侧发送新的页面数据或者增加页面补丁文件，从而及时更新终端侧的页面，以解决当前页面存在的问题。再例如，有些页面的交互方式可能并不适用于某些用户，例如对于一些视觉方面存在障碍的人士，页面中的很多功能用户可能无法准确识别，从而导致操作障碍，针对这种情况，可以向用户终端发送指令，切换页面交互方式，例如可以切换为语音指令操作或者放大页面中功能区域的显示尺寸等。

下面在详细介绍一下本发明实施例中，将用户的手势轨迹数据转换为手势图像的几种处理方式。对于下面这几种方式，其基本原理在于将用户的手势轨迹数据能够转换具有颜色特征的与页面对应的图像，通过颜色和位置信息来体现手势的先后顺序、某些区域中手势经过的次数多少、手势轨迹在页面范围中的分布情况等特征信息。具体地，可以采用如下三种方式：

1)颜色覆盖模式

无论是采用颜色覆盖模式还是采用颜色混合模式，都需要在手势轨迹数据覆盖的时间范围上，对颜色进行预先分布，是的不同的时间对应不同的颜色，具体的分布方式可以采用让颜色随时间以某种趋势变化，例如，可以按照颜色谱随着时间让颜色由浅到深变化，即最开始的手势动作轨迹对应于浅色，而最后的手势动作轨迹对应于深色，为了便于颜色处理，可以为每个手势动作轨迹分配一个图层，最后再进行全部图层的合成处理。

在颜色覆盖模式下，在后绘制的手势动作对应的颜色覆盖之前绘制的手势动作对应的颜色。为了配合颜色覆盖模式的处理，手势轨迹数据需要包含用户在指定页面上的手势动作对应的位置信息和时间戳。时间戳一方面确定了手势动作轨迹对应的颜色，另一方面也携带了先后顺序信息。

如图3所示，其为本发明实施例的绘制手势图像的原理示意图，图3中以不同的箭头轨迹来表示多个手势动作，为了区分表示不同的手势动作产生的轨迹，采用了不同的填充方式以表示不同的颜色区别。需要说明的是，在实际应用中，上述的不同填充图案将会对应不同的颜色，这里仅为示意，用以说明技术原理。在颜色覆盖模式下，后发生的手势动作的轨迹会覆盖之前的轨迹，从单独的手势A1发展到手势A1+A2+A3的叠加过程可以看出，在手势A1+A2的状态下，手势轨迹交汇处显示的是手势A2的填充图案(即手势A2的颜色)，在手势A1+A2+A3的状态下，三个手势轨迹交汇处显示的是手势A3的填充图案(即手势A3的颜色)。这些颜色分布以及相互覆盖的图像特征，携带了用户进行手势操作的时间维度和空间维度的特征信息，即图像特征积累的一段时间内时间和空间上的用户手势特征，而这些特种通过图像特征的方式展现处理，从而可以基于机器学习进行深入挖掘，分析出异常状态。基于颜色覆盖模式的特点，在手势动作轨迹交汇的情况下，会突出最后一次手势动作的特征。

2)颜色混合模式

颜色混合模式所需要的手势轨迹数据内容以及颜色分配方式是相同的，其区别在于，在颜色混合模式下，在后绘制的手势动作对应的颜色与之前绘制的手势动作对应的颜色进行混色后，作为最终绘制的颜色，即如果某个位置上先后被多个手势轨迹经过，那么该位置处的最终颜色为多个手势对应的颜色的混色，具体的混色方式可以采用对颜色数值取均值的方式。

结合图3可以看出，与颜色混合模式不同之处在于，在手势交汇部分，呈现的是一种混合的状态。例如，手势B1+B2的交汇处，呈现了手势B1和手势B2的填充图案的混合(即手势B1和手势B2的颜色混合)，同理在手势B1+B2+B3的交汇处，呈现了三个手势填充的混合(手势B1、手势B2、手势B3的颜色混合)。与颜色覆盖模式类似，其同样携带了手势动作的时间维度和空间维度的信息，不过，颜色混合模式的特点在于，在手势动作轨迹的交汇情况下，通过颜色的混合，会保留全部手势动作的特征。

3)热力图模式

热力图模式与前述的颜色覆盖模式和颜色混合模式的区别在于，热力图模式不需要考虑用户手势动作的先后顺序，而着重关注手势动作的分布密度和叠加次数等信息，因此，相应地手势轨迹数据可以不包含时间戳信息。在热力图模式下，在与所述指定页面相适配的图像范围上，根据手势动作对应的位置信息，统计各个像素点被手势动作所叠加的次数；根据所述叠加次数进行颜色分配，绘制所述手势图像，具体可以将叠加次数多的部分对应较深的颜色，而叠加次数较少的部分对应较浅的颜色。通过对不同叠加次数的位置分配不同的颜色，从而能够使得图像特征中包含用户手势轨迹在哪些地方经过的次数较多，而哪些地方经过较少等。

结合图3可以看出，在热力图模式下，并未根据时间先后顺序对各个手势动作进行颜色区分，因此，在图2中手势C1、C2以及C3均采用了相同的填充。在手势动作轨迹的交汇部分，交汇次数越多，颜色就越深，如图中所示，手势C1+C2+C3在交汇处的颜色深度要大于手势C1+C2所形成的交汇处的颜色状态。与前面两种模式不同之处在于，热力图模式着重体现手势轨迹的分布和轨迹交汇程度。

以上各个手势图像的绘制模式以不同的机制将手势动作特征转换为图像特征，进而采用基于人工智能算法对基于对图像特征的分析和挖掘，来得到对应的用户行为异常的检测结果。在实际应用中，可以采用上述任一一种模式或者采用多种模式的混合。

需要说明的是，为了图像分析处理的方便，需要对手势图像的规格进行统一，但是，由于用户所使用的用户终端的屏幕类型可能具有很大的差别，因此，可以通过分辨率的转换，将手势图像转换为统一要求的规格。具体地，可以先获取用户终端屏幕的分辨率信息，然后根据用户终端屏幕的原始分辨率信息和预设的用于绘制统一规格手势图像的标准分辨率信息，将所述用户终端上的位置信息转换为适配于统一规格的手势图像的位置信息，从而形成具有统一规格的手势图像，以便进行后的图像特征分析。

本发明实施例的用户异常行为的检测方法，通过将采集的用户在指定页面上的手势轨迹数据转换为与该页面对应的手势图像，然后基于图像特征分析来发现用户的异常行为。基于这种方式，一方面由于手势轨迹数据反映的是用户的精准且实时行为，用手势轨迹数据检测，可以在短时间内发现用户的异常行为，具有较好的时效性，另一方面，通过将手势轨迹数据映射为手势图像，能够通过图像处理的方式挖掘手势轨迹数据与页面之间的更深层次的特征，从而能够更加快速和准确地发现用户的异常行为，此外，由于这种检测方式将手势轨迹数据与具体页面进行了关联分析，因此，能够快速定位到出现问题所在的页面。此外，一些用户行为的异常可能是由于用户的手势动作不正确造成的，例如，标准手势动作是顺时针画圈，但是用户在实际执行该手势动作是逆时针画圈，针对这种情况，可以基于在识别出异常行为后，向用户提示正确的手势动作，还可以通过摄像头对用户的手势行为进行拍摄，并进行指导，例如，可以向用户进行语音提示“请顺时针画圈”，当用户仍然执行逆时针画圈动作时，通过摄像头可以势必出用户执行了错误动作，从而向用户发出语音提示“请向相反方向画圈”，从而能够指导用户完成正确的手势操作。这种模式可以应用在带有摄像头的一些IOT(物联网)设备上。

作为本发明实施例的一种应用场景，可以基于本发明实施例提供的方法检测当前使用APP的用户是否为具有视觉障碍的用户，从而可以将APP页面切换为适用于有视觉障碍的用户的交互模式。例如，有视觉障碍的用户，例如视力非常弱，在查看页面信息时，经常会看不清楚，因此，可能会有很多的缩放操作以及页面滑动操作等，从而查看页面中的细节内容，但是有些页面的并不一定会支持缩放操作，或者整个页面内容布局较多，需要用户不停的缩放或者左右上下移动，才能完成信息阅读，这样的操作行为可以通过本发明实施例的方法识别出来，从而上报给APP对应的服务平台，从而可以向用户终端发送适合有视觉障碍的用户的页面，例如将当前页面内容转换为多个页面进行显示并且增加缩放功能，或者增大APP页面上控制按键的尺寸等，此外，还可以增加页面辅助功能，例如向用户终端的APP发送控制指令，触发语音播放内容的功能。上述的这些处理也可以在用户终端上完成，即上述的视觉障碍的检测以及模式切换等处理由APP自身来完成。

通过上述的视觉障碍检测以及消除障碍的处理，便于具有视觉障碍的用户更好的进行APP页面进行交互，从而能够提升具有视觉障碍的用户的使用体验。

本发明实施例的用户异常行为的检测方法不仅可以用于触摸屏的接触式的手势操作行为的检测，还可以应用于非接触手势行为的检测，例如，通过手机、平板、笔记本以及台式电脑的摄像头或者磁感应等传感设备，采集用户的非接触手势行为，在这里手势行为是做广义理解，可以包括手以外的肢体动作。例如，智能电视通过识别人体动作(例如举起手臂、转动身体)等，来执行各种操作。在一些情况下，也很可能会出现这些非接触的手势行为出现异常的情形，比如，用户距离摄像头太远了，或者用户动作太快了，或者用户和设备之间存在物体干扰等，从而导致设备无法识别出用户的手势行为，进而无法执行相应的指令。基于本发明实施例的方法可以快速识别这些行为异常，并提示用户进行解决，例如可以将设备切换为语音控制模式等。

此外，本发明实施例还可以为残障人士提供帮助，例如存在手部残疾或者没有手臂等残障人士。对于手部残障的人士，一般会使用具有非接触手势功能的设备，例如通过摄像头等传感器检测用户的肢体动作来触发设备操作。但是，由于非接触手势可能存在一些识别条件的限制或者障碍，比如环境灯光、用户与设备的摄像头的距离远近、中间是否有物体遮挡等因素，此外，还可能受到残障人士自身身体状况的影响，可能有些残障人士无法做出一些手势动作。针对这种情况，使用本发明实施例提供的方法，基于对非接触手势的异常检测，通过模式切换或者语音和/视觉指导用户的方式，帮助残障人士消除障碍，从而能够顺利使用设备。

下面通过一些具体实施例来进一步说明本发明的技术方案。

实施例一

如图4所示，其为本发明实施例的用户异常行为的检测方法的流程示意图，该方法可以应用在云服务平台上，用户通过安装在用户终端上的APP使用云服务平台提供的服务，用户终端可以不断向云服务平台上报用户使用该APP的手势轨迹数据，云服务平台根据上报的手势轨迹数据进行异常检测。此外，该方法也可以应用在用户终端一侧，基于对用户手势轨迹数据的采集并执行相应的异常检测，然后将检测结果上报给云服务平台。具体地，该方法可以包括：

S101：获取用户在指定页面上的手势轨迹数据。其中，为了生成后续的手势图像，手势轨迹数据至少包括用户在指定页面上的手势动作对应的位置信息，此外，手势轨迹数据还可以包括手势动作对应的时间戳信息以及其他辅助信息，例如手势动作的类型，单击、单指滑动、多指滑动等。这里所说的指定页面可以是用户使用的APP中的页面，也可以是网页浏览器的页面等。位置信息可以以二维平面坐标的形式存储，包括手势动作起点和终点的坐标，对于点击操作，起点坐标和终点坐标是相同的。在本发明实施例中，该步骤可以具体为获取用户从进入指定页面到离开指定页面期间的手势轨迹数据，即以用户进入指定页面到离开指定页面期间的手势轨迹数据作为检测样本，从而可以形成用对该指定页面较为完整的手势操作行为，以便更好地判断用户在使用该页面时是否存在行为异常。

S102：根据手势轨迹数据，绘制对应于指定页面的手势图像。在绘制手势图像方面，可以采用将用户的手势轨迹数据转换为具有颜色特征的与页面对应的图像，并通过颜色和位置信息来体现手势的先后顺序、某些区域中手势经过的次数多少、手势轨迹在页面范围中的分布情况等特征信息。

在携带时间戳信息的情况下，可以采用如下方式来手势图像：根据位置信息，选择与时间戳对应的颜色，在与指定页面相适配的图像范围上，绘制手势图像，其中，颜色与时间的映射关系可以预先设定为在手势轨迹数据覆盖的时间范围上，颜色按照预设的颜色随时间变化趋势而分布。具体的分布方式可以采用让颜色随时间以某种趋势变化，例如，可以按照颜色谱随着让颜色由浅到深变化，即最开始的手势动作轨迹对应于浅色，而最后的手势动作轨迹对应于深色。

具体地，在绘制手势图像的过程中，按照时间戳的先后顺序，采用覆盖模式或者混色模式进行绘制，其中，在覆盖模式中，在后绘制的手势动作对应的颜色覆盖之前绘制的手势动作对应的颜色，而在混色模式，在后绘制的手势动作对应的颜色与之前绘制的手势动作对应的颜色进行混色后，作为最终绘制的颜色，具体的混色方式可以采用对颜色数值取均值的方式。由此可见，时间戳一方面确定了手势动作轨迹对应的颜色，另一方面也携带了先后顺序信息。

除了颜色覆盖模式和颜色混合模式之外，还可以采用热力图模式。热力图模式不需要考虑用户手势动作的先后顺序，而着重关注手势动作的分布密度和叠加次数等信息，因此，相应地手势轨迹数据可以不包含时间戳信息。在热力图模式下，在与指定页面相适配的图像范围上，根据手势动作对应的位置信息，统计各个像素点被手势动作所叠加的次数；根据叠加次数进行颜色分配，绘制手势图像，具体可以将叠加次数多的部分对应较深的颜色，而叠加次数较少的部分对应较浅的颜色。

在实际应用中，为了图像分析处理的方便，需要对手势图像的规格进行统一，但是，由于用户所使用的用户终端的屏幕类型可能具有很大的差别，因此，可以通过分辨率的转换，将手势图像转换为统一要求的规格。具体地，可以先获取用户终端屏幕的第一分辨率信息，然后根据第一分辨率信息和预设的用于绘制手势图像的第二分辨率信息，将用户终端上的位置信息转换为适配于手势图像的位置信息，然后根据包含转换后的位置信息的手势轨迹数据，绘制对应于指定页面的手势图像。

S103：对手势图像进行图像特征分析，生成对用户的异常行为的检测结果。这里所说的特征分析是指基于用户的手势轨迹而累积形成的图像特征进行分析，相当于将用户动态的手势操作，转换为平面的图像特征，从图像特征处理角度去挖掘与异常行为的关联性。这里所说的图像特征可以是图像的颜色分布、图形形状、图像的频域信息等等，借助对机器学习模型训练，可以建立起图像特征与异常行为之间的关联关系，从而实现基于图像特征分析而实现异常行为的检测。

具体地，对于手势图像的图像特征分析处理可以采用基于非监督学习的图像聚类模型或者基于监督学习的图像分类模型来实现。其中，将从手势图像中提取的图像特征数据作为检测样本。

在使用聚类模型进行处理的情况下，该步骤S103可以包括：对手势图像进行图像特征提取，生成图像特征数据；以图像特征数据作为检测样本，在预设的聚类空间中进行聚类处理；根据检测样本到聚类空间中聚类中心的距离和/或检测样本周围的样本数据的分布密度，生成对用户的异常行为的检测结果。聚类的基本处理模式是将图像特征映射为聚类空间中的一个样本，该样本以向量形式存在，通过观察该向量与聚类空间中其他向量之间的关系来确定是否存在用户行为异常。因此，在使用聚类方式的情况下，可以预先将海量的用户手势轨迹数据样本对应的手势图像作为聚类样本进行聚类处理，形成聚类空间，然后基于该聚类空间再对检测样本进行判定。

在使用图像分类模型的情况下，该步骤S103可以包括：对手势图像进行图像特征提取，生成图像特征数据；使用图像分类模型，对图像特征数据进行分类处理，生成是否存在异常行为和/或异常行为的类别的检测结果。为了使用图像分类模型进行检测，需要事先对图像分类模型进行训练，具体可以基于APP正常使用的情况下，采集大量用户手势轨迹数据样本并生成对应的手势图像作为训练数据，对图像分类模型进行训练。然后使用训练后的图像分类模型，对检测样本对应的手势图像进行分类处理，从而判断用户行为是否异常。此外，还可以是制作与不同种类的用户行为异常对应的手势轨迹数据样本作为训练数据，从而使得图像分类模型不仅能判断出用户行为是否异常，还能给出具体异常分类的检测结果。

本发明实施例的用户异常行为的检测方法，通过将采集的用户在指定页面上的手势轨迹数据转换为与该页面对应的手势图像数据，然后基于图像特征分析来发现用户的异常行为，从而能够更加快速和准确地发现用户的异常行为，此外，由于这种检测方式将手势轨迹数据与具体页面进行了关联分析，因此，能够快速定位到出现问题所在的页面。

实施例二

如图5所示，其为本发明实施例的用户异常行为的检测装置的结构示意图，该装置可以应用在云服务平台上，用户通过安装在用户终端上的APP使用云服务平台提供的服务，用户终端可以不断向云服务平台上报用户使用该APP的手势轨迹数据，云服务平台根据上报的手势轨迹数据进行异常检测。此外，该装置也可以应用在用户终端一侧，基于对用户手势轨迹数据的采集并执行相应的异常检测，然后将检测结果上报给云服务平台。具体地，该装置可以包括：

手势轨迹数据获取模块11，用于获取用户在指定页面上的手势轨迹数据。其中，手势轨迹数据至少包括用户在指定页面上的手势动作对应的位置信息，此外，手势轨迹数据还可以包括手势动作对应的时间戳信息以及其他辅助信息，例如手势动作的类型，单击、单指滑动、多指滑动等。这里所说的指定页面可以是用户使用的APP中的页面，也可以是网页浏览器的页面等。位置信息可以以二维平面坐标的形式存储，包括手势动作起点和终点的坐标，对于点击操作，起点坐标和终点坐标是相同的。在本发明实施例中，获取手势轨迹数据可以包括获取用户从进入指定页面到离开指定页面期间的手势轨迹数据。

手势图像生成模块12，用于根据手势轨迹数据，绘制对应于指定页面的手势图像。在绘制手势图像方面，可以采用将用户的手势轨迹数据转换为具有颜色特征的与页面对应的图像，并通过颜色和位置信息来体现手势的先后顺序、某些区域中手势经过的次数多少、手势轨迹在页面范围中的分布情况等特征信息。

在携带时间戳信息的情况下，可以采用如下方式来手势图像：根据位置信息，选择与时间戳对应的颜色，在与指定页面相适配的图像范围上，绘制手势图像，其中，颜色与时间的映射关系可以预先设定为在手势轨迹数据覆盖的时间范围上，颜色按照预设的颜色随时间变化趋势而分布。具体的分布方式可以采用让颜色随时间以某种趋势变化，例如，可以按照颜色谱随着让颜色由浅到深变化，即最开始的手势动作轨迹对应于浅色，而最后的手势动作轨迹对应于深色。

具体地，在绘制手势图像的过程中，按照时间戳的先后顺序，采用覆盖模式或者混色模式进行绘制，其中，在覆盖模式中，在后绘制的手势动作对应的颜色覆盖之前绘制的手势动作对应的颜色，而在混色模式，在后绘制的手势动作对应的颜色与之前绘制的手势动作对应的颜色进行混色后，作为最终绘制的颜色，具体的混色方式可以采用对颜色数值取均值的方式。由此可见，时间戳一方面确定了手势动作轨迹对应的颜色，另一方面也携带了先后顺序信息。

除了颜色覆盖模式和颜色混合模式之外，还可以采用热力图模式。热力图模式不需要考虑用户手势动作的先后顺序，而着重关注手势动作的分布密度和叠加次数等信息，因此，相应地手势轨迹数据可以不包含时间戳信息。在热力图模式下，在与指定页面相适配的图像范围上，根据手势动作对应的位置信息，统计各个像素点被手势动作所叠加的次数；根据叠加次数进行颜色分配，绘制手势图像，具体可以将叠加次数多的部分对应较深的颜色，而叠加次数较少的部分对应较浅的颜色。上述三种绘图手势图像所采用的模式的技术原理可以参见前面结合图3所示进行的示例性说明。

在实际应用中，为了图像分析处理的方便，需要对手势图像的规格进行统一，但是，由于用户所使用的用户终端的屏幕类型可能具有很大的差别，因此，可以通过分辨率的转换，将手势图像转换为统一要求的规格。具体地，可以先获取用户终端屏幕的第一分辨率信息，然后根据第一分辨率信息和预设的用于绘制手势图像的第二分辨率信息，将用户终端上的位置信息转换为适配于手势图像的位置信息，然后根据包含转换后的位置信息的手势轨迹数据，绘制对应于指定页面的手势图像。

检测结果生成模块13，用于对手势图像进行图像特征分析，生成对用户的异常行为的检测结果。这里所说的特征分析是指基于用户的手势轨迹而累积形成的图像特征进行分析，相当于将用户动态的手势操作，转换为平面的图像特征，从图像特征处理角度去挖掘与异常行为的关联性。这里所说的图像特征可以是图像的颜色分布、图形形状、图像的频域信息等等，借助对机器学习模型训练，可以建立起图像特征与异常行为之间的关联关系，从而实现基于图像特征分析而实现异常行为的检测。

具体地，对于手势图像的图像特征分析处理可以采用基于非监督学习的图像聚类模型或者基于监督学习的图像分类模型来实现。其中，将从手势图像中提取的图像特征数据作为检测样本。

在使用聚类模型进行处理的情况下，检测处理可以包括：对手势图像进行图像特征提取，生成图像特征数据；以图像特征数据作为检测样本，在预设的聚类空间中进行聚类处理；根据检测样本到聚类空间中聚类中心的距离和/或检测样本周围的样本数据的分布密度，生成对用户的异常行为的检测结果。

在使用图像分类模型的情况下，检测处理可以包括：对手势图像进行图像特征提取，生成图像特征数据；使用图像分类模型，对图像特征数据进行分类处理，生成是否存在异常行为和/或异常行为的类别的检测结果。

对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

本发明实施例的用户异常行为的检测装置，通过将采集的用户在指定页面上的手势轨迹数据转换为与该页面对应的手势图像，然后基于图像特征分析来发现用户的异常行为，从而能够更加快速和准确地发现用户的异常行为，此外，由于这种检测方式将手势轨迹数据与具体页面进行了关联分析，因此，能够快速定位到出现问题所在的页面。

实施例三

本实施例提供了一种页面处理方法，该方法可以基于前述实施例中的用户异常行为的检测方法进行异常检测，当发现用户行为异常时，执行应对处理。该页面处理方法可以应用在服务器侧，该方法可以包括：

S201：获取至少一个终端提交的用户在页面的手势轨迹数据。终端上的APP可以不断向服务器侧上报手势轨迹数据，因此，服务器可以获取到多个终端的APP所上报的手势轨迹数据，从而进行后续的用户行为异常检测。

S202：根据手势轨迹数据确定用户异常行为的检测结果。具体地，基于手势轨迹数据获得检测结果的方式可以采用前面实施例所介绍的方式，先根据所述手势轨迹数据生成对应的手势图像，然后再对所述手势图像进行图像特征分析，生成对用户的异常行为的检测结果。详细的实现方式可以参见前述实施例的详细说明。

S203：根据所述检测结果，执行页面更新处理和/或切换页面交互模式。在服务器一侧，基于多个终端上报的手势轨迹数据，可以发现许多用户出现的异常，也可以发现个别用户出现的异常。例如，当服务器侧检测出许多终端出现了页面卡顿而导致的用户行为异常后，针对这种情况，服务器可以主动执行页面更新处理，向全部或者出现异常的终端重新发送新的页面数据以更新当前页面，重新发送的网页数据中减少一些占用流量的内容单元，从而减少网页卡顿。再例如，当发现一些页面功能失效时，也可以通过对页面进行诊断，确定出功能失效的原因，并及时向用户终端的APP下发补丁文件，以恢复页面功能。再例如，有些页面的交互方式可能并不适用于某些用户，例如对于一些视觉方面存在障碍的人士，页面中的很多功能用户可能无法准确识别，从而导致操作障碍，针对这种情况，可以向用户终端发送指令，切换页面交互方式，例如可以切换为语音指令操作、语音内容播放或者放大页面中功能区域的显示尺寸等。

另一方面，本实施例的页面处理方法还可以应用在终端侧，即在终端APP上嵌入基于手势轨迹数据进行用户异常行为识别的处理模块，并根据检测结果进行应对处理。此外，终端也可以通过与服务器的交互来完成基于手势轨迹数据进行用户异常行为的识别。具体地，该方法可以包括：

S301：检测用户在页面的手势轨迹数据。终端可以通过系统日志来记录用户的在使用APP的过程中的手势动作，从而形成手势轨迹数据。当然，终端或者APP对于用户操作的记录与使用，是在获得用户明确授权的前提下而进行的。

S302：根据手势轨迹数据确定用户异常行为的检测结果。终端可以通过与服务器的交互来完成用户异常行为的检测，具体地，终端将所述手势轨迹数据上报服务器，然后，接收服务器返回的基于对所述手势轨迹数据对应的手势图像进行图像特征分析而生成的用户的异常行为的检测结果。此外，针对用户异常行为的检测也可以在终端本地完成，具体地，终端根据所述手势轨迹数据生成对应的手势图像，然后，对所述手势图像进行图像特征分析，生成对用户的异常行为的检测结果。详细的实现方式可以参见前述实施例的详细说明。

S303：根据所述用户异常行为的检测结果，获取对应于所述检测结果的页面更新数据和/或切换页面交互模式的指令，执行页面更新和/或页面交互模式切换。具体地，基于检测结果而执行对应处理的机制与前面服务器侧的处理原理是相同的，只不过，在终端侧，当发现需要进行网页更新时，终端APP需要向服务器主动发起请求，并且可以同时上报检测结果，以触发服务器进行页面更新或者下发页面补丁文件等。此外，对于视觉障碍的用户，终端可以及时检测到用户行为的异常，并切换页面交互方式，例如可以切换为语音指令操作、语音内容播放或者放大页面中功能区域的显示尺寸等。

本实施例的页面处理方法，基于用户的手势轨迹数据检测出用户异常行为，并及时对导致用户行为异常的页面进行调整，从而消除用户的使用障碍，提高用户的使用APP的用户体验。

实施例四

本发明实施例提供了一种非接触手势的处理方法，该方法可以应用在具有非接触手势功能的设备上，或者应用在与设备通信的服务器上，通过与设备的交互来获取设备采集到的非接触手势轨迹数据，基于服务器的处理结果，向设备发送指令，具体地，该方法可以包括：

S401：获取用户非接触手势的手势轨迹数据。本发明实施例不仅可以用于触摸屏的接触式的手势操作行为的检测，还可以应用于非接触手势行为的检测，例如，通过手机、平板、笔记本以及台式电脑的摄像头或者磁感应等传感设备，采集用户的非接触手势行为，在这里手势行为是做广义理解，可以包括手以外的肢体动作。例如，智能电视通过识别人体动作(例如举起手臂、转动身体)等，来执行各种操作。

S402：根据手势轨迹数据确定用户非接触手势的检测结果。在一些情况下，也很可能会出现这些非接触的手势行为出现异常情形，比如，用户距离摄像头太远了，或者用户动作太快了，或者用户和设备之间存在物体干扰等，使得设备无法识别出用户的非接触手势行为所对应的指令。对于非接触手势的异常检测，也可以采用前述实施例中用户异常行为的检测方法来执行检测，可以根据设备采集到一段时间范围内的用户的非接触手势的轨迹，绘制对应于手势图像，针对非接触手势，手势图像可以不用对应于指定的页面，而是将一段时间内的手势轨迹直接绘制在预设的大小的画布上即可。具体的可以按照实施例一种提到的三种模式来基于非接触的手势轨迹来绘制手势图像。

S403：根据用户非接触手势的检测结果，对设备进行交互模式的切换和/或对用户进行非接触手势的指导。例如，在出现非接触手势异常的检测结果后，可以将设备切换为语音控制模式等。此外，还可以通过屏幕提示或者语音提示的方式，指导用户执行正确的手势动作。

此外，本发明实施例还可以为残障人士提供帮助，例如存在手部残疾或者没有手臂等残障人士。对于手部残障的人士，一般会使用具有非接触手势功能的设备，例如通过摄像头等传感器检测用户的肢体动作来触发设备操作。但是，由于非接触手势可能存在一些识别条件的限制或者障碍，比如环境灯光、用户与设备的摄像头的距离远近、中间是否有物体遮挡等因素，此外，还可能受到残障人士自身身体状况的影响，可能有些残障人士无法做出一些手势动作。针对这种情况，使用本发明实施例提供的方法，基于对非接触手势的异常检测，通过模式切换或者语音和/视觉指导用户的方式，帮助残障人士消除障碍，从而能够顺利使用设备。

实施例五

前面实施例描述了用户异常行为的检测方法、非接触手势的处理方法以及页面处理方法的流程处理及装置结构，上述的方法和装置的功能可借助一种电子设备实现完成，如图6所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器110和处理器120。

存储器110，用于存储程序。

除上述程序之外，存储器110还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器110可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器120，耦合至存储器110，用于执行存储器110中的程序，以执行前述实施例中所描述的用户异常行为的检测方法和/或页面处理方法和/或非接触手势的处理方法的操作步骤。

此外，处理器120也可以包括前述实施例所描述的各种模块以执行用户异常行为的检测处理和/或页面处理和/或非接触手势的处理，并且存储器110可以例如用于存储这些模块执行操作所需要的数据和/或所输出的数据。

对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

进一步，如图所示，电子设备还可以包括：通信组件130、电源组件140、音频组件150、显示器160等其它组件。图中仅示意性给出部分组件，并不意味着电子设备只包括图中所示组件。

通信组件130被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件130经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件130还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件140，为电子设备的各种组件提供电力。电源组件140可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件150被配置为输出和/或输入音频信号。例如，音频组件150包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器110或经由通信组件130发送。在一些实施例中，音频组件150还包括一个扬声器，用于输出音频信号。

显示器160包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。