基于人工智能的屏幕控制方法、装置、设备及存储介质

文档序号:1952059 发布日期:2021-12-10 浏览:18次 >En<

阅读说明:本技术 基于人工智能的屏幕控制方法、装置、设备及存储介质 (Screen control method, device and equipment based on artificial intelligence and storage medium ) 是由 赵国胜 于 2021-09-16 设计创作,主要内容包括:本申请公开一种基于人工智能的屏幕控制方法、装置、设备及存储介质,包括:采集预设目标显存中待显示的渲染数据;对所述渲染数据进行图像化处理生成目标帧图,并对所述目标帧图进行二值化处理生成二值帧图;将所述二值帧图输入至预设的控屏模型中,其中,所述控屏模型为预先训练至收敛状态,用于根据所述二值帧图对显示所述渲染数据的屏幕数量进行分类的神经网络模型;读取所述控屏模型输出的屏幕数量,并根据所述屏幕数量构建显示集群,其中,所述显示集群包括一个主显示器和至少一个副显示器;将所述渲染数据分发至所述主显示器和至少一个副显示器中进行分屏显示。避免人工频繁切换分屏显示策略,提高了分屏显示的适用性和使用率。(The application discloses screen control method, device, equipment and storage medium based on artificial intelligence, including: acquiring rendering data to be displayed in a preset target video memory; performing imaging processing on the rendering data to generate a target frame image, and performing binarization processing on the target frame image to generate a binary frame image; inputting the binary frame map into a preset screen control model, wherein the screen control model is a neural network model which is trained to a convergence state in advance and used for classifying the number of screens displaying the rendering data according to the binary frame map; reading the number of screens output by the screen control model, and constructing a display cluster according to the number of the screens, wherein the display cluster comprises a main display and at least one auxiliary display; and distributing the rendering data to the main display and at least one auxiliary display for split screen display. The method avoids manual frequent switching of the split-screen display strategy, and improves the applicability and the utilization rate of split-screen display.)

基于人工智能的屏幕控制方法、装置、设备及存储介质

技术领域

本发明实施例涉及人工智能领域,尤其是一种基于人工智能的屏幕控制方法、装置、设备及存储介质。

背景技术

在互联网高速发展的今天,"海量信息"成为当前网络的标志性关键词,对于用户而言,如何面对爆炸式增长的海量信息,让信息为人服务,而不是被信息所淹没和控制,就成为一个至关重要的需要解决的问题。

而两屏及多屏显示器的使用,使用户从单屏电脑的视野局限性中解脱出来。利用多屏显示器能在很大程度上提高使用人员的工作效率,增加舒适度。用户在不同文档和应用程序之间来回切换的次数得以减少甚至完全避免,从而缩短了完成每项任务所需的时间。

本发明创造的发明人在研究中发现,现有技术中的双屏及多屏显示,均是由操作人员手工设定后,计算机主机通过机械的执行用户的分屏显示策略完成分屏操作,每一次分屏显示策略需要进行调整时,都需要操作人员手动设定新的分屏策略,降低了分屏显示的适应性和使用效率。

发明内容

本发明实施例提供一种能够根据显示内容对多屏显示方式进行调整的基于人工智能的屏幕控制方法、装置、设备及存储介质。

为解决上述技术问题,本发明创造的实施例采用的一个技术方案是:提供一种基于人工智能的屏幕控制方法,包括:

采集预设目标显存中待显示的渲染数据;

对所述渲染数据进行图像化处理生成目标帧图,并对所述目标帧图进行二值化处理生成二值帧图;

将所述二值帧图输入至预设的控屏模型中,其中,所述控屏模型为预先训练至收敛状态,用于根据所述二值帧图对显示所述渲染数据的屏幕数量进行分类的神经网络模型;

读取所述控屏模型输出的屏幕数量,并根据所述屏幕数量构建显示集群,其中,所述显示集群包括一个主显示器和至少一个副显示器;

将所述渲染数据分发至所述主显示器和至少一个副显示器中进行分屏显示。

可选地,所述读取所述控屏模型输出的屏幕数量,并根据所述屏幕数量构建显示集群包括:

根据预设的调用接口,调用多个显示屏幕的在线状态信息;

基于所述在线状态信息,在所述多个显示屏幕中筛选至少两个目标显示屏幕,其中,所述目标显示屏幕为对应在线状态信息表征为是的显示屏幕;

根据所述屏幕数量在所述至少两个目标显示屏幕中构建所述显示集群。

可选地,所述根据所述屏幕数量在所述至少两个目标显示屏幕中构建所述显示集群包括:

点亮所述至少两个目标显示屏幕,使所述至少两个目标显示屏幕处于发光状态;

在所述至少两个目标显示屏幕处于发光状态下,采集所述多个显示屏幕的集合图像;

提取所述集合图像中所述至少两个目标显示屏幕组成的显示图像;

对所述显示图像进行预处理,并基于预设的中心确定规则,确定预处理后所述显示图像的中心点;

基于所述中心点确定所述主显示器,并根据所述主显示器和所述屏幕数量,在所述主显示器周围选择所述至少一个副显示器。

可选地,所述对所述显示图像进行预处理,并基于预设的中心确定规则,确定预处理后所述显示图像的中心点包括:

获取目标用户与所述多个显示屏幕之间的相对位置信息;

以显示屏幕为单位对所述显示图像中的目标显示屏幕进行点状化处理,生成所述显示图像的点状图;

根据所述相对位置信息在所述点状图中标注所述目标用户的位置标记;

将携带所述位置标记的点状图输入至预设的中心点识别模型中,其中,所述中心点识别模型为预先训练至收敛状态,用于对图像中心点进行识别的神经网络模型;

读取所述中心点识别模型输出的所述显示图像的中心点。

可选地,所述将所述渲染数据分发至所述主显示器和至少一个副显示器中进行分屏显示之前,包括:

获取所述至少一个副显示器的参数信息,其中,所述参数信息包括所述副显示器的位置坐标和第一屏幕尺寸;

根据所述第一屏幕尺寸构建至少一个应用窗口,其中,所述应用窗口的尺寸与所述第一屏幕尺寸相同;

基于所述位置坐标,将所述至少一个应用窗口对应投送至所述至少一个副显示器中。

可选地,所述获取所述至少一个副显示器的参数信息包括:

获取所述主显示器的分辨率信息和所述至少一个副显示器之间的方向信息;

根据所述分辨率信息和所述方向信息,确定所述至少一个副显示器位置坐标;

根据所述位置坐标和所述第一屏幕尺寸生成所述至少一个副显示器的参数信息。

可选地,所述将所述渲染数据分发至所述主显示器和至少一个副显示器中进行分屏显示包括:

获取所述主显示器的第二屏幕尺寸;

根据第一屏幕尺寸和所述第二屏幕尺寸对所述渲染数据进行分割,生成第一显示数据和至少一个第二显示数据;

将所述第一显示数据发送至所述主显示器,并将所述至少一个第二显示数据分发至所述至少一个应用窗口中进行显示。

为解决上述技术问题,本发明实施例还提供一种基于人工智能的屏幕控制装置,包括:

采集模块,用于采集预设目标显存中待显示的渲染数据;

处理模块,用于对所述渲染数据进行图像化处理生成目标帧图,并对所述目标帧图进行二值化处理生成二值帧图;

分类模块,用于将所述二值帧图输入至预设的控屏模型中,其中,所述控屏模型为预先训练至收敛状态,用于根据所述二值帧图对显示所述渲染数据的屏幕数量进行分类的神经网络模型;

读取模块,用于读取所述控屏模型输出的屏幕数量,并根据所述屏幕数量构建显示集群,其中,所述显示集群包括一个主显示器和至少一个副显示器;

执行模块,用于将所述渲染数据分发至所述主显示器和至少一个副显示器中进行分屏显示。

可选地,所述基于人工智能的屏幕控制装置还包括:

第一调用子模块,用于根据预设的调用接口,调用多个显示屏幕的在线状态信息;

第一筛选子模块,用于基于所述在线状态信息,在所述多个显示屏幕中筛选至少两个目标显示屏幕,其中,所述目标显示屏幕为对应在线状态信息表征为是的显示屏幕;

第一构建子模块,用于根据所述屏幕数量在所述至少两个目标显示屏幕中构建所述显示集群。

可选地,所述基于人工智能的屏幕控制装置还包括:

第一控制子模块,用于点亮所述至少两个目标显示屏幕,使所述至少两个目标显示屏幕处于发光状态;

第一采集子模块,用于在所述至少两个目标显示屏幕处于发光状态下,采集所述多个显示屏幕的集合图像;

第一提取子模块,用于提取所述集合图像中所述至少两个目标显示屏幕组成的显示图像;

第一处理子模块,用于对所述显示图像进行预处理,并基于预设的中心确定规则,确定预处理后所述显示图像的中心点;

第一执行子模块,用于基于所述中心点确定所述主显示器,并根据所述主显示器和所述屏幕数量,在所述主显示器周围选择所述至少一个副显示器。

可选地,所述基于人工智能的屏幕控制装置还包括:

第一获取子模块,用于获取目标用户与所述多个显示屏幕之间的相对位置信息;

第二处理子模块,用于以显示屏幕为单位对所述显示图像中的目标显示屏幕进行点状化处理,生成所述显示图像的点状图;

第一标注子模块,用于根据所述相对位置信息在所述点状图中标注所述目标用户的位置标记;

第一分类子模块,用于将携带所述位置标记的点状图输入至预设的中心点识别模型中,其中,所述中心点识别模型为预先训练至收敛状态,用于对图像中心点进行识别的神经网络模型;

第一读取子模块,用于读取所述中心点识别模型输出的所述显示图像的中心点。

可选地,所述基于人工智能的屏幕控制装置还包括:

第二获取子模块,用于获取所述至少一个副显示器的参数信息,其中,所述参数信息包括所述副显示器的位置坐标和第一屏幕尺寸;

第三处理子模块,用于根据所述第一屏幕尺寸构建至少一个应用窗口,其中,所述应用窗口的尺寸与所述第一屏幕尺寸相同;

第一投送子模块,用于基于所述位置坐标,将所述至少一个应用窗口对应投送至所述至少一个副显示器中。

可选地,所述基于人工智能的屏幕控制装置还包括:

第三获取子模块,用于获取所述主显示器的分辨率信息和所述至少一个副显示器之间的方向信息;

第四处理子模块,用于根据所述分辨率信息和所述方向信息,确定所述至少一个副显示器位置坐标;

第二执行子模块,用于根据所述位置坐标和所述第一屏幕尺寸生成所述至少一个副显示器的参数信息。

可选地,所述基于人工智能的屏幕控制装置还包括:

第四获取子模块,用于获取所述主显示器的第二屏幕尺寸;

第五处理子模块,用于根据第一屏幕尺寸和所述第二屏幕尺寸对所述渲染数据进行分割,生成第一显示数据和至少一个第二显示数据;

第三执行子模块,用于将所述第一显示数据发送至所述主显示器,并将所述至少一个第二显示数据分发至所述至少一个应用窗口中进行显示。

为解决上述技术问题本发明实施例还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述所述基于人工智能的屏幕控制方法的步骤。

为解决上述技术问题本发明实施例还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述所述基于人工智能的屏幕控制方法的步骤。

本发明实施例的有益效果是:对于即将显示的渲染数据,进行二值化处理,降低渲染数据中包含的信息量,进而降低后续处理的数据量后,对二值帧图进行模型分类,由于,分类使用的模型是用于根据输入图像对输入图像适用的屏幕数量进行分类的神经网络,因此,能够根据输入图像确定渲染数据的屏幕显示数量,并以确定的屏幕数量,对渲染数据进行分屏显示。实现了根据实时显示需求,对分屏显示策略的快速切换,避免人工频繁切换分屏显示策略,提高了分屏显示的适用性和使用率。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本申请一个具体实施例的基于人工智能的屏幕控制方法的基本流程示意图;

图2为本申请一个具体实施例的筛选在线状态显示屏幕组建显示集群的流程示意图;

图3为本申请一个具体实施例的筛选主显示器和副显示器的流程示意图;

图4为本申请一个具体实施例的意图评分的流程示意图;

图5为本申请一个具体实施例的建立副显示器应用窗口的流程示意图;

图6为本申请一个具体实施例的副显示器参数信息的采集流程示意图;

图7为本申请一个具体实施例的对渲染数据进行分屏显示的流程示意图;

图8为本申请一个实施例的基于人工智能的屏幕控制装置基本结构示意图;

图9为本申请一个实施例的计算机设备的基本结构框图。

具体实施方式

下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。

本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式"一"、"一个"、"所述"和"该"也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞"包括"是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解,这里所使用的"终端"既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的"终端"可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的"终端"还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。

请参阅图1,图1为本实施例基于人工智能的屏幕控制方法的基本流程示意图。如图1所示,一种基于人工智能的屏幕控制方法,包括:

S1100、采集预设目标显存中待显示的渲染数据;

在对数据进行显示时,目标显存对将要显示的数据进行渲染,被渲染的数据以帧图的形式存储在目标显存内,等待被发送至显示器进行显示,此时,读取目标显存中的帧图作为待显示的渲染数据。

渲染数据的内容能够为静态显示的图像或者连续播放的视频帧图。

S1200、对所述渲染数据进行图像化处理生成目标帧图,并对所述目标帧图进行二值化处理生成二值帧图;

读取得到的渲染数据是由像素值组成的数组矩阵,根据数据矩阵中每个像素值的数值信息,将其转化为对应颜色的像素点,就完成了对渲染数据的图像化处理,生成渲染数据的目标帧图。

对目标帧图进行二值化处理,设定二值阈值,将目标帧图中像素点像素值和二值阈值进行比对,根据比对结果将像素值大于等于二值阈值的像素点修改为255,将像素值小于二值阈值的像素点修改为0。修改完成后,就完成了对目标帧图的二值化处理,生成渲染数据的二值帧图。

S1300、将所述二值帧图输入至预设的控屏模型中,其中,所述控屏模型为预先训练至收敛状态,用于根据所述二值帧图对显示所述渲染数据的屏幕数量进行分类的神经网络模型;

将二值帧图输入至预设的控屏模型中,其中,控屏模型为预先训练至收敛状态,用于根据二值帧图对显示所述渲染数据的屏幕数量进行分类的神经网络模型。

本实施方式中控屏模型是由卷积神经网络模型、深度神经网络模型、循环神经网络模型或者上述模型的任一变种模型训练得到。

控屏模型通过监督训练的方式进行训练,通过采集大量的样本数据,并对样本数据进行标记,根据样本数据的展示需要,标记展示样本数据的屏幕数量。然后,通过标记样本对初始模型进行监督训练,当训练次数达到预设次数或者分类准确率达到设定的阈值时,即表明该初始模型被训练至收敛,成为了控屏模型。

在一些实施方式中,控屏模型除了能够对渲染数据显示屏幕的数量进行分类外,还能够对渲染数据的显示方向进行分类,例如,分类结果为横向单屏、横向双屏、横向三屏、竖向单屏、竖向双屏、竖向三屏或者横向或竖向更多屏。本实施方式中的控屏模型同样采用监督训练的方式进行训练,训练时样本数据的标记包括显示方向和屏幕数量,这样训练得到的控屏模型就具有对显示方向和屏幕数量进行分类的能力。

由于决定屏幕显示数量或者显示方向的决定新因素,取决于渲染数据构建形成图像的尺寸和图像的长宽比例,与图像内容之间的关联度较小,因此,将目标帧图转化为二值帧图后,输入至控屏模型进行分类,能大大降低目标帧图的信息含量,提高模型的运算效率。且二值帧图对显示内容的弱化,反向显现出图像的尺寸和长宽比例等决定性因素的信息量,有利于提高控屏模型的训练速度和分类准确率。

S1400、读取所述控屏模型输出的屏幕数量,并根据所述屏幕数量构建显示集群,其中,所述显示集群包括一个主显示器和至少一个副显示器;

当控屏模型对输入的二值帧图进行分类,输出对应的分类结果,该分类结果表征的数量,就是显示渲染数据所需的屏幕数量,根据该屏幕数量构建用于显示屏幕数量的显示集群。

显示集群中包括一个主显示器和一个副显示器。但是,副显示器的数量不局限于此,根据具体应用场景的不同,在一些实施方式中副显示器的数量能够为2台、3台、4台或者更多台。

主显示的器的选择一般选择显示方向上的第一台显示器为主显示器,例如,自左向右的第一台显示器为主显示器,或者自上而下的第一台显示器为主显示器。但是,主显示器的选择方式不局限于此,在一些实施方式中,主显示器的选择方式为:选择用户视角正对方向上的显示屏幕为主显示器,副显示器环绕在主显示器的周围。

S1500、将所述渲染数据分发至所述主显示器和至少一个副显示器中进行分屏显示。

确定显示集群后,将渲染数据发送至显示集群中,由主显示器和副显示器进行同步显示。

进行分屏显示时,主程序需要在副显示器的位置构建应用窗口,构建的方式为以主显示左上角为零点构建坐标系,以主显示器的分辨率作为边界。例如,当主显示器的分辨率为640*480,则位于主显示器右侧的第一台副显示器的应用窗口起点为(480,0),以该起点构建尺寸为副显示器分辨率相同大小的应用窗口,如果第一台显示器的右侧还有一台副显示器时,第二台副显示器的起点为(第一台显示器的横坐标终点,0)以此类推,构建多个副显示器的应用窗口。

当副显示器位于主显示器的其他相对方位上时,还是以主显示器左上方的顶点位置处的第一个像素点为起始点构建坐标系,副显示器与主显示器的方位构建应用窗口,应用窗口的起始点为副显示器左上角大小为副显示器的分辨率。

主程序构建完成副显示器的应用窗口后,根据主显示器和副显示器的屏幕尺寸对显示数据进行分割,分割方式为主显示器和副显示器沿显示方向上的比例。例如,显示集群的显示方向自左向右显示时,分割的比例为主显示器和副显示器的横向宽度比,主显示器和副显示器的横向宽度比为1:1时,将渲染数据对半分割;主显示器和副显示器的横向宽度比为4:6时,将渲染数据按4:6的比例进行分割。显示集群的显示方向自上向下显示时,分割的比例为主显示器和副显示器的纵向宽度比。

将渲染数据进行分割后,将分割后的渲染数据分发至主显示器,以及各副显示器对应的应用窗口中,完成了对渲染数据的分发,渲染数据被分发后,接收到渲染数据的主显示器和副显示器,对各自的渲染数据进行显示,完成了对渲染数据的分屏显示。

上述实施方式,对于即将显示的渲染数据,进行二值化处理,降低渲染数据中包含的信息量,进而降低后续处理的数据量后,对二值帧图进行模型分类,由于,分类使用的模型是用于根据输入图像对输入图像适用的屏幕数量进行分类的神经网络,因此,能够根据输入图像确定渲染数据的屏幕显示数量,并以确定的屏幕数量,对渲染数据进行分屏显示。实现了根据实时显示需求,对分屏显示策略的快速切换,避免人工频繁切换分屏显示策略,提高了分屏显示的适用性和使用率。

在一些实施方式中,组件显示集群时,需要在显示屏幕中筛选出处于在线状态的显示屏幕。请参阅图2,图2为本实施例筛选在线状态显示屏幕组建显示集群的流程示意图。

如图2所示。S1400包括:

S1411、根据预设的调用接口,调用多个显示屏幕的在线状态信息;

当主机与若干个显示屏幕连接时,有些显示屏幕处于断电离线的状态,无法作为渲染数据的显示器。因此,在进行显示集群构建时,需要对各个显示屏幕的在线状态进行检测。

检测的方式为:通过调用每一个显示屏的预留端口调用信息,通过端口调用信息调用各个显示屏幕的端口数据,当端口数据返回值为0时,表示显示屏幕不在线;当端口数据返回值为1,则表示显示屏幕在线。

S1412、基于所述在线状态信息,在所述多个显示屏幕中筛选至少两个目标显示屏幕,其中,所述目标显示屏幕为对应在线状态信息表征为是的显示屏幕;

根据在线状态信息,在多个表征为在线的显示屏幕当中筛选预设数量的目标显示屏幕。目标显示屏幕是指对应在线状态信息表征为是的显示屏幕,即目标显示屏幕为端口数据返回值为1的显示屏幕。由于,主显示器和副显示器都需要从目标显示屏幕中确定,因此,目标显示屏幕的数量至少为2台。

S1413、根据所述屏幕数量在所述至少两个目标显示屏幕中构建所述显示集群。

根据控屏模型输出的屏幕数量,在至少2个目标显示屏幕中筛选出用于构建显示集群的显示器。

显示集群中包括一个主显示器和一个副显示器。但是,副显示器的数量不局限于此,根据具体应用场景的不同,在一些实施方式中副显示器的数量能够为2台、3台、4台或者更多台。

主显示的器的选择一般选择显示方向上的第一台显示器为主显示器,例如,自左向右的第一台显示器为主显示器,或者自上而下的第一台显示器为主显示器。但是,主显示器的选择方式不局限于此,在一些实施方式中,主显示器的选择方式为:选择用户视角正对方向上的显示屏幕为主显示器,副显示器环绕在主显示器的周围。

在一些实施方式中,当确定目标显示屏幕后,需要通过目标显示屏组成的图案筛选用于组成显示集群的显示器。请参阅图3,图3为本实施例筛选主显示器和副显示器的流程示意图。

如图3所示,S1413包括:

S1421、点亮所述至少两个目标显示屏幕,使所述至少两个目标显示屏幕处于发光状态;

当筛选得到目标显示屏幕后,需要区别目标显示屏幕和其他显示屏幕之间的区别,因此,需要对目标显示屏幕进行区别化显示。由于,其他显示屏幕处于未在线的状态,因此,其屏幕无显示内容,处于长黑的状态,此时,主程序控制目标显示屏幕启动,使目标显示屏幕处于发光状态。

在一些实施方式中,其他显示屏幕有可能也处于使用状态,为了使目标显示屏幕与其他显示屏幕之间有所区别,需要控制目标显示屏幕的发光颜色,发光颜色的控制能够通过读取其他显示屏幕的显示图像,将其输入至预训练至收敛状态的颜色筛选模型中,颜色筛选模型被训练用于根据输入图像的背景颜色,生成与输入图像色差值明显的颜色分类。由于,颜色筛选模型也是由监督训练至收敛的神经网络模型,因此,能够根据其他显示屏幕的显示图像分类得到目标显示屏幕的显示颜色,然后,由主程序控制目标显示屏幕统一显示该分类颜色,使目标显示屏幕的亮度显示更加的明显。

S1422、在所述至少两个目标显示屏幕处于发光状态下,采集所述多个显示屏幕的集合图像;

当目标显示屏幕处于发光状态后,对包括目标显示屏幕在内的多个显示屏幕进行图像采集,图像采集的方式为:通过设置的摄像头对显示屏幕进行拍照得到集合图像。

在一些实施方式中,集合图像的采集方式还能够为:通过采集各个显示屏幕的坐标信息和显示内容,基于坐标信息对各个显示屏幕的显示内容进行拼接,生成集合图像。

S1423、提取所述集合图像中所述至少两个目标显示屏幕组成的显示图像;

提取集合图像中由目标显示屏幕组成的显示图像,图像提取的方式能够为:以目标显示屏幕的显示内容颜色为标准,在集合图像中建立图像选区,然后,将该图像选区以外的图像区域进行裁剪,得到由目标显示屏幕组成的显示图像。

在一些实施方式中,当其他显示屏幕的颜色均为黑色时,以黑色为标准,在集合图像中建立图像选区,然后,将建立的选区在集合图像中进行剪除,得到的图像就是由目标显示屏幕组成的显示图像。

S1424、对所述显示图像进行预处理,并基于预设的中心确定规则,确定预处理后所述显示图像的中心点;

对显示图像进行预处理,预处理的方式为:以目标显示屏幕的屏幕区域为单位,对显示图像中每个目标显示屏幕的图像进行点状化处理,生成目标显示屏幕的点状图。将目标显示屏幕的图像进行点状化处理,能够使生成的点状图即保有各个目标显示图像的相对位置关系,但是,包含的数据量却大大降低,有利于提高对显示图像后续的处理效率。

确定目标显示屏幕的点状图后,基于该点状图确定点状图中的中心点,中心点的确定方式包括:当点状图表征的目标显示屏幕组成的图案为规则图形,例如,圆形、三角形、正方形、长方形、正多边形或者其他规则图形时,调用对应规则图形的中心点确定规则,生成该点状图的中心点。

在一些实施方式中,中心点的确定方式需要根据用户所在的方位,将正对着用户视角的区域标记为中心点。将显示图像转化为点状图后,根据用户与显示屏幕之间的相对位置关系,在点状图中标记用户的相对位置信息,该相对位置信息的标记方式为点状标记,但用户的位置标记与目标显示屏幕的点状图像像素不同,或者点状形状不同。将标记有用户位置信息的点状图输入至预设的中心点识别模型中,中心点识别模型是通过监督训练得到的神经网络模型,能够根据点状图中用户的位置,分类得到点状图中正对用户的中心点。

S1425、基于所述中心点确定所述主显示器,并根据所述主显示器和所述屏幕数量,在所述主显示器周围选择所述至少一个副显示器。

根据点状图与显示图像之间的映射关系,能够根据点状图中中心点的位置,确定出显示图像中中心点的位置,然后,根据显示图像与目标显示屏幕之间的映射关系,确定出中心点对应的目标显示屏幕。中心点对应的目标显示屏幕就是显示集群中的主显示器。选择得到主显示器后,根据屏幕数量以主显示器左侧相邻的显示屏幕为起点,顺时针依次选择副显示器,使副显示器环绕在主显示器的周围。如此,成层状递进的方式筛选出若干个围绕在主显示器周围的副显示器,并有主显示器和副显示器共同组成显示集群。

通过将目标显示屏幕进行点亮,使目标显示屏幕和其他显示屏幕之间具有显示区别,并基于该显示区别将显示屏幕图像化,根据图像化后的集合图像提取得到目标显示屏幕集合生成的显示图像,对显示图像进行中心点提取,能够从多个目标显示屏幕中,快速确定出中心点位置,基于中心点位置确定的主显示器,能够使用户具有更好的视觉体验。

在一些实施方式中,中心点的识别是通过用户位置进行识别的,通过在点状图中标记用户的位置信息来确定中心点。请参阅图4,图4为本实施例确定中心点的流程示意图。

如图4所示,S1424包括:

S1431、获取目标用户与所述多个显示屏幕之间的相对位置信息;

将显示图像转化为点状图后,根据用户与显示屏幕之间的相对位置关系,在点状图中标记用户的相对位置信息,该相对位置信息的标记方式为点状标记,但用户的位置标记与目标显示屏幕的点状图像像素不同,或者点状形状不同。

目标用户与多个显示屏幕之间的相对位置信息,能够通过固定在用户附近或者穿戴在用户身上的位置传感器和距离传感器测算得到。但是,相对位置信息的获取方式不局限于此,在一些实施方式中,相对位置信息能够通过拍摄显示屏幕和目标用户之间的全景图后,根据图像识别技术处理后得到。

S1432、以显示屏幕为单位对所述显示图像中的目标显示屏幕进行点状化处理,生成所述显示图像的点状图;

对显示图像进行预处理,预处理的方式为:以目标显示屏幕的屏幕区域为单位,对显示图像中每个目标显示屏幕的图像进行点状化处理,生成目标显示屏幕的点状图。将目标显示屏幕的图像进行点状化处理,能够使生成的点状图即保有各个目标显示图像的相对位置关系,但是,包含的数据量却大大降低,有利于提高对显示图像后续的处理效率。

S1433、根据所述相对位置信息在所述点状图中标注所述目标用户的位置标记;

将显示图像转化为点状图后,根据用户与显示屏幕之间的相对位置关系,在点状图中标记用户的位置标记,该位置标记的标记方式为点状标记,但用户的位置标记与目标显示屏幕的点状图像像素不同,或者点状形状不同。

S1434、将携带所述位置标记的点状图输入至预设的中心点识别模型中,其中,所述中心点识别模型为预先训练至收敛状态,用于对图像中心点进行识别的神经网络模型;

将标记有用户位置信息的点状图输入至预设的中心点识别模型中,中心点识别模型是通过监督训练得到的神经网络模型,能够根据点状图中用户的位置,分类得到点状图中正对用户的中心点。

中心点识别模型通过监督训练的方式进行训练,通过采集大量的样本数据,并对样本数据进行标记,根据样本数据的训练的需要,标记样本数中中心点的位置。然后,通过标记样本对初始模型进行监督训练,当训练次数达到预设次数或者分类准确率达到设定的阈值时,即表明该初始模型被训练至收敛,成为了中心点识别模型。

S1435、读取所述中心点识别模型输出的所述显示图像的中心点。

中心点识别模型对携带位置标记的点状图进行分类后,得到点状图的中心点,再根据点状图与显示图像之间的映射关系,得到显示图像的中心点。

通过将显示图像转化为点状图,然后,在点状图中标记用户的位置标记,,最后通过神经网络对点状图进行图像分类,得到显示图像的中心点,提高了中心点的提取效率和用户后期的视觉感官。

在一些实施方式中,通过一台主机进行双屏或者多屏显示时,需要构建副显示器的应用窗口,应用窗口将作为副显示器显示的虚拟显示容器,接收由主程序分配的显示内容。请参阅图5,图5为本实施例建立副显示器应用窗口的流程示意图。

如图5所示,S1500之前,包括:

S1441、获取所述至少一个副显示器的参数信息,其中,所述参数信息包括所述副显示器的位置坐标和第一屏幕尺寸;

获取各个副显示器的参数信息,参数信息中包括每个副显示器的位置坐标和第一屏幕尺寸。

其中,位置坐标用于确定各个副显示器所处的位置,该位置坐标是以主显示器为参考物的相对位置坐标。例如,将主显示器所在的位置坐标构建为(0,0),副显示器根据与主显示器的位置关系,依次的建立对应的位置坐标。

副显示器的第一屏幕尺寸是指,各个副显示器的屏幕分辨率,屏幕分辨率能够最直观的反映出每个副显示器的尺寸信息。

S1442、根据所述第一屏幕尺寸构建至少一个应用窗口,其中,所述应用窗口的尺寸与所述第一屏幕尺寸相同;

主程序需要在副显示器的位置构建应用窗口,构建的方式为以主显示左上角为零点构建坐标系,以主显示器的分辨率作为边界。例如,当主显示器的分辨率为640*480,则位于主显示器右侧的第一台副显示器的应用窗口起点为(480,0),以该起点构建尺寸为副显示器分辨率相同大小的应用窗口,如果第一台显示器的右侧还有一台副显示器时,第二台副显示器的起点为(第一台显示器的横坐标终点,0)以此类推,构建多个副显示器的应用窗口。

当副显示器位于主显示器的其他相对方位上时,还是以主显示器左上方的顶点位置处的第一个像素点为起始点构建坐标系,副显示器与主显示器的方位构建应用窗口,应用窗口的起始点为副显示器左上角大小为副显示器的分辨率。

S1443、基于所述位置坐标,将所述至少一个应用窗口对应投送至所述至少一个副显示器中。

将每个副显示器的位置坐标与对应的应用窗口进行关联,然后,基于位置坐标调用每一个副显示器的应用窗口,并且将该应用窗口投送到每个副显示器中,完成对副显示器虚拟容器的布置。

通过给每一个副显示器进行虚拟容器的布置,能够方便主程序对渲染数据的分割和同步显示控制,提高了显示效率和控制效率。

在一些实施方式中,提取副显示器的参数信息时,需要副显示器与主显示器之间的相对位置关系确定每个副显示器的参数信息。请参阅图6,图6为本实施例副显示器参数信息的采集流程示意图。

如图6所示,S1441包括:

S1451、获取所述主显示器的分辨率信息和所述至少一个副显示器之间的方向信息;

位置坐标用于确定各个副显示器所处的位置,该位置坐标是以主显示器为参考物的相对位置坐标。根据副显示器与主显示之间的位置关系确定副显示器相对于主显示器的方向信息,例如,副显示器位于主显示器的左侧,则该副显示器与主显示器的方向信息为西方,副显示器位于主显示器的上方,则该显示器与主显示器的方向信息为北方,以此类推,得到各个副显示器的方向信息。

得到每个副显示器的方向信息后,通过预设的端口拉去每个副显示器的分辨率信息。

S1452、根据所述分辨率信息和所述方向信息,确定所述至少一个副显示器位置坐标;

得到每个副显示器的分辨率信息和方向信息后,构建的方式为以主显示左上角为零点构建坐标系,以主显示器的分辨率作为边界。例如,当主显示器的分辨率为640*480,则位于主显示器右侧的第一台副显示器的位置坐标为(480,0),如果第一台显示器的右侧还有一台副显示器时,第二台副显示器的起点为(第一台显示器的横坐标终点,0)以此类推,构建多个副显示器的应用窗口。

S1453、根据所述位置坐标和所述第一屏幕尺寸生成所述至少一个副显示器的参数信息。

根据位置坐标和第一屏幕尺寸生成至少一个副显示器的参数信息。由于,第一屏幕尺寸就是副显示器的分辨率,因此,根据位置坐标和副显示器的分辨率就能够构成副显示器的参数信息。

在一些实施方式中,当主显示器和副显示器对渲染数据进行显示时,需要对渲染数据进行切分,以便于主显示器和副显示器对渲染数据进行分屏显示。请参阅图7,图7为本实施例对渲染数据进行分屏显示的流程示意图。

如图7所示,S1500包括:

S1511、获取所述主显示器的第二屏幕尺寸;

获取主显示器的第二屏幕尺寸,第二屏幕尺寸为主显示器的分辨率,通过读取预设端口,得到主显示器的第二屏幕尺寸。

S1512、根据第一屏幕尺寸和所述第二屏幕尺寸对所述渲染数据进行分割,生成第一显示数据和至少一个第二显示数据;

根据第一屏幕尺寸和第二屏幕尺寸对渲染数据进行分割,分割的方式为根据主显示在渲染数据中的坐标和第二屏幕尺寸,对渲染数据进行分割得到第一显示数据。然后,根据各副显示器与主显示器之间的位置关系和各个副显示器的第一屏幕尺寸,对渲染数据剩余的数据进行分割,得到各个副显示器的第二显示数据。

S1513、将所述第一显示数据发送至所述主显示器,并将所述至少一个第二显示数据分发至所述至少一个应用窗口中进行显示。

对渲染数据进行分割后,主程序将第一显示数据发送至主显示器进行显示,将每个第二显示数据对应的发送至每个应用窗口中进行显示。主显示器和副显示器构成的显示集群,同步对各自负责的显示数据进行显示,完成了对渲染数据的分屏显示。

具体请参阅图8,图8为本实施例基于人工智能的屏幕控制装置基本结构示意图。

如图8所示,一种基于人工智能的屏幕控制装置,包括:采集模块1100、处理模块1200、分类模块1300、读取模块1400和执行模块1500。其中,采集模块1100用于采集预设目标显存中待显示的渲染数据;处理模块1200用于对所述渲染数据进行图像化处理生成目标帧图,并对所述目标帧图进行二值化处理生成二值帧图;分类模块1300用于将所述二值帧图输入至预设的控屏模型中,其中,所述控屏模型为预先训练至收敛状态,用于根据所述二值帧图对显示所述渲染数据的屏幕数量进行分类的神经网络模型;读取模块1400用于读取所述控屏模型输出的屏幕数量,并根据所述屏幕数量构建显示集群,其中,所述显示集群包括一个主显示器和至少一个副显示器;执行模块1500用于将所述渲染数据分发至所述主显示器和至少一个副显示器中进行分屏显示。

基于人工智能的屏幕控制装置对于即将显示的渲染数据,进行二值化处理,降低渲染数据中包含的信息量,进而降低后续处理的数据量后,对二值帧图进行模型分类,由于,分类使用的模型是用于根据输入图像对输入图像适用的屏幕数量进行分类的神经网络,因此,能够根据输入图像确定渲染数据的屏幕显示数量,并以确定的屏幕数量,对渲染数据进行分屏显示。实现了根据实时显示需求,对分屏显示策略的快速切换,避免人工频繁切换分屏显示策略,提高了分屏显示的适用性和使用率。

在一些实施方式中,基于人工智能的屏幕控制装置还包括:第一调用子模块、第一筛选子模块和第一构建子模块。其中,第一调用子模块用于根据预设的调用接口,调用多个显示屏幕的在线状态信息;第一筛选子模块用于基于所述在线状态信息,在所述多个显示屏幕中筛选至少两个目标显示屏幕,其中,所述目标显示屏幕为对应在线状态信息表征为是的显示屏幕;第一构建子模块用于根据所述屏幕数量在所述至少两个目标显示屏幕中构建所述显示集群。

在一些实施方式中,基于人工智能的屏幕控制装置还包括:第一控制子模块、第一采集子模块、第一提取子模块、第一处理子模块和第一执行子模块。其中,第一控制子模块用于点亮所述至少两个目标显示屏幕,使所述至少两个目标显示屏幕处于发光状态;第一采集子模块用于在所述至少两个目标显示屏幕处于发光状态下,采集所述多个显示屏幕的集合图像;第一提取子模块用于提取所述集合图像中所述至少两个目标显示屏幕组成的显示图像;第一处理子模块用于对所述显示图像进行预处理,并基于预设的中心确定规则,确定预处理后所述显示图像的中心点;第一执行子模块用于基于所述中心点确定所述主显示器,并根据所述主显示器和所述屏幕数量,在所述主显示器周围选择所述至少一个副显示器。

在一些实施方式中,基于人工智能的屏幕控制装置还包括:第一获取子模块、第二处理子模块、第一标注子模块、第一分类子模块和第一读取子模块。其中,第一获取子模块用于获取目标用户与所述多个显示屏幕之间的相对位置信息;第二处理子模块用于以显示屏幕为单位对所述显示图像中的目标显示屏幕进行点状化处理,生成所述显示图像的点状图;第一标注子模块用于根据所述相对位置信息在所述点状图中标注所述目标用户的位置标记;第一分类子模块用于将携带所述位置标记的点状图输入至预设的中心点识别模型中,其中,所述中心点识别模型为预先训练至收敛状态,用于对图像中心点进行识别的神经网络模型;第一读取子模块用于读取所述中心点识别模型输出的所述显示图像的中心点。

在一些实施方式中,基于人工智能的屏幕控制装置还包括:第二获取子模块、第三处理子模块和第一投送子模块。第二获取子模块用于获取所述至少一个副显示器的参数信息,其中,所述参数信息包括所述副显示器的位置坐标和第一屏幕尺寸;第三处理子模块用于根据所述第一屏幕尺寸构建至少一个应用窗口,其中,所述应用窗口的尺寸与所述第一屏幕尺寸相同;第一投送子模块用于基于所述位置坐标,将所述至少一个应用窗口对应投送至所述至少一个副显示器中。

在一些实施方式中,基于人工智能的屏幕控制装置还包括:第三获取子模块、第四处理子模块和第二执行子模块。其中,第三获取子模块用于获取所述主显示器的分辨率信息和所述至少一个副显示器之间的方向信息;第四处理子模块用于根据所述分辨率信息和所述方向信息,确定所述至少一个副显示器位置坐标;第二执行子模块用于根据所述位置坐标和所述第一屏幕尺寸生成所述至少一个副显示器的参数信息。

在一些实施方式中,基于人工智能的屏幕控制装置还包括:第四获取子模块、第五处理子模块和第三执行子模块。其中,第四获取子模块用于获取所述主显示器的第二屏幕尺寸;第五处理子模块用于根据第一屏幕尺寸和所述第二屏幕尺寸对所述渲染数据进行分割,生成第一显示数据和至少一个第二显示数据;第三执行子模块用于将所述第一显示数据发送至所述主显示器,并将所述至少一个第二显示数据分发至所述至少一个应用窗口中进行显示。

为解决上述技术问题,本发明实施例还提供计算机设备。具体请参阅图9,图9为本实施例计算机设备基本结构框图。

如图9所示,计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种基于人工智能的屏幕控制法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种基于人工智能的屏幕控制法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

本实施方式中处理器用于执行图8中采集模块1100、处理模块1200、分类模块1300、读取模块1400和执行模块1500的具体功能,存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有人脸图像关键点检测装置中执行所有子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

计算机设备对于即将显示的渲染数据,进行二值化处理,降低渲染数据中包含的信息量,进而降低后续处理的数据量后,对二值帧图进行模型分类,由于,分类使用的模型是用于根据输入图像对输入图像适用的屏幕数量进行分类的神经网络,因此,能够根据输入图像确定渲染数据的屏幕显示数量,并以确定的屏幕数量,对渲染数据进行分屏显示。实现了根据实时显示需求,对分屏显示策略的快速切换,避免人工频繁切换分屏显示策略,提高了分屏显示的适用性和使用率。

本发明还提供一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述任一实施例基于人工智能的屏幕控制法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。

本技术领域技术人员可以理解,本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

25页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种显示终端及其级联系统、控制方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类