具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1是根据本发明一些实施例的多窗口调整系统的示意图。

参照图1，通过本发明实施例的多窗口调整系统60与至少一个信号源通信连接，以对目标信号源进行操控。根据本发明一些实施例，多窗口调整系统60包括拼接处理器21、交换机50、终端40、服务器20；根据本发明的一些实施例，所述系统还可以进一步包括指挥屏10。根据本发明一些实施例，信号源包括：台式机、摄像头、笔记本电脑、平板电脑、网络摄像头、手机等。

在本发明实施中，指挥屏10用于显示目标信号源的视频流。指挥屏10可以包括一个显示设备也可以包括多个显示设备。例如，本发明一些实施例的指挥屏10包括一个显示器或一个投影仪；本发明另一些实施例的指挥屏10包括多个显示器、或多个投影仪，或多个显示器与投影仪的组合。

本发明实施例的拼接处理器21包括至少一个视频输入接口、至少一个视频输出接口和至少一个网络接口。

本发明实施例的拼接处理器21通过视频输出接口与所述指挥屏10通信连接。

本发明实施例的拼接处理器21被配置为通过视频输入接口接收信号源的视频流后，根据控制指令和目标信号源信息将目标信号源的视频流调整后通过视频输出接口输出到所述指挥屏10。具体地，本发明实施例的拼接处理器21通过视频输入接口接收信号源210、信号源220、和信号源230的视频流。应理解，本发明实施例能够接收的信号源数量不限于三个，实际中可以根据需要接入对应数量的信号源。以信号源为台式机为例，可以将台式机的显示输出设备接口通过视频线接入拼接处理器21的视频输入接口。例如，台式机的显示输出设备的接口为HDMI，拼接处理器21的视频输入接口为HDMI，则通过HDMI视频线将两者连接。应理解，本发明实施例不对信号源的视频输出接口的类型做任何限制，实际中，信号源的视频输出接口包括HDMI、DVI、VGA等。

本发明实施例的所述拼接处理器21通过网络接口接收服务器20的控制指令和目标信号源信息。

服务器20，被配置为与拼接处理器21通信连接，服务器20将所述控制指令和所述目标信号源信息发送到所述拼接处理器21的所述网络接口。服务器20可以是一台服务器、也可以是服务器集群，还可以是云服务器。

所述服务器20还被配置为与信号源通信连接，用于获取信号源的网络视频流，其中，所述网络视频流是对所述信号源的视频流编码后获得的。

图2是根据本发明一些实施例的服务器获取信号源的网络视频流的示意图。

参照图2，根据本发明一些实施例的多窗口处理系统还包括分配器220和视频编码器230。其中分配器220将信号源的视频输出接口分为多路，具体地，信号源的一路视频流输出到本地显示设备(非必须)，信号源的另一路视频流输出到拼接处理器21，信号源的再一路视频流输出到视频编码器230。

本发明实施例的视频编码器230能够将信号源的视频流编码为网络视频流。从而使得本发明实施例的服务器能够获得信号源的网络视频流。具体地，本发明实施例的网络视频流可以为H.265的网络视频流。应理解，根据实际需要也可以为其他格式的网络视频流。

本发明一些实施例的多窗口调整系统中信号源与服务器20通信连接的具体实现方式为，信号源通过视频输出接口输出视频流。将信号源输出的视频流输入分配器220，分配器220将其中一路视频流输入视频编码器230，视频编码器230对视频流编码后输出该信号源的网络视频流，并且将该网络视频流接入交换机50，服务器20接入交换机50，由此，服务器20能够获取信号源的网络视频流。

终端40，被配置为与服务器20通信连接，接收所述服务器20的所述目标信号源信息，接收与目标信号源信息对应的所述网络视频流，以执行本发明实施例的多窗口调整方法。终端例如可以包括台式机、笔记本电脑、平板电脑和手机等

本发明实施例的目标信号源是指需要在指挥屏10上显示的信号源。例如，本发明实施例实际接入的信号源包括：信号源210、信号源220、信号源230、信号源240、和信号源250。具体将哪些信号源在指挥屏10上显示由使用者发送控制指令和使用者发出的目标信号源信息确定。例如，使用者发送的控制指令和目标信号源信息为将信号源210、信号源220、信号源230、和信号源240在指挥屏10上显示，则目标信号源为信号源210、信号源220、信号源230、和信号源240。控制指令包括将上述信号源在指挥屏10上显示。目标信号源信息包括信号源的通道号。控制指令和目标信号源信息由服务器20接收。如前面所述的，服务器20将所述控制指令和所述目标信号源信息发送到所述拼接处理器21的网络接口，拼接处理器21根据接收到的控制指令和目标信号源信息将目标信号源的视频流调整后通过视频输出接口输出到所述指挥屏10。

现有技术的指挥屏10尺寸通常很大，能够显示上百路信号源的视频流。在智能交互的应用环境中，需要在终端40上同步显示指挥屏10的内容。但是，终端40通常采用通用的电子设备，其物理显示设备的尺寸有限，当终端40同时显示多路信号源时，每一路信号源对应的窗口就会非常小，不利于使用者查看。为此，本发明实施例提出一种多窗口调整方法。

在本发明实施例的多窗口调整方法中，终端40首先根据指挥屏10显示的内容生成一个总窗口，在总窗口上对各窗口进行绘制，其中每个窗口用于播放一个信号源的网络视频流；设置一个滚动条，将滚动条与总窗口关联，拖动滚动条能够获取滚动条的位置数据，根据滚动条的位置数据移动总窗口，以使得总窗口的局部被显示。在终端40上创建视口，其中视口的尺寸是依据终端40的物理显示设备的尺寸设置的(视口的尺寸不必须和物理显示设备的尺寸相同，可以小于等于物理显示设备的尺寸)。将视口与总窗口绑定，总窗口的尺寸大于视口的尺寸，将总窗口的局部在视口中显示，这样总窗口中各窗口的尺寸就不必设置的过小，由此既能够在终端40上对多路信号源进行监控，每个信号源对应的窗口又不会太小。

图3是根据本发明一些实施例的多窗口调整方法的流程图。

参照图3，本发明实施例的多窗口调整方法的流程图包括步骤100、步骤200和步骤300。

步骤100，根据指挥屏10显示的内容生成一个总窗口。

在本发明实施例中，总窗口是全部可供显示的内容。具体地，通过与指挥屏10通信连接的服务器20获取各窗口，根据所述各窗口生成所述总窗口。由于本发明实施例的终端40不直接与指挥屏10通信连接，且本发明实施例的指挥屏10显示的窗口是由服务器20控制的，由此，本发明实施例的终端40只需和服务器20通信就可以获得指挥屏10上显示的各窗口。具体地，本发明实施例的终端40通过服务器20获取各窗口后，根据各窗口生成一个总窗口。

由于物理显示设备尺寸是固定的，当总窗口上的窗口较多时，为了同时对多个窗口进行监视，每个窗口就会非常小。根据本发明一些实施例，总窗口的尺寸大于物理显示设备的尺寸。以使得当本发明实施例的窗口较多时，显示总窗口的局部，使得每个窗口能以对使用者友好的尺寸呈现在物理显示设备上。

根据本发明一些实施例，可以根据预定的长宽比生成一个总窗口。根据本发明一些实施例，上述预定的长宽比可以根据如图1所示的指挥屏10的长宽比确定。相应地，根据指挥屏的长宽比的不同，生成的总窗口可以是一个高度大于宽度的总窗口；或者，生成的总窗口是一个宽度大于高度的总窗口；或者，生成的总窗口是一个高度和宽度相等的总窗口。在本发明实施例中，高度可以表征总窗口在垂直方向的尺寸，宽度可以表征总窗口在水平方向的尺寸。

根据本发明的一些实施例，总窗口的形状不限于矩形，总窗口的形状还可以是其他形状，例如，可以是规则形状也可以是不规则形状。

步骤200，在总窗口上对各窗口进行绘制。

根据本发明一些实施例，所述在总窗口上对各窗口进行绘制包括三个子步骤，分别是步骤220、步骤221和步骤222。

步骤220，获取各窗口的窗口信息和窗口内预先关联的信号源信息。

根据本发明一些实施例，所述窗口信息包括窗口的左上顶点坐标、窗口的宽度和窗口的高度。

根据上述窗口信息可以在总窗口上确定该窗口的位置和该窗口的大小。例如，首先根据左上顶点坐标在总窗口上对该窗口定位，根据窗口的宽度和窗口的高度确定该窗口的大小。当总窗口中包括多个窗口时，窗口信息还包括窗口图层值。从而当各窗口之间存在遮挡情况时，根据窗口图层值确定各窗口的叠放次序或者遮挡情况。

在本发明实施例的多窗口调整方法中，还包括获取窗口内预先关联的信号源信息。在本发明一些实施例中，信号源信息包括信号源标识。在本发明一些实施例中，信号源信息还包括信号源地址、端口号或信号源类型。其中，本发明实施例的信号源地址可以为IP地址(Internet Protocol Address，互联网协议地址)。

步骤221，根据所述各窗口的所述窗口信息对所述各窗口的外观进行绘制。

具体地，在总窗口上根据窗口信息对各窗口的外观进行绘制。根据本发明一些实施例，各窗口的窗口信息可以通过接收用户输入的数据获得，也即，由用户指定每个窗口的窗口信息，例如，由用户指定每个窗口的左上顶点坐标、窗口的宽度和窗口的高度，再根据用户指定的窗口信息在总窗口上对每个窗口的外观进行绘制。

根据本发明一些实施例，各窗口的窗口信息也可以通过网络获得。也即，通过网络获得各窗口的窗口信息，再根据所获得的每个窗口的窗口信息在总窗口上对每个窗口的外观进行绘制。上述网络可以为局域网也可以为广域网。

根据本发明一些实施例，实时通过网络获取各窗口的窗口信息。

步骤222，根据所述各窗口的所述窗口内的信号源信息对所述各窗口内的视频流进行绘制。

步骤222包括两个子步骤，分别是步骤2221和步骤2222。

步骤2221，根据所述信号源信息获取信号源的图像帧。

具体地，在每个窗口中，根据该窗口的信号源信息获取该信号源的图像帧。

步骤2222，将所述图像帧绘制为窗口内的视频流。

具体地，将信号源的图像帧绘制为窗口内的视频流。

图4是根据本发明一些实施例的终端获取各窗口的窗口信息和窗口内预先关联的信号源信息的网络拓补结构示意图。

参照图4，服务器20接收使用者发送的控制指令和目标信号源信息。服务器20将控制指令和目标信号源信息解析为窗口的窗口信息和窗口内预先关联的信号源信息。终端40与服务器20通信连接。终端40获取服务器20中的各窗口的窗口信息和窗口内预先关联的信号源信息。当终端40需要执行步骤2221时，服务器20与视频编码器230建立通信连接，服务器20获取信号源的网络视频流，服务器20响应终端40的请求将该信号源的网络视频流以图像帧的形式发送给终端40，终端40收到该信号源的图像帧后通过绘制事件将该信号源的图像帧绘制为窗口内的视频流。

根据本发明一些实施例，步骤221对各窗口的外观进行绘制和步骤222对各窗口内的视频流进行绘制可以为实时绘制。也即，在每个更新周期内，根据窗口信息对所述各窗口的外观进行重新绘制，以及根据各窗口的所述窗口内的信号源信息对所述各窗口内的视频流进行重新绘制。

根据本发明一些实施例，步骤221对各窗口的外观进行绘制可以仅在窗口信息发生变化时对窗口外观进行重新绘制。也即，窗口位置改变时、窗口大小被调整时、窗口的图层值发生改变时对窗口外观进行重新绘制。此时，步骤222对窗口内的视频流进行的绘制仍然保持实时绘制。

步骤300，获取滚动条的位置数据，以及根据所述滚动条的位置数据移动总窗口，以使得所述总窗口的局部被显示。

根据本发明一些实施例，滚动条包括滑块。本发明实施例的滑块能够响应用户的拖动从而使得本发明实施例的滚动条的位置数据发生改变。

根据本发明一些实施例，滚动条的位置数据还可以来自语音输入、体感传感器等。

步骤300包括两个子步骤，分别是步骤310和步骤320。

步骤310，创建视口，所述视口的尺寸小于所述总窗口的尺寸。

根据本发明一些实施例，视口的尺寸可以根据物理显示设备的尺寸确定。本领域技术人员应理解，视口的创建方式可以结合开发环境确定。创建视口可以为创建一实体作为视口。本发明实施例所指的创建视口还可以为确定一显示区域为视口，而不需要创建任何实体，例如，获取物理显示设备的尺寸，将物理显示设备的全部或局部作为视口。对于将物理显示设备的局部作为视口的情况，可以设置一个小于物理显示设备的尺寸的区域作为视口。

根据本发明一些实施例，将视口与总窗口绑定(或关联)。由于视口的尺寸小于总窗口的尺寸，视口为可见区域，视口以外为不可见区域，对应地，位于视口内的总窗口的局部可见，位于视口外的总窗口的局部不可见。为了根据使用者的需要确定使用者需要特别关注的部分，本发明实施例设置滚动条，并根据使用者拖动滚动条产生的位置数据来改变视口与总窗口的相对位置，由此能够根据使用者的需要调整视口内显示的内容(也即，视口内显示的内容为总窗口的局部)，如下面步骤320所介绍的。

步骤320，根据所述滚动条的位置数据移动总窗口，以使得所述总窗口的局部在所述视口中被显示。

根据本发明一些实施例，视口位置固定不变。也即，本发明实施例的视口位于物理显示设备的固定区域。本发明实施例的滑块的移动方向可以与总窗口移动方向相反；在其他实施例中滑块的移动方向也可以与总窗口移动方向相同。也即，在本发明一些实施例中，通过拖动滑块获取滚动条的位置数据，将滚动条位置数据与总窗口的移动方向以及总窗口的位移联动。在本发明的一些实施例中，为了使总窗口的局部被显示，可以将可见区域设置为视口与总窗口重叠的部分。

根据本发明一些实施例，总窗口位置固定不变。滑块的移动方向与视口移动的方向相同；或者滑块移动的方向与视口移动方向相反。也即，在本发明一些实施例中，通过拖动滑块获取滚动条的位置数据，将滚动条位置数据与视口的移动方向以及视口的位移联动。同时将视口的移动范围限定在总窗口的边界之内，并将可见区域设置为视口与总窗口重叠的部分，也能使得总窗口的局部被显示。

根据本发明一些实施例，滑块用于控制总窗口或视口水平方向的移动。

根据本发明一些实施例，滑块用于控制总窗口或视口垂直方向的移动。

本发明实施例的视口的更新存在至少两种情况。

情况一，滚动条数据改变，则视口发生更新。也就是说，情况一的使用者拖动了滚动条上的滑块，导致滚动条数据的改变，则视口更新。

情况二，滚动条数据未改变但是各窗口发生更新时，则视口发生更新。各窗口发生更新包括窗口内信号源的更新和窗口信息的更新。也就是说，情况二的使用者没有拖动滚动条上的滑块，但是，本发明实施例的视口仍然发生更新，从而有利于使用者对需要关注的窗口的监视。

图5是根据本发明一些实施例的总窗口的示意图。

如图5所示，总窗口100是全部可供显示的内容。在总窗口100上可以创建一个或多个窗口。例如在总窗口100上创建窗口101、窗口102、窗口103和窗口104。应理解，本发明实施例的窗口不限于4个，实际中可以根据指挥屏10上显示的窗口数量，在终端40上创建对应数量的窗口。由于本发明实施例的终端40不直接与指挥屏通信连接，且本发明实施例的指挥屏显示的窗口是由服务器20操控的，由此，本发明实施例的终端40只需和服务器20通信就可以获得指挥屏上显示的窗口数量。

根据本发明一些实施例，各窗口之间可以平铺排列、可以层叠排列、可以间隔排列、以及无规律地排列。各窗口的位置以及各窗口彼此之间的位置关系可以通过上述步骤221获得，在此不再赘述。

根据本发明一些实施例，各窗口的大小可以相同，也可以完全不同。窗口的大小也可以通过上述步骤221获得，在此不再赘述。

图6a和图6b是根据本发明一些实施例的视口的示意图。

视口的尺寸小于总窗口。视口用于显示总窗口的局部。视口200呈现在物理显示设备41上。

参照图6a，图6a为视口当前显示的内容。也即，当前视口200中仅显示窗口101和窗口102。在本发明实施例中，视口显示的内容由用户指定。例如，在本发明一些实施例中，用户拖动滑块能够改变滚动条的位置数据，使得总窗口的位置改变，由此，视口显示的内容对应改变。具体操作可以参考上述步骤320，在此不再赘述。

根据本发明一些实施例，视口200的尺寸和终端40的物理显示设备的可见显示区域410不完全相同，也可以如图6b所示的仅占终端40的物理显示设备的可见显示区域410的部分。

图7是根据本发明一些实施例的滚动条的示意图。

参照图7，本发明实施例的滚动条300包括滑块301。结合图6a和图6b，根据本发明一些实施例，滚动条300可以设置在视,200的任何位置，例如，滚动条300设置在视口200的底部、上部、左部和右部，本发明对此不做限定。

用户拖动滑块301则滚动条300的位置数据对应改变。

本发明实施例中，滚动条位置数据可以设置成与总窗口的移动方向以及总窗口的位移联动；还可以将滚动条位置数据设置为与视口的移动方向以及视口的位移联动。具体操作可以参考上述步骤320，在此不再赘述。

图8是根据本发明一些实施例的滚动条的示意图。

参照图8，本发明实施例的滚动条310还可以设置为图8所示的方向，其包括滑块311。结合图4，可以通过图7所示的滚动条300控制总窗口或视口的水平方向。通过图8所示的滚动条310控制总窗口或视口的垂直方向。

图9是根据本发明一些实施例的滚动条的示意图。

参照图9，本发明实施例的滚动条320包括滑块321，其能够同时控制水平方向和垂直方向。

图10是根据本发明一些实施例的预览窗口的示意图。

本发明实施例的预览窗口包括第一预览窗口110和第二预览窗口210。

具体地，预览窗口可以由步骤400和步骤500获得。

步骤400，根据总窗口创建所述总窗口的第一预览窗口。

具体地，第一预览窗口110是图5所示的总窗口100的缩略图。

步骤500，根据所述视口创建视口的第二预览窗口。

具体地，第二预览窗口210是如图6所示的视口200的缩略图。其中，所述第二预览窗口210相对于所述第一预览窗口110跟随所述滚动条的位置数据的变化发生改变。其具体实现方法可以将第一预览窗口110的位置与总窗口100的位置联动；类似的，将第二预览窗口210的位置与视口200的位置联动。

根据本发明一些实施例，可以将图9所示的滚动条和预览窗口合并为一个控件，从而减小对空间的占用。例如，将滚动条320和第一预览窗口110合并；同时，将滑块321和第二预览窗口210合并。合并后的附图标记沿用本发明实施例的图10的附图标记。也即，拖动第二预览窗口210则滚动条的位置数据发生改变，对应地，视口的显示内容发生变化，同时，第二预览窗口210更新。

图11是根据本发明一些实施例的多窗口调整设备的示意图。

本发明实施例的多窗口调整设备包括生成装置10、绘制装置20和计算装置30。

生成装置10用于根据指挥屏10显示的内容生成一个总窗口；

绘制装置20用于总窗口上对各窗口进行绘制；以及

计算装置30用于获取滚动条的位置数据，以及根据所述滚动条的位置数据移动总窗口，以使得所述总窗口的局部被显示。

图12是本发明实施例的电子设备的示意图。

本发明实施例的多窗口调整方法可以由通用的电子设备12执行，当本发明实施例的多窗口调整方法由通用的电子设备12执行时，电子设备12包括通用的硬件结构，其至少包括处理器121和存储器122。处理器121和存储器122通过总线123连接。存储器122适于存储处理器121可执行的多窗口调整方法的指令或程序。处理器121可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器121通过执行存储器122所存储的多窗口调整方法的指令，从而执行如本发明实施例的多窗口方法以实现对于窗口的处理和对于物理显示控制设备(例如，显示控制器124)的控制。总线123将上述多个组件连接在一起，同时将上述组件连接到显示控制器124和IO控制器126。IO装置125可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，IO装置125通过IO控制器126与系统相连。

本领域的技术人员应明白，本申请的实施例可提供多窗口调整方法、装置(设备)或计算机程序产品。因此，本申请的多窗口调整可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)以实施多窗口调整方法。

本申请是参照根据本申请实施例的多窗口调整方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。

本发明实施例的电子设备可以包括通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器，通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器可以执行本发明实施例的多窗口调整方法。

本发明的另一实施例涉及一种非易失性可读存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部方法的实施例。

即，本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤是可以通过程序来指定相关的硬件来完成，该程序存储在一个可读存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。