输入装置及用输入装置控制演示系统及其所示标记的方法

文档序号:1741604 发布日期:2019-11-26 浏览:22次 >En<

阅读说明:本技术 输入装置及用输入装置控制演示系统及其所示标记的方法 (Input unit and the method for controlling demo system and its shown label with input unit ) 是由 让-克里斯托佩·黑梅斯 帕特里克·萨拉明 克里斯·马斯林 奥利维耶·泰塔斯 于 2019-05-20 设计创作,主要内容包括:本公开涉及输入装置及用输入装置控制演示系统及其所示标记的方法。描述了一种用于控制由演示系统示出的标记的输入装置,该输入装置包括:装置壳体;无线通信部件,其被配置成在输入装置与演示系统之间建立无线通信信道;惯性传感器,其被配置成监测输入装置相对于由正交的第一轴、第二轴和第三轴限定的惯性参考系的旋转;以及处理器,其被配置成当输入装置围绕第一轴的旋转超过阈值时生成用于由无线通信部件传输至演示系统以调整标记的属性的信号,其中阈值基于检测到的相对于第二轴和第三轴的旋转量而变化。(This disclosure relates to input unit and the method for controlling demo system and its shown label with input unit.Describe a kind of for controlling by the input unit of the label shown in demo system, which includes: device housing;Wireless communication unit is configured to establish radio communication channel between input unit and demo system;Inertial sensor is configured to monitor rotation of the input unit relative to the inertial reference system by orthogonal first axle, the second axis and third axis limit;And processor, it is configured to the generating for being transmitted to demo system by wireless communication unit to adjust the signal of the attribute of label when rotating more than threshold value around first axle when input unit, and wherein threshold value is changed based on what is detected relative to the rotation amount of the second axis and third axis.)

输入装置及用输入装置控制演示系统及其所示标记的方法

相关申请的交叉引用

本申请是非临时申请,并要求于2016年12月22日提交的美国非临时申请第15/389,232号的权益和优先权,该申请要求于2016年12月16日提交的题为“HAND-HELD INPUTDEVICE”的美国临时申请第62/435,378号的优先权,其全部内容通过引用合并于此以用于所有目的。

技术领域

本公开内容的各方面大体上涉及输入装置,尤其涉及用于控制演示的各方面的手持输入装置。

背景技术

几十年来,基于幻灯片的演示一直是办公场所的主要支柱。技术已经从早期的旋转式幻灯片投影仪和单页透明投影仪演变为使用当代软件如等的现代数字演示。

直到最近,大多数演示需要人保持束缚于操作演示软件的台式计算机或膝上型计算机,以利用输入装置(例如,计算机鼠标、触摸板、箭头键等)手动控制演示的流程(例如,向前、暂停或返回到前一幻灯片)。这可能会对好的演示的质量和动态性产生不利影响,因为演示者无法到处走动和与观众充分互动。即使在第二人操作软件并且演示者可以自由地在房间内走动的情况下,经常不得不提醒操作者改变幻灯片可能会扼杀连续性并且可能使观看者分心。

较新的开发包括多功能演示装置(例如,手持输入装置),其可以使得演示者能够执行简单功能诸如幻灯片前进、激光指向和长范围。然而,这些装置中的许多装置具有非直观或混乱的接口、繁琐的按钮布置、复杂的编程协议或兼容性问题。需要更好的手持输入装置。

发明内容

在一些实施方式中,一种计算机实现的方法包括:检测正在主计算装置的显示器上显示的第一窗口;检测第一窗口上的图形内容;在主计算装置的显示器上生成第二窗口(覆盖层),其中覆盖层被配置在第一窗口上方的窗口层上;以及基于检测到的第一窗口的图形内容来改变覆盖层的图形质量。覆盖层的图形质量可以包括覆盖层的形状、大小、颜色、透明度或不透明度中的至少之一。该方法还可以包括:接收与光标在第一窗口上的移动相对应的输入数据;将光标周围的区域的透明度设置为第一透明度;以及将覆盖层的其余部分的透明度设置为第二透明度,使得光标周围的区域看起来突出显示第一窗口上的图形内容的相应区域。

在某些实施方式中,该方法还可以包括:确定与第一窗口上的图形内容相关联的颜色;基于确定的颜色确定对比色;以及将光标周围的区域的至少一部分的颜色设置为确定的对比色。替选地或另外地,该方法可以包括:接收与光标在第一窗口上的移动相对应的输入数据;限定光标周围的区域;确定与光标周围的限定区域内的图形内容相关联的一种或更多种颜色;确定与光标周围的限定区域外的图形内容相关联的一种或更多种颜色;确定和光标周围的限定区域内的图形内容相关联的一种或更多种颜色与和光标周围的限定区域外的图形内容相关联的一种或更多种颜色之间的差异相关联的可见性因子;以及基于确定的可见性因子设置光标周围的限定区域内的区域的颜色。

在一些实现方式中,该方法可以包括:检测图形内容中的可选元素;确定可选元素的形状;将可选元素周围的区域的透明度设置为第一透明度;以及将覆盖层的其余部分的透明度设置为第二透明度,使得可选元素周围的区域看起来被突出显示。在一些情况下,可选元素可以是第一可选元素,并且该方法还可以包括:检测图形内容中的第二可选元素;接收与光标在第一窗口上的移动相对应的输入数据;以及基于光标的移动选择第一可选元素或第二可选元素之一,其中将对透明度的设置应用于所选择的第一可选元素或第二可选元素。替选地或另外地,可选元素可以是第一可选元素,并且该方法还可以包括:检测图形内容中的第二可选元素;确定第一可选元素和第二可选元素的位置;接收与光标在第一窗口上的移动相对应的输入数据;确定光标与第一可选元素和第二可选元素之间的距离;以及基于第一可选元素和第二可选元素与光标的相应距离选择第一可选元素或第二可选元素之一。

在某些实施方式中,该方法可以包括:检测图形内容中的可选元素;检测包含在可选元素内的子元素;确定子元素的形状;将覆盖层上子元素周围的区域的透明度设置为第一透明度;以及将覆盖层的其余部分的透明度设置为第二透明度,使得子元素周围的区域看起来被突出显示。该方法还可以包括:确定可选元素的形状;从输入装置接收输入数据;以及基于来自输入装置的所接收的输入数据在突出显示可选元素与子元素之间切换,其中当可选元素被突出显示时,该方法可以包括将覆盖层上可选元素周围的区域的透明度设置为第一透明度,并将覆盖层的其余部分的透明度设置为第二透明度,使得可选元素周围的区域看起来被突出显示。

在一些实施方式中,子元素可以是第一子元素,并且该方法还可以包括:检测可选元素的第二子元素;接收与光标在第一窗口上的移动相对应的输入数据;以及基于光标的移动选择第一子元素或第二子元素之一,其中将对透明度的设置应用于所选择的第一子元素或第二子元素。替选地或另外地,该方法可以包括检测可选元素的第二子元素;从输入装置接收输入数据;以及基于来自输入装置的输入数据在第一子元素或第二子元素之间切换,其中将对透明度的设置应用于所选择的第一子元素或第二子元素。

在某些实施方式中,一种用于与移动输入装置建立无线连接的计算机实现的系统包括:一个或更多个处理器和一个或更多个非暂态计算机可读存储介质,该一个或更多个非暂态计算机可读存储介质包含被配置成使一个或更多个处理器执行以下操作的指令,操作包括:检测正在主计算装置的显示器上显示的第一窗口;检测第一窗口上的图形内容;在主计算装置的显示器上生成第二窗口(覆盖层),其中覆盖层被配置在第一窗口上方的窗口层上;以及基于检测到的第一窗口的图形内容改变覆盖层的图形质量。覆盖层的图形质量可以包括覆盖层的形状、大小、颜色、透明度或不透明度中的至少之一。替选地或另外地,一个或更多个非暂态计算机可读存储介质还包含被配置成使一个或更多个处理器执行以下操作的指令,操作包括:接收与光标在第一窗口上的移动相对应的输入数据;将光标周围的区域的透明度设置为第一透明度;以及将覆盖层的其余部分的透明度设置为第二透明度,使得光标周围的区域看起来突出显示第一窗口上的图形内容的对应区域。指令还可以被配置成使一个或更多个处理器执行以下操作,操作包括:检测图形内容中的可选元素;确定可选元素的形状;将可选元素周围的区域的透明度设置为第一透明度;以及将覆盖层的其余部分的透明度设置为第二透明度,使得可选元素周围的区域看起来被突出显示。

在另外的实施方式中,一种有形地实施在机器可读的非暂态存储介质中的非暂态计算机程序产品,可以包括被配置成使一个或更多个处理器进行以下操作的指令:检测正在主计算装置的显示器上显示的第一窗口;检测第一窗口上的图形内容;在主计算装置的显示器上生成第二窗口(覆盖层),其中覆盖层被配置在第一窗口上方的窗口层上;以及基于检测到的第一窗口的图形内容改变覆盖层的图形质量。覆盖层的图形质量可以包括覆盖层的形状、大小、颜色、透明度或不透明度中的至少之一。指令还可以被配置成使一个或更多个处理器执行以下操作:接收与光标在第一窗口上的移动相对应的输入数据;将光标周围的区域的透明度设置为第一透明度;以及将覆盖层的其余部分的透明度设置为第二透明度,使得光标周围的区域看起来突出显示第一窗口上的图形内容的对应区域。替选地或另外地,指令还可以被配置成使一个或更多个处理器进行以下操作:检测图形内容中的可选元素;确定可选元素的形状;将可选元素周围的区域的透明度设置为第一透明度;以及将覆盖层的其余部分的透明度设置为第二透明度,使得可选元素周围的区域看起来被突出显示。

在一些实施方式中,一种输入装置可以包括以下:无线通信部件,其被配置成在输入装置与用于控制视觉演示的演示系统之间建立无线通信信道;惯性传感器,其被配置成监测输入装置相对于由正交的第一轴、第二轴和第三轴限定的惯性参考系的旋转;处理器,其被配置成响应于输入装置围绕第一轴的旋转超过阈值而生成第一信号,该第一信号用于由无线通信部件传输至演示系统以调整由输入装置控制的显示标记的视觉属性,阈值基于检测到的相对于第二轴或第三轴的旋转量而变化,并且处理器还被配置成当未超过阈值时生成第二信号,该第二信号用于由无线通信部件传输至用于控制视觉演示的演示系统,以根据围绕第二轴和第三轴的旋转调整显示标记的位置;以及装置壳体,其包围无线通信部件、惯性传感器和处理器。

在另外的实施方式中,一种用于使用输入装置控制由演示系统示出的标记的方法,该方法包括:在输入装置与演示系统之间建立无线通信信道;在输入装置的用户控件处接收用户输入;向演示系统发送第一控制信号以改变标记的大小;继续在用户控件处接收用户输入;以及响应于达到用户输入的阈值而向演示系统发送第二控制信号以改变正在显示的标记的类型。

在一些实施方式中,一种用于利用输入装置控制演示系统的方法,包括:在输入装置与演示系统之间建立无线通信信道;响应于输入装置的旋转,跨演示系统的显示器调动包括演示系统的显示器的突出显示区域的标记;以及响应于在用户控件处接收到输入而使显示器上标记的位置冻结,使得输入装置的旋转不再跨显示器调动标记。

附图说明

参照附图阐述详细描述。

图1A至图1D示出了移动手持输入装置的不同实施方式的视图。

图2示出了根据某些实施方式的被配置用于与多个主装置进行多连接的移动手持输入装置。

图3是示出根据某些实施方式的与移动输入装置建立无线连接的方法的各方面的简化流程图。

图4是示出根据某些实施方式的用于操作具有省电特征的移动手持输入装置的方法的各方面的流程图。

图5示出了根据某些实施方式的不中断显示器的各方面。

图6示出了根据某些实施方式的配置显示器上显示窗口的层级的方面。

图7是示出根据某些实施方式的配置计算装置上显示窗口的层级的方法的各方面的简化流程图。

图8A示出了根据某些实施方式的演示应用中的突出显示功能的各方面。

图8B示出了根据某些实施方式的演示应用中的缩放功能的各方面。

图9A示出了根据某些实施方式的基于显示器的内容的输入装置的自动配置。

图9B示出了根据某些实施方式的基于显示器的内容的输入装置的自动配置。

图10是示出根据某些实施方式的用于基于显示器的内容自动配置输入装置的方法的各方面的简化流程图。

图11是示出根据某些实施方式的用于基于显示器上的内容修改突出显示功能的方法的各方面的简化流程图。

图12是示出根据某些实施方式的用于基于显示器上的内容修改突出显示功能的颜色的方法的各方面的简化流程图。

图13A示出了根据某些实施方式的演示应用中的突出显示功能的各方面。

图13B示出了根据某些实施方式的检测和突出显示显示器上的可选元素的各方面。

图13C示出了根据某些实施方式的检测和突出显示显示器上的可选元素的各方面。

图14示出了根据某些实施方式的检测和突出显示显示器上的子元素的各方面。

图15A示出了根据某些实施方式的确定要在显示器上突出显示的可选元素的各方面。

图15B示出了根据某些实施方式的确定要在显示器上突出显示的可选元素的各方面。

图16A示出了可以使输入装置100围绕其旋转的轴。

图16B示出了与输入装置一起使用的示例性控制方案。

图17A示出了描述用于通过测量输入装置的旋转来调整与聚光灯标记相关联的参数的方法的框图。

图17B至图17D示出了输入装置可以围绕输入装置的纵轴旋转的方式。

图18A至图18D示出了在将聚光灯标记原地冻结之后可以操纵聚光灯标记的各种方式。

图19示出了根据某些实施方式的用于操作主计算装置的系统。

图20示出了根据某些实施方式的用于操作输入装置的系统。

具体实施方式

本公开内容的各方面大体上涉及输入装置,尤其涉及根据某些实施方式用于控制演示的各方面的手持输入装置。

在以下描述中,将描述手持输入装置的各种实施方式。出于解释的目的,阐述了特定配置和细节以便提供对实施方式的透彻理解。然而,对于本领域技术人员来说将明显的是,可以在没有公开的每个细节的情况下实践或实现某些实施方式。此外,可以省略或简化众所周知的特征,以防止对本文描述的新颖特征的任何混淆。

本发明的一些方面包括用于识别显示器上的图形内容并使用输入装置突出显示图形内容的各方面的方法。例如,用户可以使用演示软件(例如,)和演示装置(例如,“点击器”)来进行演讲。不必安装驱动器软件来访问正在使用的每种类型的应用,本发明的各方面可以在没有另外的软件、驱动器或其他可能繁琐或因其他方式不可用的输入装置配置的情况下经由图像处理确定显示器上图形内容的各方面并且突出显示各种对象(例如,可选元素、子元素等),以实现高度自适应的即插即用装置体验,以使得用户能够在没有任何专门的软件设置的情况下快速可靠地执行突出显示和放大功能(以及其他特征)。在一些实施方式中,实现这些特征的方法可以包括:检测主计算装置的显示器上正显示的第一窗口,检测第一窗口上的图形内容,在主计算装置的显示器上生成第二窗口(覆层(overlay)),其中覆层被配置在第一窗口上方的窗口层上,并且基于检测到的第一窗口的图形内容改变覆层的图形质量。覆层的图形质量可以包括覆层的形状、大小、颜色、透明度或不透明度中的至少之一。该方法还可以包括:接收与光标在第一窗口上的移动相对应的输入数据,将光标周围的区域的透明度设置为第一透明度,以及将覆层的其余部分的透明度设置为第二透明度,使得光标周围的区域看起来突出显示第一窗口上图形内容的相应区域。

图1A示出了根据某些实施方式的移动手持输入装置100。移动手持输入装置(“输入装置”)100可以包括壳体110、输入接口120和接收器130。壳体110在顶视平面图中被示为具有椭圆形截面和圆角矩形形状以促使形成符合人体工程学的可以由用户的手舒适地握持、操纵和接口的输入装置。如本领域普通技术人员将理解的,壳体110可以由任何合适的材料形成,包括金属(例如,铝、不锈钢、合金等)、塑料、橡胶或混合材料。壳体110还可以包括改善使用者对输入装置100的抓握的防滑特征,例如防滑部分140,其可以由任何合适的防滑材料(例如,橡胶、塑料、滚花金属等)构成。输入装置100还可以以任何形状因子(例如,形状、大小等)实现,包括可穿戴装置(例如,智能手表、眼镜等)、智能电话或其他优选的移动装置。在一些实施方式中,输入装置100可以由图17的系统1700操作。

输入接口120可以包括任何合适的用户接口,包括但不限于一个或更多个按钮、触摸件和/或运动传感器、用户控件(例如,操纵杆、指点杆、轨迹球等)、促成语音识别和命令识别的麦克风等。本领域普通技术人员将理解其许多变化、修改和替选实施方式。

参照图1A,根据某些实施方式,输入接口120可以包括上部按钮122、中心按钮124和下部按钮126。按钮122至126的布置可以是有利的,因为其可以提供无误的导航和控制。例如,中心按钮124大于上部按钮122和下部按钮126,从而允许用户在不需要视觉确认的情况下容易地确定哪个按钮正被接口。在某些情况下,按钮的表面可以被修改为具有不同的表面形状(例如,凸面、凹面)、不同的材料(例如,橡胶、塑料、金属等)、不同的表面类型(例如,光滑、粗糙、图案化的)等。每个按钮可以是用户可编程的(或保持出厂默认设置)以包括任何数量的功能,其可以是固定的(例如,保持设置直到被重新编程)或是可配置的以基于上下文使用动态地改变。例如,按钮可以被动态地和自动地编程以在演示软件中的特定幻灯片包括嵌入的音频或视频链接时生成播放/暂停命令。在另一情况下,一个或更多个按钮可以被自动配置成在电子表格应用运行时控制滚动,或者在幻灯片上包括某些字体大小(例如,小于10磅)时提供放大特征。本领域普通技术人员将理解其许多变化、修改和替选实施方式。

在某些实施方式中,上部按钮122可以被配置成光标按钮,使得点击可以用作鼠标左键点击,并且按压和保持可以控制相应显示器上的光标移动或突出显示功能。中心按钮124可以被配置成用作“下一个”按钮,使得点击生成“下一幻灯片”命令并且按压和保持可以执行突出显示功能,或者替选地,音量控制、滚动、平移、自定义击键或其他合适的功能。下部按钮126可以被配置成用作“后退”按钮,使得点击生成“前一幻灯片”命令并且按压和保持可以执行聚焦屏幕功能,或者替选地,音量控制、滚动、平移、自定义击键或其他适合的功能。在一些实施方式中,中心按钮124可以用作“左击”按钮,双击中心按钮124可以切换到突出显示模式,以及按压/保持中心按钮124可以移动光标或实现突出显示功能,如下面进一步讨论的。在一些实现方式中,上部按钮122可以被配置成响应于单次单击而生成下一幻灯片命令,或者响应于按压和保持命令而“快进”通过幻灯片并且可以被重新编程以使屏幕空白,执行音量、滚动和/或平移控制,或生成自定义击键。在一些实施方式中,下部按钮126可以被配置成响应于单次点击而执行“前一幻灯片”命令,或者响应于按压和保持命令而“快退”通过,使屏幕空白,执行音量、滚动和/或平移控制,或生成自定义击键。本领域普通技术人员将理解其许多变化、修改和替选实施方式。

在一些实施方式中,输入装置的移动可以被配置成控制显示器上的某些特征。可以使用一个或更多个加速度计、陀螺仪或其他惯性测量单元在三维(例如,笛卡尔坐标系中的x、y、z维度)中跟踪输入装置移动。在一些情况下,向上/向下(例如,z方向)移动可以***体播放器的音量、滚动文档、调整图像的对比度或亮度等。替选地或另外地,左右(例如,x方向)移动可以***体回放点或操作模式(例如,音频/静音、进入/退出文档(例如,浏览嵌入的电子表格)、单声道播放/立体声播放等)之间的循环。本领域普通技术人员将理解利用输入装置的三维(3D)移动来控制显示器上的内容的实施方式的许多变型、修改和替选实施方式。

接收器130可以是可以通信地耦接至输入装置100的无线收发器。接收器130可以实现输入装置100与主计算装置(未示出)之间的双向通信,主计算装置例如台式计算机、膝上型计算机、平板计算机等。在一些实施方式中,接收器130可以是具有以2.4GHz操作的无线通信协议的加密狗。替选地或另外地,接收器130可以以其他频率操作,如本领域普通技术人员将理解的。接收器130可以被配置成装配在壳体110内的腔内,如图1A所示,并且可以包括带132、本体134和***部136。带132耦接至接收器本体134并且可以当接收器130完全***腔中时从壳体110突出,以提供从腔中取出接收器130的方法。***部136被示为通用串行总线(USB)-C类型接口以耦接至主计算装置的端口,然而可以使用任何合适类型的接口(例如,并行/串行、火线(FireWire)等)。

图1B示出了根据截面线A-A的输入接口120的截面侧视图。在一些实施方式中,输入接口120可以包括圆顶开关142,用于向致动按钮122、124和126中之一的用户提供清晰的机械反馈。虽然中心按钮124也包括圆顶开关142,但是在一些实施方式中,包括允许中心按钮124的另外的功能的机构也可以是有益的。例如,可以与圆顶开关142平行地添加弹簧构件144,以在用户按下中心按钮124足够远以与圆顶开关142接触之后提供明显更硬的响应力。圆顶开关142的顶表面可以包括电接触部146,该电接触部被配置成在中心按钮124与电接触部146之间接触时生成电信号。以这种方式,中心按钮124可以包括在按钮124与电接触部146之间的接触之后的第一输入和然后一旦圆顶开关142被完全致动的第二输入。在所示的配置中,按钮122和126具有通过压缩相关联的圆顶开关142访问的可用单个输入;然而,按钮122和126也可以配备有类似于中心按钮124的多输入开关。按钮122、124和126也可以包括其他致动机构。例如,按钮124可以包括压力传感器,该压力传感器能够在阈值量的压力施加到按钮124时向用户提供触觉反馈。当足够量的力已被接收到而有资格作为特定类型的输入时,触觉反馈警告用户。压力传感器输入还允许具有模拟类型输入的按钮,从而允许甚至更大范围的输入。以这种方式,按钮124可以接收两种或更多种不同的输入类型,从而允许来自单个按钮的输入数量的显著增加。在一些实施方式中,按钮122和126也可以包括按钮124的按钮配置,以向输入装置100的用户提供另外的输入选项。在一些实施方式中,按钮122至126可以是用户可编程的,从而使得能够将不同的功能分配给不同的按钮和输入类型。

图1C示出了根据截面线A-A的示出支承输入接口120的替选结构的截面侧视图。在一些实施方式中,输入接口120可以包括圆顶开关142,用于向致动按钮122、124和126中之一的用户提供清晰的机械反馈。虽然上部按钮122也包括圆顶开关142,但是在一些实施方式中,包括允许上部按钮122的另外的功能的机构也可以是有益的。例如,可以与圆顶开关142平行地添加弹簧构件144,以在用户按下上部按钮122足够远以与圆顶开关142接合之后提供明显更硬的响应力。圆顶开关142的顶表面可以包括电接触部146,该电接触部被配置成在上部按钮122与电接触部146之间接触时生成电信号。以这种方式,上部按钮122可以包括在上部按钮122与电接触部146之间的接触之后的第一输入和然后一旦圆顶开关142被完全致动的第二输入。在所示的配置中,按钮122和126具有通过压缩相关联的圆顶开关142访问的可用单个输入;然而,按钮122和126也可以配备有类似于中心按钮124的多输入开关。按钮122、124和126也可以包括其他致动机构。例如,上部按钮122可以包括压力传感器,该压力传感器能够在阈值量的压力施加到按钮124时向用户提供触觉反馈。当足够量的力已被接收到而有资格作为特定类型的输入时,触觉反馈警告用户。压力传感器输入还允许具有模拟类型输入的按钮,从而允许甚至更大范围的输入。以这种方式,按钮124可以接收两种或更多种不同的输入类型,从而允许来自单个按钮的输入数量的显著增加。

图1D示出了根据截面线A-A的支承输入接口120的其他替选结构的截面侧视图。特别地,中心按钮124和下部按钮126都包括如上所述的用于检测多种不同类型的输入的机构。上部按钮122也可以包括由按钮124和126使用的相同类型的机构,或者可以替代地包括如图所示的密封构件148,密封构件隔离上部按钮122下方的空气体积。以这种方式,当按下上部按钮122时,可以通过设置在空气体积内的压力传感器监测产生的空气体积内的压力增加,以提供根据压力的变化的数字或模拟反馈。例如,上部按钮122与电接触部146之间的接触可以生成第一信号,并且由密封件限定的空气体积内的压力传感器可以生成第二信号。第二信号可以在达到阈值压力时生成,或者可以基于当前压力测量如何而改变。在一些实施方式中,仅当上部按钮122与电接触部146接触时才可以生成第二信号。

多连接

在一些实施方式中,移动手持输入装置可以被配置成与具有任何合适的操作系统和无线通信协议的任何类型的主计算装置耦接,如下面进一步讨论的。在一些情况下,可以建立通信连接层级,其中,当可以连接到第一装置时,相比于第二主计算装置(例如,使用BLE或其他标准通信协议),输入装置将选择连接到第一主计算装置(例如,使用接收器130(例如,加密狗)作为无线通信协议)。当第一主计算装置未被检测到或不可用时,输入装置可通信地连接到第二主计算装置。在一些实施方式中,当输入装置连接到第二主计算装置时,一旦输入装置检测到第一主计算装置可用于连接,则输入装置将自动将其通信连接从第二主计算装置切换到第一主计算装置。这些连接层级概念的各方面在下面例如参照图2至图4来呈现。应当理解,尽管在本公开内容的许多实施方式中讨论了两个装置,但是输入装置可以被配置成以任何合适的连接层级方案连接到三个或更多个主计算机(例如,相比于第二主计算机或无线连接类型,自动选择第一主计算机或无线连接类型,以及相比于第三主计算机或无线连接类型,选择第二主计算机或无线连接类型等)。本领域普通技术人员将理解其许多变化、修改和替选实施方式。

图2示出了根据某些实施方式的具有多连接能力的移动手持输入装置200。输入装置200能够通信地耦接到接收器230(耦接到主计算机210)或主计算装置220、240或250中的任何一个。接收器230可以是以2.4GHz或其他合适频率操作的无线收发器。主计算装置210、220、240和250分别被示为基于PC的膝上型计算机、台式计算机、平板计算机和基于Mac的膝上型计算机,但是可以是可以另外包括上网本、智能手机、智能可穿戴设备(例如,智能手表、眼镜)等的任何合适的计算装置。主计算装置210、220、240和250可以操作任何合适的操作系统,包括但不限于等。每个主装置可以操作任何合适的无线通信协议,包括但不限于BLE、 Wi-Fi(IEEE 802.11)、Thread、协议等,如本领域的普通技术人员将理解的。参照图2,主计算装置210使用专有的2.4GHz无线通信协议,并且主计算装置220、240和250使用BLE(以2.4GHz操作)。

在一些实施方式中,输入装置200可以具有两个或更多个无线通信信道。在先前的示例中,单个信道可以基于偏好层级在主计算装置和相应的无线通信协议之间切换(下面在图3至图4中进一步讨论)。替选地或另外地,可以使用另外的信道来保持通信地耦接到一个或更多个另外的装置。在这种情况下,输入装置功能(例如,光标移动、按钮控制等)可以限于一次单个主计算装置。同时多主机连接的一个优点是能够非常快速地(例如,10ms或更短)在主计算装置之间切换,因为输入装置200不必花费任何时间或资源来重新建立与目标主计算装置的无线连接。

在一些实现方式中,上述连接层级可以是用户可编程的。例如,出厂默认设置可以优先考虑接收器230作为建立无线连接的首要选择,然后是BLE或其他合适的无线通信协议。用户可以选择切换为相比于接收器230优先考虑BLE,或者相比于接收器230和BLE二者优先考虑另一通信协议。本领域的普通技术人员将理解其许多变化、修改和替选实施方式。

替选地或另外地,可以通过输入装置200的移动和/或定向来启动主计算机之间的切换。输入装置200可以包括一个或更多个加速度计、陀螺仪或其他合适的基于惯性测量单元(IMU)的系统来检测所述移动和/或定向,如下面参照图10所示和所述。在一些实施方式中,将输入装置200指向主计算装置的方向使得输入装置200切换到正被指向的该特定主计算装置。在这种情况下,可以基于相应的无线通信协议的特性(例如,信号强度)来确定每个主计算装置的位置。在一些情况下,用户可以通过将输入装置200定向到主计算装置并且将定向数据(例如,输入装置200面向的方向)与每个特定主计算装置相关联来手动设置每个主计算装置的位置。然后,用户可以将输入装置200指向目标主计算装置并启动切换(例如,结合特定按钮按压)。替选地,可以如美国专利申请第15/226,770号中所述建立主计算装置之间的“流动”类型配置(例如,在不同主计算机上操作的两个演示之间切换)。本领域的普通技术人员将理解其许多变化、修改和替选实施方式。

图3是示出根据某些实施方式的用于与移动输入装置建立无线连接的方法300的各方面的简化流程图。方法300(以及方法400、700和1000至1200)可以由处理逻辑执行,该处理逻辑可以包括硬件(电路、专用逻辑等)、在合适的硬件上操作的软件(例如通用计算系统或专用机器)、固件(嵌入式软件)或其任何组合。在某些实施方式中,方法300可以由系统1700的处理器1710执行,如下面关于图17所示和所述。

在步骤310,方法300可以包括搜索具有活动且可用的第一无线通信协议的接收器230。接收器230可以耦接到任何合适的主计算装置,包括台式计算机、膝上型计算机、平板计算机、智能电话、智能可穿戴设备等中的任何一个,如上面进一步描述的。在一些实施方式中,接收器230可以是以2.4GHz或其他合适频率操作的加密狗。步骤310还可以包括确定接收器230是否可用于连接。在一些情况下,接收器230可以与不同的输入装置配对,使得接收器230不可用于与输入装置200连接。

当检测到接收器230时(步骤320),方法300可以包括将输入装置200自动连接到接收器230(步骤330)。当未检测到接收器230时(步骤320),方法300可以包括搜索具有活动且可用的第二无线通信协议的主计算机(步骤340)。在一些情况下,输入装置200可以继续连续地或周期性地搜索接收器230(例如,每100毫秒、1秒、10秒或任何合适的时间量检查接收器230可用性)。替选地或另外地,输入装置200可以在每当输入装置200接收到用户输入时搜索接收器230可用性。例如,每当用户按压按钮(例如,顶部按钮122)或其子集(例如,每10个用户输入)。在一些情况下,第一无线通信协议可以与第二无线通信协议不同。如本领域的普通技术人员将理解的,第二无线通信协议可以是BLE、Wi-Fi(IEEE 802.11)、Thread等中的任何一种。

在步骤350,方法300可以包括当未检测到接收器230(或不可用于连接)时,将输入装置200连接到具有第二无线通信协议的主计算机。在步骤360,方法300可以包括在输入装置200连接到具有第二无线通信协议的主计算机时继续搜索接收器230可用性。在步骤370,当接收器230保持未被检测到和/或不可用于连接时,方法300可以包括在输入装置200连接到具有第二无线通信协议的主计算机时继续搜索接收器230可用性(步骤360)。在步骤370,当检测到接收器230并且接收器可用于连接时,方法300可以包括自动将输入装置200的无线连接从具有第二无线通信协议的主计算机切换到接收器230(步骤330)。

应当理解,图3中所示的具体步骤提供了根据某些实施方式的用于与移动输入装置建立无线连接的特定方法300。根据替选实施方式,也可以执行其他步骤序列。例如,替选实施方式可以以不同的顺序执行上面概述的步骤。此外,图3中所示的各个步骤可以包括多个子步骤,这些子步骤可以以适合于各个步骤的各种顺序执行。

此外,取决于特定应用,可以添加或移除附加步骤。例如,一些实施方式可以包括接收输入以将输入装置200通电,响应于接收到用户输入而将输入装置200的操作模式从低功率睡眠模式切换到活动模式,以及响应于确定(1)未检测到接收器和第二类型的无线通信协议、(2)在阈值时间内(例如,1分钟、5分钟、30分钟或任何合适的时间范围)没有在移动输入装置上接收到输入、(3)与接收器的连接丢失并且未检测到第二类型的无线通信协议、或(4)与第二类型的无线通信协议的连接丢失并且未检测到接收器而将操作模式从活动模式切换到低功率模式。在另一示例中,方法300还可以包括当移动输入装置的操作模式是低功率睡眠模式时,在移动输入装置上接收用户输入,其中用户输入对应于一个或更多个人机接口装置(HID),以及响应于当移动输入装置处于睡眠模式时接收到用户输入,将操作模式从睡眠模式切换到活动模式,并生成一个或更多个相应的HID命令。

在另外的实施方式中,方法300可以包括当移动输入装置与接收器或具有第二无线通信协议的主计算机连接时在移动输入装置上提供触觉反馈。当移动输入装置与接收器230连接时,触觉反馈可以是第一类型的触觉反馈(例如,第一脉冲模式和/或频率),以及当输入装置200与具有第二无线通信协议的主计算机连接时,触觉反馈可以是第二类型的触觉反馈(例如,第一脉冲模式和/或频率)。本领域的普通技术人员将认识并理解方法300的许多变化、修改和替选方案。

图4示出了根据某些实施方式的示出用于操作具有省电特征的移动手持输入装置的方法400的各方面的流程图。在一些实施方式中,方法400可以由系统1700的处理器1710执行,如下面参照图17所示和所述的。

在步骤410,输入装置200可以处于睡眠操作模式。睡眠模式可以是低功率操作状态,其使用比输入装置200处于正常操作模式时更少的功率。在睡眠模式下,可以将一个或更多个模块、功能、电路等关闭或置于低功率状态下。在步骤420,响应于在输入装置200上接收到输入信号(例如,按钮按压、触摸传感器输入等),输入装置200切换到正常操作模式(例如,所有模块、功能和电路返回到正常操作状态)或“开启模式”。

在一些实施方式中,用户输入(例如,按钮按压)可以保存在存储缓冲器中并在输入装置200建立连接之后发送到主计算装置。例如,用户输入(例如,针对幻灯片演示应用中的“下一幻灯片”功能的按钮按压)可以执行两个功能:操作以将输入装置200从睡眠模式返回到正常操作模式,以及以按钮单击执行预期功能(例如,发出“下一张幻灯片”命令)。

在步骤425,响应于在第三阈值超时时段期间接收到用户输入的特定组合(例如,同时保持两个或更多个按钮达1秒或更长时间),或者当没有已知的接收器与输入装置200相关联时(步骤440),输入装置200可以在第一阈值超时时段期间尝试通信地连接到新的接收器230(即,先前未知或未连接到的),然后在第二阈值超时时段期间进行BLE广告。在该示例中,BLE是次级无线通信协议,但是可以使用任何合适的通信协议(例如,Wi-Fi(IEEE 802.11)、Thread、协议等)。在一些实施方式中,第一阈值时间可以是1秒,第二阈值时间可以是3分钟,但是可以使用其他时间间隔,如本领域的普通技术人员将理解的。可以从睡眠模式(步骤410)和“开启模式”(步骤420)达到步骤425。当在阈值超时时段(例如,3分钟)期间不可以从新接收器或从BLE获得连接时,输入装置200可以返回到睡眠模式(步骤410)。

在步骤430,输入装置200尝试连接(例如,发送连接请求)到已知的预配对接收器。如果预配对接收器可用,则输入装置200与其建立通信连接(步骤450)。一旦连接,如果与接收器的连接随后丢失或超出范围,则在将输入装置200返回到睡眠模式(步骤410)之前,可以在一段时间(例如,1秒)期间发生重新连接尝试。替选地或另外地,如果在一段时间(例如,30分钟)期间没有接收到用户输入(例如,点击按钮),则输入装置200可以返回到睡眠模式(步骤410)。如果在丢失与接收器230的连接之后在输入装置200上接收到用户输入,则如果可用的话,可以以BLE(或其他合适的通信协议)重置输入装置200。

在步骤450,响应于接收到用户输入的特定组合(例如,同时保持两个或更多个按钮达1秒或更长时间),输入装置200可以在第一阈值超时时段期间尝试通信地连接到新的接收器230(即,先前未知或未连接的),然后在第二阈值超时时段期间进行BLE广告(步骤470)。当在阈值超时时段(例如,3分钟)期间不可以从新接收器或从BLE获得连接时,输入装置200可以返回到睡眠模式(步骤410)。

返回参考步骤430,如果已知的预配对接收器当前不可用,则输入装置200搜索已知的BLE主计算装置(步骤455)。如上所述,应该理解,可以使用任何合适的无线通信协议来代替BLE。此外,对预配对接收器的引用应该被理解为意味着接收器耦接到主计算装置并与主计算装置进行电子通信。在步骤455,如果没有已知的BLE主计算装置可用,则输入装置200可以返回进入睡眠模式(步骤410)。如果已知的BLE主计算装置可用,则输入装置200可以尝试以任何合适的时间间隔连接到该已知的BLE主计算装置,并且同时仍然检查与已知的预配对接收器的连接可用性(步骤460)。例如,输入装置200可以在5秒内尝试连接到BLE主计算装置,然后在1秒内尝试连接到已知的预配对接收器。

在步骤460,一旦连接到BLE主计算装置,如果连接随后丢失或超出范围,则在使输入装置200返回到睡眠模式(步骤410)之前,输入装置200可以在一段时间(例如,5秒)内尝试重新连接。替选地或另外地,如果BLE主计算装置在一段时间(例如,5秒)内不可获得,已知的预配对接收器在一段时间(例如,1秒)内不可获得,如果到已知的预配对接收器的连接丢失或超出范围,或者如果在一段时间(例如,30分钟)内没有接收到用户输入,则输入装置200可以返回到睡眠模式(步骤410)。

再次参照步骤460,在一些实施方式中,在输入装置200上的每个用户输入(或用户输入的其他间隔)之后,输入装置200可以在发送BLE分组之间查验(ping)已知的预配对接收器(步骤480),如本领域的普通技术人员将理解的。当已知的预配对接收器变得可用时,输入装置200可以与BLE主机断开连接并连接到已知的预配对接收器(步骤490)。

响应于来自步骤460、480、485或490中的任一者的特殊用户输入条件(例如,输入装置200上的两个或更多个按钮的同时输入),如上面参照步骤425类似地描述的,输入装置200可以在第一阈值超时时段期间尝试通信地连接到新的接收器(即,先前未知或未连接的),然后在第二阈值超时时段期间进行BLE广告(步骤485)。在步骤485,如果在一段时间(例如,3分钟)内没有连接可用,则输入装置200可以返回到睡眠模式(步骤410)。返回参照步骤490,如果与预配对接收器的连接丢失或超出范围,则输入装置200可以在一段时间(例如,1秒)内尝试重新连接或相反返回到睡眠模式(步骤410)。替选地或另外地,如果在一段时间(例如,30分钟)内没有接收到用户输入,则输入装置200可以返回到睡眠模式(步骤410)。

应当理解,图4中所示的具体步骤提供了根据某些实施方式的用于操作具有省电特征的移动手持输入装置200的特定方法400。根据替选实施方式,也可以执行其他步骤序列。例如,替代实施方式可以以不同的顺序执行上面概述的步骤。此外,图4中所示的各个步骤可以包括多个子步骤,这些子步骤可以以适合于各个步骤的各种顺序执行。此外,取决于方法400的特定应用,可以添加或移除另外的步骤。本领域的普通技术人员将认识并理解方法400的许多变化、修改和替选方案。

演示增强–免打扰特征

本发明的一些方面包括操作软件以防止弹出窗口、通知或其他系统消息出现在相应显示器上以确保不中断的用户会话来获得改进的演示体验的方法。以下非限制性实施方式呈现了该构思的各种实现方式。

图5示出了根据某些实施方式的不中断显示器500的各方面。如本领域的普通技术人员将理解的,显示器500可以由任何合适的主计算装置(未示出)操作,例如台式计算机、膝上型计算机、平板计算机等。在一些实施方式中,显示器500和操作相应演示软件的不中断操作的软件可以由图16的系统1600操作。

显示器500示出了幻灯片的不中断图像510,幻灯片可以由任何合适的演示软件操作,例如Google等。被阻止的弹出通知520在图5中示出,但是实际上其在显示器500上不可见。图像510可以与任何显示的图像相关联,并且不限于演示软件。例如,图像510可以与网页、文字处理软件、电子表格软件等相关联。本领域的普通技术人员将理解其许多变化、修改和替选实施方式。

在现场演示期间具有不中断的显示器可能是特别有利的。由系统或应用级别弹出消息引起的中断可能分散观众的注意力,不利地影响演讲者的演示的有效性和连续性,或甚至致使个人信息(例如,个人电子邮件通知)在公共场所中显示。在一些实施方式中,通过以下操作来实现不中断显示:操作可以捕获由演示软件生成的显示器的图像的软件并将图像放置在覆盖层上,该覆盖层被配置成驻留在高于所有其他层(包括系统级弹出窗口或通知)的最顶层显示层上。覆盖层软件可以与任何系统无缝集成,不会干扰可能因机器而异的任何操作系统(OS)设置、其他同时运行的软件应用或其他操作。在一些实施方式中,可以捕获演示软件显示的图像并以25-30帧/秒(fps)覆盖以捕获视频、GIF等,如下面进一步讨论的。在一些实施方式中,可以通过启用/禁用用户可选择的“免打扰”特征来切换不中断显示特征,如下面进一步讨论的。

图6示出了根据某些实施方式的在显示器600上配置所显示窗口610的层级的各方面。Windows 610包括操作系统(OS)桌面窗口620、演示窗口630、应用通知窗口640、系统通知窗口650和覆盖层窗口660。在图6的特定布置,覆盖层660按系统通知窗口650、应用通知窗口640、演示窗口630和桌面窗口620的顺序被配置在所述这些窗口上方。如本领域的普通技术人员将理解的,其他窗口层级是可能的,并且可以不存在一些窗口,可以添加额外的窗口层等。图6可以通过图16的系统1600的各方面来操作。

在某些实施方式中,OS管理各种窗口层并根据预定的层级在相应的显示器上对它们进行排序,如上所描述。在一些实施方式中,透明覆盖窗口(“覆盖层”)660可以位于层级中的最高级。通知(例如,系统通知窗口650、应用通知窗口640等)通常以比演示窗口630(或其他软件应用窗口)更高的优先级被配置,以允许弹出窗口和其他通知可见,但是低于覆盖层660。在一些情况下,覆盖层660可以将输入事件(例如,键盘和鼠标输入)发送到“聚焦的”演示应用,从而允许用户与覆盖层660下面的任何应用接口(例如,施加用户输入)。

在某些实施方式中,覆盖层软件可以执行若干功能,包括突出显示功能(下面进一步讨论)、隐藏通知(如上所提及)以及提供附加相关信息(例如,当前电池水平等,如下面进一步讨论的)。关于隐藏通知,覆盖层软件可以将覆盖层660设置为不透明以隐藏任何下层通知。为了同时显示演示内容(例如幻灯片)和隐藏通知,覆盖层软件复制(“抓取”或“捕获”)演示窗口的内容并将其显示在覆盖层660上。内容从一个窗口到另一窗口的这种共享可以以任何合适的频率发生。在呈现视频或快速变化的图像的情况下,频率应该足够高,使得图像看起来是连续的,从观看者的角度来看没有暂停或抖动(通常约25-30fps)。

以高fps速率捕获显示数据会利用相当大的处理和图像渲染能力,这可能致使某些过程(例如,光标移动)在某些系统上显得迟缓或不连续。类似地,捕获快速移动的光标和/或执行包括突出显示、放大(下面进一步讨论)等的操作也会对处理资源施加负担并且在某些系统上引起覆盖层660上的可见抖动或延迟。在某些实施方式中,操作覆盖层660的软件可以检测用户何时正在执行可能引起迟缓的特定功能(例如,移动光标)、在该时间段期间停止从演示窗口630捕获内容并且在该段时间期间继续在覆盖层660上显示最近捕获的图像。特定功能停止后,25fps捕获和显示过程可以照常继续。对于更快的系统,用户可以选择禁用该过程,使得捕获和显示过程继续,而不管任何正在进行的光标移动、突出显示功能等。

因此,在某些实施方式中,当启动了演示软件时(例如,以全屏幕),当禁用了“免打扰”模式时,应用或系统通知可以出现在屏幕上。当启用了“免打扰”特征时,覆盖层软件选择当前聚焦的演示窗口630,以特定频率(例如,25fps)捕获其内容并在不透明覆盖层660上显示内容。

图7是示出根据某些实施方式的在计算装置上配置显示窗口的层级的方法的各方面的简化流程图。方法700可以由系统1600的处理器1602执行,如下面关于图16所示和所述的。

在步骤710,方法700可以包括由第一软件应用检测正在主计算装置的显示器上显示的第一窗口。第一软件应用(“覆盖层软件”)可以是可以生成覆盖层660并且可以由输入装置200控制和/或与输入装置200一起工作的软件。例如,覆盖层软件可以基于来自输入装置200的输入(例如,光标移动)启用或禁用“免打扰”功能。第一窗口可以包括来自第二软件应用(例如,演示软件,例如等)的演示内容,或其他合适的软件应用,如上所描述。

在步骤720,方法700可以包括由覆盖层软件捕获第一窗口上图形内容的图像。例如,覆盖层软件可以捕获(例如,复制)演示软件上幻灯片的图像。

在步骤730,方法700可以包括由覆盖层软件在主计算装置的显示器上生成第二窗口(例如,覆盖层660)。在步骤740,方法700包括将覆盖层660配置成显示器上的最顶层窗口,使得后续应用级和系统级窗口弹出(或其他通知/弹出窗口)发生在覆盖层660下面的窗口层上。

在步骤750,方法700可以包括由覆盖层软件在覆盖层660上显示捕获的(例如,复制的)图形内容的图像。捕获(步骤720)和显示(步骤740)可以以任何合适的速率发生。在一些实施方案中,速率通常为25-30fps。在一些情况下,覆盖层660可以是不透明的,使得下层(例如,窗口)在显示器上不可见,而不管覆盖层660上的内容如何。

应当理解,图7中所示的具体步骤提供了根据某些实施方式的用于配置计算装置上的显示窗口的层级的特定方法700。根据替选实施方式,也可以执行其他步骤序列。例如,替选实施方式可以以不同的顺序执行上面概述的步骤。此外,图4中所示的各个步骤可以包括多个子步骤,这些子步骤可以以适合于各个步骤的各种顺序执行。此外,取决于特定应用,可以添加或移除另外的步骤。例如,在一些实施方式中,方法700可以包括从输入装置200接收输入数据(例如,输入数据对应于选择演示窗口以“聚焦”该特定窗口上的输入数据)、从输入装置200接收后续输入数据(例如,按钮点击、光标移动命令等),以及当第二窗口(覆盖层660)被显示为显示器上的最顶层窗口时,将后续输入数据应用于第一窗口上的第二应用(例如,演示软件)。在一些情况下,演示窗口可能已经被选择为“聚焦”层,使得任何接收的输入数据被应用于演示应用。

在另一示例中,方法700可以包括:通过覆盖层软件使覆盖图660透明,使得当从输入装置200接收输入数据时演示窗口是可见的;当在阈值时间(例如,1秒)内不再从输入装置接收到输入数据时,由覆盖层软件捕获演示窗口上的图形内容的更新的图像;以及由覆盖层软件在覆盖层660上显示所捕获的图形内容的更新的图像。

一些实施方式可以采用突出显示和/或缩放功能来增强演示。例如,接收的输入数据可以对应于第一窗口(例如,演示窗口)上的光标的移动,并且方法700还可以包括基于光标的移动来改变透明的第二窗口的不透明度。更具体地,透明的第二窗口的不透明度可以在光标周围的区域中被改变,以突出显示第一窗口上的图形内容的对应区域,如下面参照图8A进一步讨论的。本领域的普通技术人员将认识并理解方法700的许多变化、修改和替选方案。

如上所述,一些实施方式可以将输入装置100/200的移动转换为光标在显示器上的移动,或转换为与显示器上的内容相关联的特定功能(例如,移动***体播放器的音量、滚动文件等)。3D空间中的移动到二维显示器上的移动的计算转换可以由输入装置(例如,由处理器1710)、由耦接到输入装置(例如,处理器1602)的主计算机、由其组合或由第三方装置(例如,云中的计算装置)执行,如本领域的普通技术人员将理解的。

突出显示、缩放、智能开/关、媒体控制和无睡眠功能

图8A示出了根据某些实施方式的演示应用中的突出显示功能的各方面。在显示器800上的演示窗口630上示出图像810(例如,演示幻灯片)。显示器800还包括被配置成高于演示窗口630的半透明层820(例如,覆盖层660),如上面关于图6描述的(注意:覆盖层660在图6的实施方式中是不透明的)。半透明层可以通过使幻灯片“变灰”(“graying out”)来使整个图像变暗,使得非“变灰”区域830给出突出显示效果的外观。区域830移动可以对应于由输入装置200控制的光标的移动。

在一些实施方式中,突出显示效果在演示窗口630上发生,如上所述。一个缺点是在这种配置中仍然可能出现弹出窗口。替选地或另外地,突出显示功能可以在覆盖层660上发生。覆盖层软件可以捕获演示窗口630的图像并将它们显示在不透明覆盖层660上。为了创建突出显示效果,可以除了不变暗的区域830之外使整个覆盖层变暗,这可以创造突出显示效果。这些实施方式仍然可以在“免打扰”设置下操作并保持不中断演示的益处。区域830可以是任何合适的形状或大小并且可以或可以不直接跟踪光标移动,光标移动可以通过输入装置在3D空间中的移动来控制,如上所述。本领域的普通技术人员将理解其许多变化、修改和替选实施方式。

图8B示出了根据某些实施方式的演示应用中的缩放功能的各方面。在显示器800上的演示窗口630上示出图像810(例如,演示幻灯片)。区域840示出图像810的放大或“缩放”部分。区域840的移动可以对应于由输入装置200控制的光标的移动。

在一些实施方式中,通过在覆盖层660上捕获和显示图像810并通过关于区域840的放大因子(例如,1.5x、2x、10x等)放大(例如,缩放)图像810来实现缩放效果。区域840可以是任何合适的形状或大小,并且可以或可以不直接跟踪光标移动。本领域的普通技术人员将理解其许多变化、修改和替选实施方式。

在某些实施方式中,输入装置200可以包括智能开/关特征,该智能开/关特征响应于接收到用户输入(例如,按钮按压)而自动使输入装置200通电并且(重新)建立与主计算机(例如,具有接收器230的主计算机、BLE主机等)的连接。在一些情况下,可以保存用户输入(例如,在存储缓冲器中)并在建立了无线连接之后应用用户输入。因此,单个用户输入可以使输入装置200(例如,在睡眠模式下)加电并将用户输入应用于聚焦窗口(例如,演示窗口630),这可以简化连接过程,从而允许用户简单地***接收器230或按压键以开始演示而没有任何麻烦的连接过程。

在一些实施方式中,安装在主计算机上的软件可以与输入装置200一起操作以确定特定窗口上的内容。更具体地,一些实施方式可以扫描和检测是否可在所选(“聚焦”)窗口(例如演示幻灯片)上访问可播放媒体(例如,音频或视频链接、播放器等)。软件可以将该信息中继到输入装置200,使得输入装置自动配置输入接口120(例如,按钮122-126)以自动播放媒体数据,而不需要例如光标移动和选择媒体链接或媒体播放器。替选地或另外地,响应于检测到显示器上的某些内容,可以将输入装置的运动映射到某些功能(例如,***体播放器上的音量)。在一些情况下,可以响应于检测到单个内容来配置多个映射。例如,检测到媒体播放可以使一个或更多个按钮被分配给媒体传输控制(例如,播放、暂停),以及输入装置移动检测被分配给控制音量。下面参照图9A和9B进一步讨论这些构思。在一些实施方式中,图6的覆盖层软件可以是控制所选窗口上的媒体扫描和检测的相同软件。

在另外的实施方式中,输入装置200可以实现“无睡眠”功能以防止主计算机进入睡眠模式。例如,在幻灯片演示期间,演示者可能长时间段内停留在特定幻灯片上,从而响应于该长时间段内缺乏用户输入而使屏幕变为空白和/或使主计算装置进入低功率操作模式。输入装置200可以通过频繁地向主计算机发送命令来保持主计算机“醒着”,以防止睡眠模式的发生。例如,可以在没有用户输入活动的时段期间每隔一段时间(例如,每10秒)将人机接口装置(HID)命令发送到相应的主计算机。HID命令可以执行任何功能,但是优选地不干扰显示以防止在演示期间的任何中断。本领域的普通技术人员将理解其许多变化、修改和替选实施方式。

图9A示出了根据某些实施方式的基于显示器910的内容的输入装置900的自动配置。显示器910被示为演示幻灯片(例如,幻灯片、幻灯片等),但可以是任何合适的图像。可以通过任何合适的主计算装置(例如,主计算装置210、220、240或250、图16的系统1600等)来操作显示器910。显示器910包括嵌入的媒体播放器915和字母数字文本。输入装置900包括顶部按钮922、中间按钮924和底部按钮926。如上面进一步讨论的,类似于输入装置100/200,输入装置900可以包括任何数量的输入接口控件(例如,按钮、触敏表面、麦克风等)。输入装置900还可以包括一个或更多个IMU以跟踪3D空间中的移动928,如上面进一步讨论的。

在一些实施方式中,主计算装置(例如,处理器1602)可以检测显示器910上的一个或更多个图形控制元素、确定它们的类型并生成配置控制数据以自动配置输入装置上的一个或更多个输入元件(例如,按钮922至926、移动928等),来以通常与相应控制元素的功能相关的一种或更多种方式控制图形控制元素。参照图9A,响应于检测到媒体播放器915,配置控制数据可以使输入装置900将例如媒体传输控制分配给按钮922至926(例如,快进、播放/暂停、倒回等)、将音量控制分配给输入装置900的移动(例如,向上/向下移动可以控制音量)或输入的组合以控制相应的控制元素。例如,当按压按钮(例如,按钮922)并且接收到移动数据928(例如,在大致上/下方向上的移动)时,可以实现媒体播放器915的音量控制。本领域的普通技术人员将理解其许多变型、修改和替选实施方式。

图9B示出了根据某些实施方式的基于显示器960的内容的输入装置950的自动配置。显示器960被示为演示幻灯片(例如,幻灯片、幻灯片等),但可以是任何合适的图像。可以通过任何合适的主计算装置(例如,主计算装置210、220、240或250、图16的系统1600等)来操作显示器960。显示器960包括嵌入的电子表格970、基于网络的超链接980和字母数字文本。电子表格970包括扩展到在单个画面上不可见的多个页面的文本,该文本可以通过操纵滚动条975来访问。在一些情况下,文本可能非常小并且难以阅读。因此,可以采用放大功能990,如图所示。输入装置950可以包括顶部按钮982、中间按钮984和底部按钮986。如上面进一步讨论的,类似于输入装置100/200/900,输入装置950可以包括任何数量的输入接口控件(例如,按钮、触敏表面、麦克风等)。输入装置950还可以包括一个或更多个IMU以跟踪3D空间中的移动988,如上面进一步讨论的。

在一些实施方式中,主计算装置(例如,处理器1602)可以检测显示器960上的一个或更多个图形控制元素、确定它们的类型并生成配置控制数据以自动配置输入装置上的一个或更多个输入元件(例如,按钮982至986、移动988等),来以通常与相应控制元素的功能相关的一种或更多种方式控制图形控制元素。参照图9B,响应于检测到电子表格970和超链接980,配置控制数据可以使输入装置900分配例如超链接按钮(例如,中间按钮984)以自动启动超链接980(例如,无需利用光标选择超链接980)以及分配“抓取”按钮以自动抓取滚动条975(或其他可操纵对象),以及分配移动988以控制电子表格970上的文本的滚动(例如,当还选择“抓取”功能时),例如响应于检测到输入装置950在向上和/或向下方向上的移动而向上滚动和向下滚动(或向上翻页和向下翻页)。在一些情况下,主计算机可以检测到电子表格中的文本处于或低于某个字体点大小(例如,低于8点字体)并且将放大功能990分配给按钮982。在一些实施方式中,多次按压按钮可以切换某些功能。例如,按压按钮982可以在放大功能与突出显示功能之间切换(如上面参照图8A和8B进一步讨论的)。本领域的普通技术人员将理解其许多变型、修改和替选实施方式。

图10是示出根据某些实施方式的用于基于显示器的内容自动配置输入装置的方法1000的各方面的简化流程图。方法1000可以由系统1600的处理器1602执行,如下面参照图16示出和描述的。

在步骤1010处,根据某些实施方式,方法1000可以包括由主计算装置上的处理器检测图形用户界面上的图形控制元素。图形控制元素可以包括媒体播放装置(例如,视频、音频等)、超链接、文字处理器文档、电子表格文档、字母数字文本或显示器(例如,演示幻灯片上)上的任何项,如本领域的普通技术人员所理解的。

在步骤1020处,方法1000可以包括由处理器确定图形控制元素的类型。如上所述,根据某些实施方式,控制元素的类型可以是显示器上的任何可操纵对象(例如,媒体播放器、超链接、电子表格等)。

在步骤1030处,根据某些实施方式,方法1000可以包括由处理器生成配置控制数据以使输入装置配置输入装置上的一个或更多个输入元件以执行与图形控制元素的类型对应的功能。如本领域的普通技术人员所理解的,一个或更多个输入元件可以包括按钮、触摸传感器、运动传感器或其他输入元件中的至少一个。输入装置可以是演示装置、智能电话或可穿戴智能装置之一。在一些实施方式中,配置控制数据可以应用与视频或音频媒体播放器对应的功能,所述功能包括媒体传输控制功能或音量控制中的至少一个,其中媒体传输控制功能可以与输入装置上的一个或更多个按钮相关联,并且音量控制可以与输入装置的移动相关联。在一些情况下,与文字处理文档、电子表格文档或字母数字文本对应的功能可以包括放大或页面滚动中的至少一个,其中放大控制可以与输入装置的按钮和移动两者相关联,并且页面滚动可以与输入装置的移动相关联。在一些实施方式中,配置控制数据可以使输入装置配置一个或更多个输入元件中的至少两个以执行与图形控制元素的类型对应的功能,其中一个或更多个输入元件中的至少两个可以与不同的功能相关联。

在步骤1040处,方法1000可以包括由处理器将配置控制数据发送到输入装置。在一些情况下,输入装置可以与主计算装置分离并且通信地耦接至主计算装置(例如,输入装置和主计算装置可以不是同一个,例如平板计算机和它的触摸屏)。

应当理解,图10中所示的具体步骤提供了根据某些实施方式的用于基于显示器的内容自动配置输入装置的特定方法1000。根据替选实施方式,还可以执行其他步骤序列。例如,替选实施方式可以以不同的顺序执行上面概述的步骤。此外,图10中所示的各个步骤可以包括多个子步骤,这些子步骤可以以适合于各个步骤的各种顺序执行。此外,取决于特定应用,可以添加或移除另外的步骤。以上关于方法1000(或方法300、400、700和1100至1200)描述的任何方面可以应用于本公开内容中描述的任何输入装置、主计算装置等。本领域的普通技术人员将认识并理解方法1000的许多变型、修改和替选方案。

图11是示出根据某些实施方式的用于基于显示器上的内容修改突出显示功能的方法的各方面的简化流程图。方法1100可以由系统1900的处理器1902执行,如下面参照图19示出和描述的。出于说明的目的,在方法1100的以下描述中引用对输入装置200和主计算装置1300的描述。应当理解,如本领域的普通技术人员所理解的,可以使用在本文中描述的任何输入装置和/或主计算装置。

在步骤1110处,根据某些实施方式,方法1100可以包括检测主计算装置的显示器1300上的第一窗口1310(“幻灯片1310”)。检测可以由第一软件应用(“覆盖层软件”)执行,该第一软件应用可以由输入装置200控制和/或与输入装置200一起工作。在随后的实施方式中,第一窗口可以包括来自第二软件应用(例如,演示软件例如等)或其他合适的软件应用(例如,MSMS等)的演示内容,如上所述。

在步骤1120处,根据某些实施方式,方法1100可以包括检测第一窗口上的图形内容。图形内容可以包括可选元素,例如图标、交互对象(例如,媒体播放器、电子表格、滚动条等)、链接(例如,超链接)、字母数字文本等。如本领域的普通技术人员所理解的,检测到的图形内容可以广泛变化,并且不限于在本文中提供的示例。

可以以若干不同方式检测图形内容。例如,考虑操作演示并在一个角处显示带有嵌入的电子表格(例如,)的幻灯片、在另一个角处显示媒体播放器以及在第三角处显示超链接的演示软件(例如,)(参见例如图15A)。检测内容的一种方式是通过图像处理。这在某些情况下可能是有利的,因为可能不需要访问特定软件来确定内容。相反,可以通过检查它们的形状和图像特征来确定某些对象(例如,可选元素)。例如,电子表格通常具有网格图案,该网格图案具有以结构化且空间组织化的和/或对称的配置(例如,单元格、行、列等)来配置的字母数字文本。图像处理技术(例如,结合处理器1602执行)可以识别通常与电子表格软件相关联的单元格、结构和图案,并且如此表征它。一旦被表征,就可以确定形状和/或颜色,并且可以如本文所描述的识别和突出显示整个元素或其部分。

嵌入的媒体播放器可以具有可以通过图像处理检测的某些共同特征。例如,媒体播放器往往具有正方形或矩形形状的边框,这可能与其边界背景形成对比。此外,媒体播放器通常具有位于中心区域中的“播放”按钮,并且可以包括具有某些颜色组合(例如,通常为红色和白色)的“播放”图标(例如,横向三角形)。一些媒体播放器可以包括在其他位置处的媒体传输控件、在某些位置上显示的数据(例如,标题、文件大小或位于特定位置处的其他数据)或通常与媒体播放器相关联的其他共同特征。图像处理技术可以识别这些特征并相应地表征媒体播放器。一旦被表征,就可以确定形状和/或颜色并且可以如在本文中所描述的识别和突出显示整个元素或其部分。

超链接(例如,可以使web浏览器打开特定web页面的可选元素)通常具有某些共同特征。例如,超链接通常被显示为带下划线的字母数字文本,可以包括域名(例如,“.com、.net、.gov、.edu等”国家代码等)并且可以以特定的配色方案(例如蓝色文本)显示。图像处理技术可以识别这些特征并相应地表征超链接。一旦被表征,就可以确定形状和/或颜色并且可以如在本文中所描述的识别和突出显示超链接。图像处理可以用于不仅仅简单地识别电子表格、媒体播放器和超链接,还包括某些对象,如文字处理文档、PDF文档、图形、表格、.jpg、.gif、.mp3播放器、.mp4播放器、.wav文件等。每种类型的对象通常具有特定于其文件类型的共同特征,所述共同特征可以通过图像处理技术识别,如上面所描述的。本领域的普通技术人员将理解其许多变型、修改和替选实施方式。

机器学习(例如,由在系统1600上操作的覆盖层软件操作)可以用于识别对象、改进对象识别并减少误报识别。例如,某些对象可能被确定为特定类型的元素(例如,媒体播放器),而实际上它们不是。这可能是由于以下事实:图像处理软件(例如,覆盖层软件)可以识别可能仅是幻灯片或文档上的用户可能不希望单独突出显示的背景图形的某些特征(例如,带下划线的文本、单元格或行/列等。用户可以以包括但不限于提供用户输入(例如,按压输入装置200上的按钮)的任何数量的方式指示所识别的元素实际上不是可选元素或者指示所识别的元素不是使用软件接口的元素(例如,在演示软件上创建幻灯片时)。在某些情况下,误报元素识别可以是自动的。例如,在从未激活错误识别的元素(例如,未发生可以识别的动作例如网页正在打开,媒体开始播放等)或者光标很少与元素接合的情况下,这可能指示它不是元素(例如,如果媒体播放器从未播放过或者超链接从未(或很少)与输入(例如,按钮点击)相关联)。当特定用户继续使用覆盖层软件时,可以随时间修改各种用户特征、确定的元素等以提高准确性。本领域的普通技术人员将理解其许多变型、修改和替选实施方式。

在一些实施方式中,用户可以使用例如覆盖层软件指示要突出显示元素或者不突出显示元素。例如,在特定窗口(例如,幻灯片)上,覆盖层软件可以指示确定为可以突出显示的可选元素。用户可以验证或反驳该确定,这可以增加真实的元素识别。

替选地或另外地,一些实施方式可以访问特定软件以确定特定窗口中包括哪些元素。例如,可以访问演示软件以确定每个特定幻灯片中包括哪些,如本领域的普通技术人员所理解的,每个特定幻灯片容易获得且易于访问。应当理解,参照图11描述的识别元素的各种方法可以应用于在本文中描述的任何附图、实施方式、系统或方法等,如本领域的普通技术人员所理解的。

返回参照图11,在步骤1130处,方法1100可以包括在第一窗口上方的窗口层上生成第二窗口(覆盖层),如上面参照图8A至图8B类似地描述的。除了具有任何种类的其他特征(例如,颜色、形状等)之外,第二层可以是透明的、半透明的、不透明的等。透明的第二层可以允许用户不受阻碍地看到下面的窗口。半透明层可以进行操作以使整个底层图像变暗。为了创建突出显示的效果,覆盖层可以包括透明区域(例如,跟踪光标移动的区域)和半透明区域(例如,剩余区域)以使除了透明区域之外的窗口“变灰”。

在步骤1140处,根据某些实施方式,方法1100可以包括基于检测到的图形内容来改变覆盖层的图形质量。在一些情况下,覆盖层的图形质量可以与结合来自输入装置的输入数据(例如,移动数据)的突出显示和放大特征类似,如上面参照图8A和图9B示出和描述的。在某些实现中,可以突出显示某些图形内容而不管输入数据(例如,按钮按压、移动数据)如何。例如,可以突出显示检测到的对象(例如,可选元素),例如演示应用中的嵌入的电子表格(例如,参见图13B)。替选地或另外地,可以识别和突出显示子元素,如下面参照图13C进一步示出和讨论的。

应当理解,图11中所示的具体步骤提供了根据某些实施方式的用于基于显示器上的内容来修改突出显示功能的特定方法1100。根据替选实施方式,还可以执行其他步骤序列。例如,替选实施方式可以以不同的顺序执行上面概述的步骤。此外,图11中所示的各个步骤可以包括多个子步骤,这些子步骤可以以适合于各个步骤的各种顺序执行。

此外,可以根据特定应用来添加或移除另外的步骤。例如,一些实施方式可以包括以下另外的步骤:(i)接收与光标在第一窗口上的移动对应的输入数据,(ii)将光标周围的区域的透明度设置为第一透明度,以及(iii)并且将覆盖层的剩余部分的透明度设置为第二透明度,使得光标周围的区域看起来突出显示第一窗口上的图形内容的对应区域。这例如在图13A中示出。

在一些实施方式中,方法1100还可以包括:(i)检测图形内容中的可选元素,(ii)确定可选元素的形状,(iii)将可选元素周围的区域的透明度设置为第一透明度,以及(iv)将覆盖层的其余部分的透明度设置为第二透明度,使得可选元素周围的区域看起来被突出显示。例如,可选元素可以是嵌入在演示软件上的电子表格(例如,参见图13B)。在该情况下,可以确定形状(例如,电子表格可以是特定大小的矩形形状),并且覆盖层的图形质量可以被配置成使得覆盖层在可选元素上方是透明的,并且在覆盖层的其余部分或其部分变暗(例如,“变灰”)。本领域普通技术人员将理解其许多变化、修改和替选实施方式。

在一些实施方式中,方法1100还可以包括:(i)检测图形内容中的第二可选元素,(ii)接收与光标在第一窗口上的移动对应的输入数据,以及(iii)基于光标的移动选择第一可选元素或第二可选元素之一,其中将对透明度的设置应用于所选择的第一可选元素或所选择的第二可选元素。例如,可以在窗口上检测电子表格(可选元素)和媒体播放器(第二可选元素)两者(例如,参见图15A)。如下面关于图14A和图14B示出和描述的,基于光标的移动(例如,光标与每个可选元素的接近程度和/或输入装置上的按钮按压、光标位于哪个象限等),可以突出显示可选元素或第二可选元素之一。

在另外的实施方式中,如下面关于图13C示出和描述的,方法1100可以包括检测可选元素内的子元素。例如,方法1100还可以包括以下步骤:(i)检测图形内容中的可选元素(例如,输入装置1390的图像),(ii)检测包含在可选元素内的子元素(例如,按钮1392),(iii)确定子元素的形状,(iv)将覆盖层上的子元素周围的区域的透明度设置为第一透明度(例如,透明),以及(v)将覆盖层的其余部分的透明度设置为第二透明度(例如,变暗、纹理化、“变灰”等),使得子元素上方的区域看起来被突出显示。在一些情况下,用户可以基于从输入装置接收的输入数据将突出显示从可选元素切换到一个或更多个对应的子元素。例如,连续按钮按压可以在可选元素与子元素之间循环。同样地,连续按钮按压(或其他合适的输入)可以触发在可选元素的子元素之间循环。在一些实现方式中,方法1100还可以包括:(i)检测可选元素的第二子元素,(ii)接收与光标在第一窗口上的移动对应的输入数据,以及(iii)基于光标的移动来选择第一子元素或第二子元素之一,其中将对透明度的设置应用于所选择的第一子元素或所选择的第二子元素。替选地或另外地,方法1100可以包括基于来自输入装置的输入数据在第一子元素或第二子元素之间进行切换,其中将对透明度的设置应用于所选择的第一子元素或所选择的第二子元素。因此,如本领域普通技术人员所理解的,某些实施方式可以响应于从输入装置接收到移动数据来在可选元素之间进行切换,以及响应于接收到包括按钮按压、触摸传感器按压或其他合适输入类型的非移动数据来在可选元素内的子元素之间进行切换。以上关于方法1100描述的方面中的任何方面可以应用于本公开内容中描述的任何输入装置、主计算装置等。本领域普通技术人员将认识并理解方法1100的许多变型、修改和替选。

图12是示出根据某些实施方式的用于基于显示器上的内容修改突出显示功能的颜色的方法1200的各方面的简化流程图。方法1200可以由下面关于图19示出并且描述的系统1900的处理器1902来执行。出于说明性目的,在对方法1200的以下描述中描述和引用输入装置200和主计算装置210。应当理解,如本领域普通技术人员所理解的,可以使用本文描述的任何输入装置和/或主计算装置。

在一些实施方式中,本文描述的突出显示特征在应用于具有某些配色方案的窗口(例如,演示幻灯片)时可能难以看到或出现“褪色”。例如,如果演示幻灯片具有带有多个灰度阴影的各种图像,则应用具有灰度色调的覆盖层可以使底层图形内容模糊到可能不再可见的点。通过检查幻灯片的颜色内容,并且更具体地检查突出显示区域内外的颜色内容,可以采用改进的突出显示配色方案以确保在执行突出显示功能期间几乎没有下层图形内容被遮掩。

根据某些实施方式,在步骤1210处,方法1200可以包括接收与光标在第一窗口上的移动对应的输入数据。例如,如本领域普通技术人员所理解的,输入数据可以是输入装置200、计算机鼠标、轨迹球控制器等。

在步骤1220处,方法1200可以包括限定光标周围的区域。例如,如下面图13A所示,光标周围的区域可以是具有预定半径(例如,1英寸或例如与监视器每英寸点数(dpi)相关联的其他测量单位)的圆。如本领域普通技术人员所理解的,区域可以是任何大小或形状。在一些情况下,区域可以是固定的、用户可编程的或动态的使得可以基于对应图形内容的大小来改变形状(例如,改变半径)。例如,如果大多数图形内容包括相对小的可选元素,则光标周围的限定区域可以小。类似地,如果图形内容趋于大,则可以使用大的限定区域。本领域普通技术人员将理解其许多变型、修改和替选实施方式。

根据某些实施方式,在步骤1230处,方法1200可以包括确定与光标周围的限定区域内的图形内容相关联的一种或更多种颜色。例如,可以检测主色(例如,在限定区域中最普遍的颜色),可以检测限定区域中的一些或所有颜色,可以检测总体颜色,或者可以由本领域普通技术人员所理解的其他合适方法。

根据某些实施方式,在步骤1240处,方法1200可以包括确定与光标周围的限定区域外的图形内容相关联的一种或更多种颜色。例如,可以检测主色(例如,在限定区域外最普遍的颜色),可以检测限定区域外的一些或所有颜色,可以检测总体颜色,或者可以由本领域普通技术人员所理解的其他合适方法。在一些实施方式中,如本领域普通技术人员所理解的,可以检测在限定区域外但是在距限定区域一定距离dpi或其他测量单位内的一种或更多种颜色。

根据某些实施方式,在步骤1250处,方法1200可以包括确定可见性因子,该可见性因子与和光标周围的限定区域内的图形内容相关联的一种或更多种颜色与和光标周围的限定区域外的图形内容相关联的一种或更多种颜色之间的差异相关联。换句话说,在步骤1250处,方法1200可以确定例如默认颜色集(例如,灰色覆盖层)是否将会“冲洗”或遮掩第一窗口上的任何底层图形内容。在应用底层图形内容的突出显示效果和颜色时,可见性因子可以是基于覆盖层的对比色特征的得分或确定值(例如,0至10,其中在标度的顶端处可见性高)。如本领域普通技术人员所理解的,可以使用任何合适的评分方法。替选地或另外地,可以调整亮度以确保良好的对比度以改善图形内容的可见性。

在步骤1260处,方法1200可以包括基于所确定的可见性因子来设置光标周围的限定区域内的区域的颜色。在上面其中第一窗口上的图形内容主要包括灰色特征的示例中,覆盖层可以利用不同亮度或不同颜色的灰色背景来使限定区域外的区域减弱或变暗,但不遮掩图形内容。

应当理解,图12中所示的具体步骤提供了根据某些实施方式的用于基于显示器上的内容修改突出显示功能的颜色的特定方法1200。还可以根据替选实施方式来执行其他步骤序列。例如,替选实施方式可以以不同的顺序执行上面概述的步骤。此外,图12中所示的各个步骤可以包括多个子步骤,多个子步骤可以以适合各个步骤的各种序列来执行。一些实施方式可以使用更多或更少的步骤。例如,在一些实施方式中,方法1200可以具有更少的步骤,所述步骤包括(i)确定与第一窗口上的图形内容相关联的颜色,(ii)基于所确定的颜色来确定对比色,以及(iii)将光标周围区域的至少一部分的颜色设置为所确定的对比色。本领域普通技术人员理解其许多变型、修改和替选实施方式。以上关于方法1200(或方法300、400、700、1000和1100)描述的方面中的任何方面可以应用于本公开内容中描述的任何输入装置、主计算装置等。本领域普通技术人员将认识并理解方法1200的许多变型、修改和替选。

在一些实施方式中,当跨幻灯片分布的内容的颜色或对比度方案变化时,可以不同地执行方法1200。例如,当幻灯片的第一部分比幻灯片的第二部分暗得多时,光标可见性可以根据光标是在第一区域还是在第二区域中来很大地变化。在一些实施方式中,限定区域内的区域的颜色可以根据光标的位置来相对于幻灯片颜色/对比度方案而改变。例如,在加载幻灯片时,可以限定一个或更多个边界,使得当光标穿过边界时,限定区域内的区域的颜色改变以保持光标在幻灯片上的可见性。在其他实施方式中,系统可以被配置成通过定期地对幻灯片的在光标周围的区域的颜色进行采样来连续地更新光标周围的区域的颜色。

图13A示出了根据某些实施方式的演示应用中的突出显示功能的各方面。在显示器1300上示出了演示幻灯片1310,演示幻灯片1310具有被嵌入在幻灯片1310上的电子表格1320和突出显示电子表格1320的一部分的突出显示区域1330。突出显示区域1330可以互换地被称为“聚光灯”。突出显示区域1330被示为具有特定区域的圆圈,然而可以使用任何合适形状或大小的突出显示区域1330。可以通过识别元素(例如,如上面关于图11描述的使用图像处理或访问软件)并设置覆盖层的透明度来生成突出显示区域1330。在一些情况下,可以基于光标的移动来控制突出显示区域1330。例如,以突出显示模式在幻灯片1310上移动光标引起突出显示区域1330的对应移动。在一些实施方式中,当选择突出显示功能(例如,输入装置200上的按钮按压)时,光标可以是不可见的,仅留下突出显示区域以防止遮掩任何下层图形内容。在一些情况下,光标可以是可见的。本领域普通技术人员将理解其许多变型、修改和替选实施方式。

图13B示出了根据某些实施方式的检测并突出显示显示器上的可选元素的各方面。在一些实施方式中,可以突出显示对象(例如,可选元素)而不是光标周围的区域。即,代替突出显示光标周围的区域并且手动将光标移动到指定位置——其可以或可以不完全突出显示特定对象(例如,电子表格),可以突出显示整个可选元素或其部分——其可以或者可以不直接与光标移动相关联。参照图13B,突出显示可选元素(例如,电子表格)(例如,覆盖层在被识别为可选元素1360的区域上方是透明的),并且幻灯片1350的其余部分变暗以产生对比(突出显示)效果。尽管单个元素被示为要突出显示,但是根据某些实施方式可以突出显示多个元素。例如,当突出显示相同类的元素之一时,可以突出显示全部一类元素(例如,电子表格、.jpg、超链接等)(或其子集)。本领域普通技术人员将理解其许多变型、修改和替选实施方式。

图13C示出了根据某些实施方式的检测并突出显示显示器上的子元素的各方面。显示器1370显示幻灯片1380,该显示幻灯片1340包括输入装置(例如,输入装置200)和各种主计算装置的图像。如上所述,图像处理软件可以将元素1390(例如,输入装置200)识别为可以突出显示的离散元素。另外,图像处理软件可以识别检测到的元素(即,子元素)内的形状和特征以用于突出显示。参照图13C,元素1390包括包含按钮1392的若干按钮(例如,圆圈),使用如上进一步描述的覆盖层来突出显示1394按钮1392。在一些情况下,如上面进一步讨论的,可以基于类或其他度量来突出显示多个子元素。在一些实现方式中,如下面关于图14进一步讨论的,用户可以通过在输入装置上提供输入(例如,输入装置200的按钮按压或移动)来在可选元素或子元素之间切换。

在某些实施方式中,可以基于不同的标准来改变聚光灯(例如,突出显示的区域1330)的大小。例如,在其中图形元素(例如,文本块、图像等)相对大的一些情况下,当光标悬停在聚光灯上时,聚光灯的大小(例如,半径、区域等)可以增加。类似地,如果图形元素小,则聚光灯大小可以相应地减小。在一些实施方式中,聚光灯的大小可以至少部分地由于输入装置的运动而改变。例如,按压并保持按钮122可以使聚光灯出现(例如,突出显示1330),并且输入装置100的移动可以改变聚光灯的大小。例如,向上移动可以使聚光灯的半径增加,以及向下移动可以使聚光灯的半径减小。在另一示例中,按压并保持按钮(例如,按钮122)并且(例如,如关于图17的移动跟踪系统块1730所描述的经由一个或更多个陀螺仪、加速度计)检测到输入装置100的顺时针旋转可以使聚光灯的半径增加,而逆时针旋转可以使半径减小。本领域普通技术人员将理解许多变型、修改和替选实施方式。

图14示出了根据某些实施方式的检测并突出显示显示器上的子元素的各方面。显示器1400可以包括具有电子表格(即,可选元素1420)、各种文本和超链接1470的演示幻灯片1410。电子表格包括多个子元素,多个子元素包括行、列和单元格。行1430、列1440和单元格1450被示出为突出显示,并且单元格1450被进一步放大1460。如上面关于图11描述的,可选元素1420及其子元素可以经由图像处理或用户识别来识别。尽管在图14中多个元素被示为突出显示,但是应当理解,在该特定示例中,它们被讨论和处理为好像它们被单独突出显示(例如,没有突出显示其他元素或子元素)以简化说明,然而,一些实施方式可以采用多元素突出显示方案。本领域普通技术人员将理解其许多变型、修改和替选实施方式。

在一些实施方式中,用户可以通过向输入装置(例如,输入装置200)提供输入来在可选元素之间切换。例如,用户可以控制光标的移动并且通过点击元素(例如,分配给突出显示功能的按钮)来选择若干个元素中的一个。在一些情况下,按钮或按钮组可以在可选元素(例如,可选元素1420和1470)之间循环。参照图14,用户可以通过移动输入装置200和/或按压被编程为在子元素之间循环的按钮来在子元素1430至1450之间循环。例如,用户可以通过朝向电子表格移动光标(或无光标移动)并远离超链接(例如,可选元素1470)来选择电子表格(例如,可选元素1420)。一旦被选择,用户可以经由对应的按钮按压(例如,被指定为在用于突出显示的可选元素/子元素之间循环的按钮)或输入装置移动来在子元素之间循环。在其中选择并突出显示行1430的情况下,随后的按钮按压可以切换到列1440,然后响应于第三按钮按压而切换到单元格1450。在一些实施方式中,一旦选择了行1430,随后的移动可以突出显示其他行。该构思可以应用于列和单元格选择。

在一些实施方式中,可以将多个功能应用于特定的可选元素。例如,当覆盖层软件确定可选元素1420是电子表格并且进一步识别各个行、列和单元格时,可以分析对应文本的大小并且除了突出显示之外还自动应用放大特征(1460)使得可以更容易地看到小文本和细节。在一些情况下,可以自动或手动配置多个功能。本领域普通技术人员将理解其许多变型、修改和替选实施方式。

在一些实施方式中,图像处理可以是实时和/或动态处理。例如,电子表格可以具有数百行数据,其中在一个特定时间处在幻灯片上仅出现小子集。覆盖层软件可以检测用户何时例如滚动嵌入的电子表格,这引起图像的改变。如上面指示的,在功能电子表格应用中,覆盖层软件可以将电子表格识别为可以独立突出显示的多个可识别的形状和大小——不一定识别为单元格。因此,当发生滚动时,该滚动可以是识别的可选元素和子元素的形状的变化,图像处理可以更新图像及其对应的元素/子元素。可以实时地、定期地、响应于检测到图像的变化或者以任何合适的频率或响应于任何事件,来执行识别。本领域普通技术人员将理解其许多变型、修改和替选实施方式。

存在可以选择可选元素以进行突出显示的多种方法。例如,用户可以在(经由覆盖层软件通过图像处理而识别的)可选元素上方(例如,经由输入装置200)移动光标并选择可选元素。替选地或另外地,用户可以将光标朝向可选元素移动,并且覆盖层软件可以确定用于突出显示的预期元素。图15A和图15B示出了根据某些实施方式的选择用于突出显示的可选元素的两种不同方法。

图15A示出了根据某些实施方式的确定要在显示器上突出显示的可选元素的各方面。显示器1500包括被分成四个象限I至IV的窗口1510(例如,演示幻灯片)。在所示的实施方式中,可选元素1530是象限I中的电子表格,可选元素1550是象限II中的媒体播放器,可选元素1535是象限III中的图表,以及可选元素1540是象限IV中的超链接。可以通过将光标移动到特定象限来选择可选元素以进行突出显示。例如,如果光标移动是高度敏感的(例如,非常快速地移动)或者如果元素非常小并且难以用光标选择,则这可以是有利的。参照图15A,用户将光标1560从象限IV移动到象限II,并且媒体播放器被自动突出显示1552。在一些情况下,如果光标位于象限的任何位置,则可以突出显示该象限内的对应的可选元素。可以存在多个可选元素位于单个象限内的情况。在这样的情况下,可以实现与循环(参见上面关于图14的描述)相结合的象限选择。本领域普通技术人员将理解其许多变型、修改和替选实施方式。

图15B示出了根据某些实施方式的确定要在显示器上突出显示的可选元素的各方面。可以基于可选元素与光标的相对距离来选择可选元素用于突出显示。例如,可以选择最靠近的可选元素(或子元素)用于突出显示。参照图15B,显示器1500包括具有可选元素1530、1535、1540和1550的窗口1510(例如,演示幻灯片)。光标1560位于距超链接(可选元素1540)的第一距离1570处、距媒体播放器(可选元素1550)的第二距离1572处、距电子表格(例如,可选元素1530)的第三距离1574处以及距图表(可选元素1535)的第四距离1576处。如本领域普通技术人员所理解的,可以使用包括DPI或其他合适的度量的任何合适的测量单位来测量距离。光标1560最靠近超链接,该超链接相应地被突出显示(突出显示1552)。虽然此处描述了确定应当突出显示哪个元素的两种方法,但是可以使用任何合适的突出显示算法。在各个附图中所示的实施方式中的一些实施方式中,突出显示方案符合要突出显示的可选元素或子元素的形状。在一些情况下,突出显示可以具有圆形边缘、锐利边缘,或者可以是与下层的所选元素不同的形状。可以使用包括其形状、大小、颜色、纹理(例如,图案)等的任何形式的突出显示。本领域普通技术人员将理解其许多变型、修改和替选实施方式。

如本领域普通技术人员所理解的,尽管本文中描述的许多实施方式一般描述诸如演示器(例如,输入装置200)的输入装置和个人计算机(例如,主计算装置210),但是各种概念可以应用于其他类型的输入装置和计算装置。例如,系统1700的各方面(例如,操作输入装置200)可以被包括在计算机鼠标、轨迹球控制器、视频游戏控制器、远程控制器(例如,用于电视)或其他合适的装置中。主计算装置210可以是家庭娱乐系统或任何合适的系统(例如,由系统1600的各方面操作)。本文的实施方式中的一些实施方式描述了使用按钮、移动检测和/或触摸检测来实现本文描述的功能中的一些功能(例如,突出显示、放大等),然而可以使用其他输入方法,例如语音控制。一些实施方式可以组合本文中描述的功能中的一些功能。例如,按压输入装置200上的按钮可以使主计算机在媒体播放器上播放媒体文件。然而,按压并保持同一按钮可以实现通过例如上下移动输入装置200调制的音量控制功能。类似地,按压按钮可以选择图像(例如,.jpg),而按压并保持可以以全屏模式显示图像,并且应用缩放和突出显示特征。在一些情况下,突出显示的大小或放大量可以基于图形内容的特征而改变。非常小的文本可以包括高放大率,并且大文本可以包括相对较小的放大率。一些实施方式可以在放大(例如,放大量)模式或突出显示模式(例如,突出显示区域的形状/大小/颜色)之间切换。一些突出显示可以包括硬边界(例如,实线)、软边界(例如,渐淡或渐变边缘)、动态效果(例如,当将图像从常规模式切换到全屏模式时的动画)等。本领域普通技术人员将理解其许多变型、修改和替选实施方式,并且本公开内容绝不应限制可能的无数应用,无论是否明确描述。

图16A示出了相对于输入装置100限定惯性参考系的坐标轴,输入装置100可以在该惯性参考系内旋转。在一些实施方式中,诸如陀螺仪和/或磁力计的传感器可以被定位在装置100内以跟踪输入装置100围绕所示轴1602、1604和1606中的一个或更多个的移动。输入装置围绕轴1602和1604的旋转运动可以用于引导光标或聚光灯标记跨演示显示器的移动,而输入装置100围绕轴1606的旋转可以用于调整输入装置100的另一操作参数。在一些实施方式中,当输入装置100围绕轴1606的旋转被感测到并且基本大于围绕其他两个轴的任何旋转时,则可以忽略输入装置100围绕其他两个轴的任何偶然移动,从而防止光标或聚光灯标记的不期望的移动。

图16B示出了与输入装置100一起使用的示例性控制方案。中心按钮124和下部按钮126可以以类似的方式操作。例如,单击中心按钮124可以使演示向前推进一个幻灯片,并且单击下部按钮126可以将演示后退一个幻灯片。类似地,双击按钮124或126可以将演示向前移动预定数量的幻灯片或一直移动到演示的结束。按压并保持中心按钮124可以增加与输入装置100的当前模式有关的上下文属性的值。类似地,按压并保持下部按钮126可以减小上下文属性的值。在一些实施方式中,可以通过按压并保持按钮以及围绕特定轴旋转输入装置100来改变属性。在这样的配置中,变化量可以取决于检测到的旋转量。上下文属性可以采用多种形式。例如,属性可以是与输入装置100的移动相关联的光标或聚光灯标记的大小和/或形状。该设置还可以指在屏幕上选择的素材量。例如,在系统认为用户试图选择屏幕上的特定项的情况下,保持中心按钮124或下部按钮126可以减小或增正在被选择区域的大小。属性还可以与光标或聚光灯标记的不透明度有关。

图16B还示出了中心按钮124可以以其操作的不同方式。单击上部按钮122可以选择在演示显示器上显示的对象或超链接。双击上部按钮122可以用于在不同的操作模式间循环。例如,操作模式可以包括光标模式和聚光灯模式。在聚光灯模式下,标记可以采用具有圆形、矩形或其他多边形形状的突出显示区域的形式。用户可以使用突出显示区域来强调或突出显示幻灯片的各个部分。在一些实施方式中,在进入聚光灯模式时,聚光灯的标记可以看起来被冻结在诸如屏幕上正在显示的当前幻灯片的一侧或角落的偏僻位置。按压并保持中心按钮124可以允许用户通过围绕轴1602和1604中的一者或两者旋转输入装置100来跨屏幕调动聚光灯标记。应当注意,轴1602和1604相对于输入装置100限定惯性参考系的坐标轴。

一旦用户将聚光灯标记定位在期望的位置,用户就可以释放上部按钮122,此时聚光灯标记就地保持冻结。一旦用户释放上部按钮122,用户就可以围绕轴1606旋转输入装置100以影响其他上下文设置。例如,如果按压并保持按钮124和126调整聚光灯标记的大小,则围绕轴1606的旋转可以用于调整聚光灯标记的颜色、不透明度和/或对比度。在一些实施方式中,聚光灯标记仅在按压并保持上部按钮122时出现,而释放上部按钮122可以使聚光灯标记消失并且输入装置100返回到光标模式。在一些实施方式中,当用户将输入装置保持相对稳定达预定时间段时,可以冻结聚光灯标记。例如,在没有检测到输入装置100的任何实质旋转3秒之后,聚光灯标记可以在演示屏幕上就地冻结。

图16B还示出了具有多种输入类型的上部按钮122(例如,参见图1C至图1D)可以如何改进功能。例如,在光标模式下,仅与上部按钮122的第一接触部接合的单击可以用于选择对象,而通过完全按压上部按钮122而与第一接触部和第二接触部两者接合的单击可以启动对象的激活。在一些实施方式中,按压并保持上部按钮122达预定时间段可以激活聚光灯模式,此时用户可以在显示屏幕周围自由地调动聚光灯标记。一旦用户将聚光灯标记定位在期望的位置,用户就可以更加用力地按上部按钮122以接合上部按钮122的第二接触部,从而使聚光灯在显示屏上原地冻结。一旦冻结,与输入装置100相关联的标记可以恢复到光标模式。在一些实施方式中,再次临时致动上部按钮122可以解除冻结的聚光灯标记。在一些实施方式中,光标可以用于调整冻结的聚光灯标记的某些方面。在一些实施方式中,一旦聚光灯标记被冻结,就可以将不同属性分配给输入装置100的不同旋转轴。例如,可以通过围绕轴1606的旋转来改变标记大小,而可以通过围绕相应的轴1602和1604旋转输入装置100来调整不透明度、对比度和诸如形状的其他标记相关属性。

在其中上部按钮122包括能够提供宽范围的压力灵敏度反馈的压力传感器的实施方式中,可以实现其他输入方案。例如,对上部按钮122的轻按压可以激活聚光灯模式,而逐渐较重的输入可以逐渐降低聚光灯标记相对于输入装置100的旋转跨屏幕行进的速度。在演示者希望将聚光灯标记短暂地稳定在显示器的特定部分上方而不完全冻结聚光灯标记的情况下,速度的逐渐降低可以是有利的。该逐渐减慢的运动还可以帮助演示者在完全冻结聚光灯标记之前为聚光灯标记限定精确的位置。在一些实施方式中,当感测到与完全冻结聚光灯标记对应的阈值压力时,与上部按钮122相关联的触觉系统可以用一个或更多个振动输入警告用户。应当注意,各种振动模式可以与不同的输入类型和阈值相关联。在一些实施方式中,上部按钮122可以被配置成使得当上部按钮122被充分致动以接合电接触部时,生成第一输入信号,并且还被配置成使得当提供足够量的压力时,触觉系统提供正反馈以警告用户已经生成第二输入信号。在其他实施方式中,当越来越高水平的力被施加到上部按钮122时,可以增加触觉反馈的量。

图17A示出了描述用于通过测量输入装置的旋转来调整与聚光灯标记相关联的参数的方法的框图。在1702处,输入装置100内的惯性传感器可以被配置成测量围绕3个或更多个旋转轴中的任何一个的旋转。具体地,这些轴可以包括轴1602、1604和1606。在一些实施方式中,为了使该方法继续,应当在进行到1704之前测量旋转的阈值量。在1704处,如果未启用聚光灯模式,则输入装置100可以忽略检测到的旋转并且继续监测。在一些实施方式中,必须启用聚光灯模式并且必须冻结聚光灯标记以继续至1706。在1706处,当检测到围绕诸如轴1606的轴的旋转并且该旋转超过阈值时,方法可以继续。在一些实施方式中,阈值可以是动态阈值。例如,如果检测到围绕轴1602和1604的大量旋转(参见图16A),则检测到的围绕轴1606的旋转的阈值可以基本大于在检测到围绕轴1602和1604的非常小的旋转或没有旋转的情况下的旋转的阈值。在1708处,为了测量被检测的旋转量,可以建立参考取向以确定变化的量和类型。在一些实施方式中,当启动聚光灯模式时,可以保存输入装置100的初始取向。然后可以使用聚光灯激活时的该初始取向来测量输入装置100的用户希望如何改变特定参数。当参数涉及聚光灯标记的大小或缩放时,顺时针旋转可以与增大的大小相关联并且逆时针旋转可以与减小的大小相关联。在一些实施方式中,从初始取向旋转45度可以启动大小变化的激活。45度与90度之间的旋转可以增加或减少大小变化发生的速率。将输入装置100返回到中性位置可以导致大小被永久地设定为聚光灯标记的最近选择的大小。

图17B至图17D示出了输入装置100可以绕纵轴1710旋转的方式。虽然从图17B中所示的中性位置至图17C中所示的旋转位置的旋转不会产生仅围绕纵轴1710的旋转,但是该运移动主要与纵轴1710对准。类似地,输入装置沿相反方向从图17B中所示的位置至图17D中所示的位置的旋转也主要限于围绕纵轴1710的移动。在一些实施方式中,用户可以将手保持在图17C或图17D中所示的位置直到达到期望的参数或属性值,此时用户可以将手返回到图17B中所示的位置。在其他实施方式中,可能需要输入装置100围绕其纵轴的连续旋转来调整某些装置或标记相关参数。

图18A至图18D示出了在将聚光灯标记1802原地冻结之后可以操纵聚光灯标记1802的各种方式。图18A示出了占据幻灯片1804的大部分的聚光灯标记1802。图18B示出了在通过围绕与大小或缩放属性相关联的旋转轴旋转输入装置100来调整聚光灯标记1802的大小属性之后可以如何减小聚光灯标记1802的大小。图18C示出了输入装置100的超过阈值的进一步旋转可以如何引起使聚光灯标记1802变为激光光斑标记1806的模式变化。在一些实施方式中,激光光斑标记1806可以是虚拟的并且以与聚光灯1802相同的方式移动和操作。在一些实施方式中,激光可以由亮红色表示。在一些实施方式中,模式的转换可以引起输入装置100的可见光谱激光的激活。在任一配置中,增加聚光灯1802的大小可以将激光形式的聚光灯1802转变回到聚光灯标记。然而,在一些实施方式中并且如图18D所示,一旦处于虚拟激光模式下,大小的增加可以调整激光大小直到达到最大激光光斑大小值。一旦达到,就可以恢复聚光灯标记。在其他实施方式中,一旦接收到标记大小的增加,就可以重新启用聚光灯模式。虽然给出了通过旋转改变大小属性的示例,但是应当理解,可以使用其他按钮和用户接口类型来实现所描述的调整。

实现本文中的实施方式的示例性主计算系统

图19示出了根据某些实施方式的用于操作作为演示系统的一个或更多个元件的主计算装置的系统。计算机系统(“系统”)1900可以用于实现上面关于图1至图15讨论的任何主计算装置。计算机系统1900可以包括一个或更多个处理器1902,所述一个或更多个处理器1902可以经由总线子系统1904与许多***装置(例如,输入装置)进行通信。这些***装置可以包括存储子系统1906(包括存储器子系统1908和文件存储子系统1910)、用户接口输入装置1614、用户接口输出装置1916和网络接口子系统1912。

在一些示例中,内部总线子系统1904可以提供用于使计算机系统1900的各种部件和子系统按预期彼此进行通信的机制。虽然内部总线子系统1904被示意性地示为单个总线,但是总线子系统的替选实施方式可以利用多个总线。另外,网络接口子系统1912可以用作用于在计算机系统1900与其他计算机系统或网络之间传送数据的接口。网络接口子系统1912的实施方式可以包括有线接口(例如,以太网、CAN、RS232、RS485等)或无线接口(例如,BLE、Wi-Fi、蜂窝协议等)。

在一些情况下,用户接口输入装置1914可以包括演示器(例如,输入装置100/200)、键盘、定点装置(例如,鼠标、轨迹球、触摸板等)、结合到显示器中的触摸屏、音频输入装置(例如,语音识别系统、麦克风等)、人机接口(HMI)和其他类型的输入装置。通常,使用术语“输入装置”旨在包括用于将信息输入到计算机系统1900中的所有可能类型的装置和机构。另外,用户接口输出装置1916可以包括显示子系统、打印机或非视觉显示器,例如音频输出装置等。显示子系统可以是任何已知类型的显示装置。通常,使用术语“输出装置”旨在包括用于从计算机系统1900输出信息的所有可能类型的装置和机构。例如,显示装置可以是与主计算系统的处理装置进行无线通信的单独子系统。替选地,主计算系统可以是结合内置显示装置子系统的单个装置。

存储子系统1906可以包括存储器子系统1908和文件存储子系统1910。子系统1908和1910表示非暂态计算机可读存储介质,其可以存储提供本公开内容的实施方式的功能的程序代码和/或数据。在一些实施方式中,存储器子系统1908可以包括多个存储器,所述多个存储器包括用于存储程序执行期间的指令和数据的主随机存取存储器(RAM)1918以及可以存储固定指令的只读存储器(ROM)1920。文件存储子系统1610可以为程序和数据文件提供持久(即,非易失性)存储,并且可以包括磁性的或固态的硬盘驱动器、光学驱动器以及相关联的可移除介质(例如,CD-ROM、DVD、蓝光等)、基于可移除闪存的驱动器或卡和/或本领域已知的其他类型的存储介质。存储子系统1906可以存储关于图1至图18D描述的各种主软件(例如,如上面进一步讨论的覆盖层软件、用于“无睡眠”功能的软件、媒体检测软件、突出显示软件等)实现。

应当理解,计算机系统1900是说明性的并且并不意在限制本公开内容的实施方式。具有比系统1600更多或更少的部件的许多其他配置也是可能的。各种实施方式还可以在各种各样的操作环境中实现,所述操作环境在一些情况下可以包括可以用于操作多个应用中的任何应用的一个或更多个用户计算机、计算装置或处理装置。用户装置或客户端装置可以包括多个通用个人计算机中的任何通用个人计算机,例如运行标准或非标准操作系统的台式计算机或膝上型计算机,以及运行移动软件并且能够支持多种网络和消息协议的蜂窝装置、无线装置和手持装置。出于诸如开发和数据库管理的目的,这样的系统还可以包括运行任何各种商业上可获得的操作系统以及其他已知应用的多个工作站。这些装置还可以包括其他电子装置,例如虚拟终端、瘦客户端、游戏系统以及能够经由网络进行通信的其他装置。

大多数实施方式利用本领域技术人员熟悉的至少一个网络来支持使用任何各种商业上可获得的协议例如TCP/IP、UDP、OSI、FTP、UPnP、NFS、CIFS等的通信。网络可以是例如局域网、广域网、虚拟专用网、因特网、内联网、外联网、公共交换电话网络、红外网络、无线网络以及它们的任何组合。

在利用网络服务器的实施方式中,网络服务器可以运行任何各种服务器或中间层应用,包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器和业务应用服务器。服务器还可以能够响应于来自用户装置的请求例如通过执行一个或更多个应用来执行程序或脚本,所述一个或更多个应用可以被实现为以任何编程语言编写的一个或更多个脚本或程序,所述编程语言包括但不限于C、C#或C++或者诸如Perl、Python或TCL的任何脚本语言及其组合。服务器还可以包括数据库服务器,包括但不限于从商业上可获得的数据库服务器。

这样的装置还可以包括计算机可读存储介质读取器、通信装置(例如,调制解调器、网卡(无线或有线)、红外通信装置等)以及如上所述的工作存储器。计算机可读存储介质读取器可以与非暂态计算机可读存储介质连接,或者被配置成容纳非暂态计算机可读存储介质,所述非暂态计算机可读存储介质表示远程存储装置、本地存储装置、固定存储装置和/或可移除存储装置以及用于临时地和/或更持久地包含、存储、传输和检索计算机可读信息的存储介质。系统和各种装置通常还将包括位于至少一个工作存储器装置内的多个软件应用、模块、服务或其他元件,至少一个工作存储器装置包括操作系统以及诸如客户端应用或浏览器的应用程序。应当理解,与上面描述的实施方式相比,替选实施方式可以具有许多变型。例如,还可以使用定制的硬件,和/或特定元件可以被实现在硬件、软件(包括便携式软件,例如小应用程序)或这两者中。此外,可以采用与其他计算装置例如网络输入/输出装置的连接。

用于操作输入装置的系统的示例

图20是根据某些实施方式的被配置成操作输入装置100/200的系统2000的简化框图。系统2000包括处理器2010、操作逻辑2020、移动跟踪系统2930、通信系统2040、输入检测系统2050和电力管理系统2060。系统块2020至2060中的每个块可以与处理器2010进行电通信。系统2000还可以包括未示出或被讨论以防止使本文中描述的新颖特征混淆的附加系统。

在某些实施方式中,处理器2010可以包括一个或更多个微处理器(μC)并且可以被配置成控制系统2000的操作。替选地,如本领域普通技术人员所理解的,处理器2010可以包括具有支持的硬件和/或固件(例如,存储器、可编程I/O等)的一个或更多个微控制器(MCU)、数字信号处理器(DSP)等。替选地,MCU、μC、DSP等可以被配置在系统1700的其他系统块中。例如,操作逻辑块可以包括用于控制本文中描述的自动接收器/BLE连接过程(例如,参见图3至图4)、覆盖层过程(例如,参见图5至图7)等的本地处理器。在一些实施方式中,多个处理器可以在系统1700速度和带宽方面提供增强的性能。应当注意,虽然多个处理器可以提高系统1700性能,但是多个处理器不是本文中描述的实施方式的标准操作所需要的。

如上面关于图1至图18D所描述的,操作逻辑2020可以包括可以执行与输入装置100/200相关联的各种步骤、操作和功能的软件、固件或硬件的任何组合。例如,如上面关于图2至图4所描述的,操作逻辑2020可以控制输入装置100/200的分层连接方案。操作逻辑2020可以控制上面关于图5至图7描述的覆盖层功能的各种实施方式以及在本公开内容中所描述和/或支持的任何其他功能(例如,突出显示、缩放、智能开/关、无睡眠模式等)。操作逻辑2020可以被存储在可以存储提供本公开内容的实施方式的功能的程序代码和/或数据的任何适合的非暂态计算机可读存储介质中。即,操作逻辑2020可以存储要由处理器(例如,处理器2010)执行的一个或更多个软件程序。应当理解,“软件”可以指代指令序列,所述指令序列在由处理单元(例如,处理器、处理装置等)执行时,使系统2000执行软件程序的某些操作。指令可以被存储为驻留在只读存储器(ROM)中的固件和/或存储在介质存储装置中的可以被读取到存储器中以由处理装置进行处理的应用。软件可以被实现为单个程序或单独程序的集合,并且可以被存储在非易失性存储装置中,并且在程序执行期间全部或部分地被复制到易失性工作存储器。处理装置可以从存储子系统中检索用于执行的程序指令,以执行如本文中所描述的各种操作(例如,自动耦接——图3至图4)。在一些实施方式中,与操作逻辑2020相关联的存储器可以包括RAM、ROM、固态存储器、基于磁或光的存储器系统、可移除介质(例如,“拇指驱动器”、SD卡、基于闪存的装置),或本领域已知的其他类型的存储介质。本领域普通技术人员将理解其许多变型、修改和替选实施方式。

移动跟踪系统2030可以被配置成跟踪输入装置100的移动。在某些实施方式中,可以使用一个或更多个加速度计进行移动检测。加速度计可以是被配置成测量加速力(例如,静态力和动态力)的机电装置(例如,微机电系统(MEMS)装置)。一个或更多个加速度计可以用于检测三维(3D)定位。例如,3D跟踪可以利用三轴加速度计或两个双轴加速度计。加速度计可以提供可以包括输入装置100的速度、物理取向和加速度的移动数据。例如,如上面关于图5至图8所讨论的,移动跟踪系统2030可以向主计算机提供移动数据以控制屏幕上的光标。在一些实施方式中,陀螺仪可以替代加速度计使用或与加速度计结合使用,以确定移动或输入装置取向。移动跟踪系统2030可以向处理器2010报告移动信息。

根据某些实施方式,通信系统2040可以被配置成提供输入装置100/200与主计算装置之间的无线通信。通信系统2040可以采用任何合适的无线通信协议——任何合适的通信协议包括但不限于基于的通信协议(例如,BLE)、IR、Wi-Fi(IEEE 802.11)、Thread、协议或其他合适的通信技术——以促进输入装置100/200与主计算装置(例如,主计算装置210、220、240、250中的任何主计算装置)之间的无线双向通信。系统2000可以可选地包括与主计算装置的硬接线连接。例如,输入装置100可以被配置成容纳通用串行总线(例如,USB-C)线缆以实现输入装置100与主计算装置之间的双向电子通信。一些实施方式可以利用不同类型的线缆或连接协议标准来建立与其他实体的硬连线通信。

如上面关于图1进一步描述的,输入检测系统2050可以被配置成检测输入装置100上的一个或更多个按钮、触敏表面等上的触摸或触摸姿势。如本领域普通技术人员所理解的,输入检测系统2050可以包括一个或更多个触敏表面、触摸传感器、按钮、控件或其他用户接口。触摸传感器通常包括适于检测信号例如直接接触、电磁场或静电场或电磁辐射束的感测元件。触摸传感器可以被配置成检测接收到的信号的变化、信号的存在或信号的不存在中的至少一个。

电力管理系统2060可以被配置成管理输入装置100的电力分配、再充电、电力效率等。在一些实施方式中,电力管理系统2060可以包括电池(未示出)、用于电池的基于USB的再充电系统(未示出)、电力管理装置和系统2000内用于向每个子系统(例如,加速度计、陀螺仪等)提供电力的电网。在某些实施方式中,由电力管理系统2060提供的功能可以被结合到处理器2010中。电源可以是可更换电池、可再充电能量存储装置(例如,超级电容器、锂聚合物电池、NiMH、NiCd)或有线电力供应装置(例如,经由USB-C端口——参见图1)。本领域普通技术人员将理解其许多变型、修改和替选实施方式。

应当理解,系统2000是说明性的并且变型和修改是可能的。系统2000可以具有此处未特别描述的其他能力(例如,移动电话、全球定位系统(GPS)、电力管理、一个或更多个摄像装置、用于连接外部装置或配件的各种连接端口等)。此外,虽然参照特定块描述了系统2000,但是应当理解,这些块是为了方便描述而定义的,并且不旨在暗示部件部分的特定物理布置。此外,这些块无需对应于物理上不同的部件。块可以被配置成例如通过对处理器进行编程或者提供适当的控制电路来执行各种操作,并且取决于如何获得初始配置,各种块可以是或可以不是可重新配置的。本发明的实施方式可以在包括使用电路和软件的任何组合实现的电子装置的各种设备中实现。此外,系统2000的各方面和/或部分可以根据设计需要与其他子系统组合或由其他子系统操作。例如,操作逻辑2020可以在处理器2010内进行操作而不是用作单独的实体。前述实施方式不旨在是限制性的,并且本领域普通技术人员在本公开内容的益处下将理解无数应用和可能性。

其他变型在本公开内容的精神内。因此,虽然所公开的技术容许各种修改和替选构造,但是其某些说明性的实施方式在附图中示出并且已经在上面进行了详细描述。然而,应当理解,并不意图将本公开内容限于所公开的(一种或多种)特定形式,相反地,本发明将覆盖落入如所附权利要求所限定的本公开内容的精神和范围内的所有修改、替选构造和等同物。

除非本文另外指出或者通过上下文明显矛盾,否则在描述所公开的实施方式的上下文中(特别是在所附权利要求的上下文中)术语“一”、“一个”和“该”以及类似指示词的使用应被解释为涵盖单数和复数两者。除非另外指出,否则术语“包括”、“具有”、“包含”和“含有”应被解释为开放式术语(即,意指“包括但不限于”)。即使存在中介物,术语“连接”也应被解释为部分或完全包含在内、附接至或接合在一起。短语“基于”应被理解为开放式的并且不以任何方式进行限制,并且在合适情况下意在被解释或以其他方式解读为“至少部分地基于”。除非本文另外指出,否则本文中数值范围的列举仅意在用作单独涉及落在范围内的每个单独值的速记方法,并且在本文中每个单独值被合并到本说明书中,如同其被单独列举一样。除非本文中另外指出或通过上下文明显矛盾,否则可以以任何合适的顺序执行本文中描述的所有方法。除非另外声明,否则本文提供的任何和所有示例或示例性语言(例如,“例如”)的使用仅意在更好地说明本公开内容的实施方式,而不对本公开内容的范围构成限制。说明书中的语言不应被解释为指示任何未要求保护的元素对实践本公开内容必不可少。

53页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:鼠标装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类