阅读说明：本技术 具有情境感知显示器的控制器 (Controller with context aware display ) 是由 S·E·帕拉津斯基 J·W·布尔 N·M·迪克南 R·安吉洛 A·M·马特松 M·C·刘 于 2018-10-26 设计创作，主要内容包括：一种用于命令或控制诸如远程交通工具或虚拟目标之类的目标的手持控制器包括安装在操纵杆的自由端上的显示器,用于基于由手持控制器从目标接收到的目标的位置和朝向以及手持控制器的位置和朝向,以图形方式指示远程交通工具关于手持控制器的方向以及目标相对于手持控制器的参考系的朝向。(A handheld controller for commanding or controlling a target, such as a remote vehicle or a virtual target, includes a display mounted on a free end of a joystick for graphically indicating a direction of the remote vehicle with respect to the handheld controller and an orientation of the target relative to a frame of reference of the handheld controller based on a position and orientation of the target and a position and orientation of the handheld controller received by the handheld controller from the target.)

具有情境感知显示器的控制器

技术领域

本公开涉及用于增强对控制器的情境感知的视觉增强，人利用该控制器命令远程目标(特别是诸如空中无人机(aerial drone)之类的无人交通工具、遥控水下交通工具、机器人臂和工业起重机，以及虚拟现实和增强现实模拟、3维对象的计算机辅助设计以及计算机游戏中的目标)的移动。

背景技术

输入设备或控制器，诸如操纵杆、控制柱、计算机鼠标、循环操纵杆和脚踏板，通过感测正在命令或控制目标的移动和操作的人对一个或多个控制构件的移动来生成用于真实或虚拟目标的控制输入。这些类型的控制器已用于控制诸如用于控制目标的俯仰、偏航和滚转之类的参数的输入，以及诸如三维(3D)空间中的平移(例如，x、y和z轴移动)、速度、加速度和/或各种其它命令参数之类的导航参数的输入。可以远程控制其移动的物理目标的示例包括飞机，诸如无人机、潜水器、机器人臂、工业起重机和航天器。可以远程控制其移动的虚拟目标的示例包括虚拟和增强现实模拟、3-D对象的计算机辅助设计以及各种计算机游戏。

当控制和操作能够从远处进行控制的无人驾驶交通工具(诸如空中无人机(例如，四轴飞行器))时，命令或驾驶远程交通工具的人通常必须维持远程交通工具的可见视线(VLOS)以便进行导航。但是，用户有时会暂时看不见或无法清晰或清楚地观察到目标的位置、移动、高度和/或朝向。这在涉及能够行进超出用户的可见视线(BVLOS)的设备的情况下也可能发生。在其它情况下，在朦胧的大气条件或低对比度环境条件下，当目标从操作员的角度被遮挡时，可能会发生这种情况。

发明内容

本公开描述了控制器的实施例的代表性的非限制性示例，该控制器包括用于控制物理和虚拟目标的移动的操纵杆，以及用于向操作员显示情境感知信息的显示器。

在一个代表性实施例中，控制器包括操纵杆，在操纵杆上安装有视觉显示器，该视觉显示器指示目标方向以及目标在控制器的参考系内并基于控制器的朝向的行进方向。

下面结合附图描述附加的方面、优点、特征和实施例。

附图说明

图1A和图1B是能够控制商用无人机和其它远程无人驾驶交通工具以及计算机或模拟环境中的虚拟目标的手持控制器的示例的示意图。

图2是手持控制器的示例的简化透视图。

图3是用于命令远程交通工具的控制器的显示目标情境感知信息的代表性视图显示器。

图4是显示目标与控制器的关系的代表性情境，该控制器包括图3的显示器。

图5A是能够显示目标情境感知信息的示例性手持控制器的后透视图。

图5B是图5A的手持控制器的正视图。

图5C是图5A的手持控制器的左侧视图。

图5D是图5A的手持控制器的右侧视图。

图5E是图5A的手持控制器的底部右前透视图。

具体实施方式

为了促进对下面要求保护的本发明的原理的理解，现在将参考附图中图示的实施例和示例。通过描述具体的实施例和示例，除非明确给出术语的定义，否则不意图限制所要求保护的主题的超出权利要求书中列出的字面含义的范围。在利用所要求保护的主题的同时，可以对所描述的实施例和示例进行更改和进一步修改，因此，可以将其视为在所要求保护的主题的范围内。

在下面的附图和描述中，附图不一定按比例绘制。本发明的某些特征可以以示意图的形式示出。为了清楚和简洁起见，常规或先前描述的元件的细节或存在可能未在图中示出。

本文引用的所有专利、专利申请、文章、其它出版物、文件和事物均通过该引用整体并入本文用于所有目的。对于在任何并入的出版物、文件或事物与本申请之间的术语的定义或使用中任何不一致或冲突的程度而言，以本申请的为准。

本公开描述了控制系统的若干实施例，该控制系统允许用户使用单手来命令控制目标或参考点(POR)。这些实施例中的每个实施例都是具有一个或多个控制构件的控制器的代表性非限制性示例，该一个或多个控制构件在被用户的手或手指移位时，在其被移位的每个移动自由度中生成一组信号。这些信号中的每个信号然后用于生成控制输入，这些控制输入被传输到目标控制系统。控制器将传感器信号映射到预定的控制输入。在一个实施例中，可以改变或编程该映射，使得可以将利用控制器命令的来自任何自由度的信号映射到目标的任何控制输入。

优选地，控制构件被安装到由用户保持或穿戴的基座或平台上，该基座或平台充当用于测量控制器的第一控制构件的移位的参考系；容纳用于对接用于测量移位的传感器的信号调节电路、用于运行软件编程的处理(诸如本文描述的那些处理)的处理器、用于供电的电池或其它源、用于其它硬件的接口、以及用于无线通信的发射器和接收器。一个非限制性代表性示例是移动控制器系统。用一只手握住的、其一个或多个控制构件由另一只手移位的移动控制器即使在移动(例如，步行、滑雪、跑步、驾驶)的同时也提供一致的已知参考系(通过用户的另一只手保持稳定)。对于某些类型的应用，例如检查、安全和电影摄影无人机任务，可以将手持控制器安装在可以由用户的另一只手握住或以其它方式稳定的平台上。该平台可以包括辅助控件，并且如果需要，可以包括显示单元。在一个示例中，控制器的所有6-DoF输入都可以通过平台进行反应，该控制器的第一控制构件具有3-DOF的移动，并且安装到第一控制构件的第二控制构件具有附加的3-DOF的移动。通过这种布置，控制系统的这个示例像具有直观(非思考(deliberate)认知)输入的战斗机飞行员一样促进了空中移动。

美国专利申请号13/797,184和15/071,624各自通过引用整体并入本文，它们描述了控制器的若干个实施例，该控制器可以被配置为允许用户同时且独立使用可通过单手操作的控件，使用单手来生成具有四到六个自由度(6-DOF)的控制输入。(控制器可以被制成具有能够以4DOF、5DOF或6DOF进行移位的结构，或者它可以被制成具有能够以例如6DOF工作但被配置或设置为生成用于目标的少于所有6个自由度的控制输入的结构。在这些应用中描述的单手控制器的各个方面单独地和/或与这些方面中的其它方面组合，可以更好地使用户无论他们处于运动状态还是静止状态(例如诸如计算机增强或虚拟现实游戏玩家、飞行员、远足者、滑雪者、安全/SAR人员、战斗人员等等)都能够通过使得在生成控制输入的同时还限制交叉耦合(意外运动)来控制物理和/或虚拟三维空间中的资产或目标。具有这些特征的控制器可以用于允许控制器在计算机辅助设计、无人机飞行、各种类型的计算机游戏、虚拟和增强现实以及需要在空间中精确移动的其它虚拟和物理任务的控制要求中使平移(在物理空间或X、Y和Z中的移动)与姿势调整(俯仰、偏航或滚转)分离。

图1A和图1B图示了用于远程物理或虚拟目标的控制器的示例，该控制器包括三个控制构件：第一控制构件102、可选的第二控制构件104和可选的第三控制构件106。第一控制构件为被操作者抓住的操纵杆的形式。操纵杆具有三个移动自由度(DOF)：围绕两个正交轴中的每个轴旋转，以及围绕与其它两个轴正交的第三轴旋转。例如，可以使用3个移动DOF来生成针对目标的俯仰、偏航或滚转的控制输入。第一控制构件耦合到基座，使得它可以被枢转。第一控制构件的使其能够枢转的支撑件感测或测量第一控制构件相对于基座的角移位，以生成控制器将用来生成控制输入的信号。操纵杆的3个移动DOF可以被映射为生成用于旋转和平移轴的控制输入的任何组合。

第二控制构件104可以安装在第一控制构件上以提供至少第四自由度，以使控制器能够生成适合于飞行(例如，无人机)的控制输入。例如，用户的拇指或食指可以操纵该第二控制构件。另一个传感器如下所述检测第二控制构件相对于第一控制构件的移位或第二控制构件与第三控制构件之间的连杆(linkage)。

用户的手108在第一控制构件的专门形成或适于抓握的区域中抓握第一控制构件。用户的拇指110用来沿着Z轴使第二控制构件104移位。在这个示例中，拇指环用来允许用户的拇指向上拉第二控制构件。但是，拇指环不是必须被使用的。在其它实施例中，拇指环可以用另一种类型的控制构件代替。第三控制构件安装在抓握部分的下方，并且足够大，以使用户的第三、第四或第五手指114中的任何一个或多个朝第一控制构件向内按压它。替代地，可以将第三控制构件安装得足够高，以允许用户的食指112按压它。在图1A中，第二控制构件向上延伸，并且第三控制构件被按压。用户可以通过按压第三控制构件、向上拉第二控制构件或两者的组合来引起这种移位。在图1B中，第二控制构件朝第一控制构件被压下，导致第三控制构件从第一控制构件向外推动。与单独用拇指相比，通过用一个或多个手指挤压而向后推第三控制构件的能力使用户更容易控制移位。控制器100包括延伸部分116，该延伸部分116在第二控制构件104的后面(相对于用户)和上方延伸。

图2是类似于图1A和图1B中所示的控制器100的手持控制器200的示意图。它包括第一、第二和第三控制构件202、204和208，这些控制构件的操作类似于上面结合其它手持控制器所述的操作。像控制器100一样，第一控制构件包括扩展部分210(在这个示例中，它是与第一控制构件整体形成的，但是它可以是附接的单独的部件)，其上有显示器212，该显示器指示从目标(诸如空中无人机)传输的信息。它可以显示的信息的示例包括行进的方向、高度和其它位置或朝向信息。对于其它类型的驾驶任务，可以显示特定于任务的数据，例如，对于远程驾驶的潜水器，可以在显示器上呈现深度、当前速度、当前方向和电池电量。

现在转向图3和图4，图3中示意性地图示了图形显示器310的示例，该图形显示器310的大小适合于放置在手持控制器上，用于向远程驾驶移动目标的用户或人立即提供可用的关键情境感知信息。这样的目标的示例包括先前提到的那些目标，包括真实的和虚拟的目标。将在涉及无人驾驶空中飞行器、水船(water vessel)(在水面上或在水面下)或由远程飞行员命令的类似设备的应用的上下文中描述具有一个或多个情境感知显示器的控制器的所示实施例。但是，手持控制器也可以适于控制虚拟目标。

图4描绘了用户402利用手持控制器406命令空中无人机404的示例，该空中无人机404在该示例中是四轴飞行器。控制器将控制输入传输到空中无人机上的控制器。无人机还将信号无线传输回遥控器406。虽然未示出，但是控制器可以包括例如两个操纵杆，这两个操纵杆被定位成当用户用双手抓握控制器时由用户的拇指进行操作。如上面所描述的示例，它还可以由单手控制器组成，该单手控制器具有被用户的手抓握的第一控制构件和安装在第一控制构件上的可选的第二控制构件。

图3中所示的情境感知显示器向用户402呈现两种或更多种类型的情境感知信息。在图4中所示的示例中，情境感知信息包括相对于用户的参考系(由线408指示)从用户402到目标(空中无人机404)的方向(由虚线410指示)；以及目标相对于用户的参考系的朝向，如箭头414所指示的。目标相对于用户参考系的朝向还指示其移动时行进的方向。目标的朝向由目标的性质来确定，并由目标的控制系统预定义。它通常由目标的鼻部正在指向的方向来确定。在无人机的情况下，通常将相机放置或定向在空中无人机的鼻部或前部的方向上。

用户的参考系是通过控制器406被定向的方向建立的。因为控制器通常被设计为或旨在与其用户具有预定朝向，因此控制器的朝向通常将对应于用户正在面对的方向。虚线408指示控制器的朝向，在这个示例中，其被指示为0°。在替代实施例中，参考系可以相对于实际环境固定。但是，在用户或飞行员命令目标的上下文中显示情境感知信息允许用户通过向下看被握住的控制器的控制构件来对情境进行快速和直观的评估。虚线410指示目标方向，两者之间的角度412指示无人机的位置与控制器的相对方向。

在这个示例中的图形显示器包括具有弧形形状的目标方向(direction-to-target)指示器312和具有圆圈形状的指示目标的360度朝向的目标朝向指示器314。在这个示例中，指示器彼此同心。但是，在替代实施例中，圆弧和圆圈的相对位置可以交换，即圆弧在圆圈内部。在另一个替代实施例中，它们可以并排布置。

目标方向指示器312通过激活沿着指示器的预定义形状的多个预定义位置313之一处的视觉元件可视地显示目标方向，该视觉元件与控制器(特别是控制器上的操纵杆)和目标之间的线最紧密对准。圆圈316指示在所示场景中的视觉激活。

目标在控制器的参考系(相同的参考用于确定目标方向)内的朝向由目标朝向指示器314通过激活在以圆圈状图案布置的多个预定义位置315之一处的视觉元件来指示。在最接近目标在控制器参考系内的朝向的位置处激活视觉元件。圆圈318指示在所示场景中的视觉激活。控制无人机或虚拟目标时的目标朝向与无人机的偏航对应。

可以基于期望的精度水平来选择(从图中所示的增加或减少)目标方向指示器312和目标朝向指示器314中的视觉元件的位置313和315的数量。此外，可以切换两个指示器的相对位置，即目标朝向指示器314围绕目标方向指示器312。

包括指示器312和314中任一个的视觉元件的激活可以通过照亮或显示该元件来实现，或者如果已经在视觉上可感知，那么可以通过在视觉上突出显示来实现。更改视觉上可感知元件的强度、大小、颜色或形状或更改其背景是突出显示它的方式的示例。

在优选实施例中，各个指示器的整体形状或图案是用户视觉上可感知的。例如，这可以通过在每个位置313和315处具有始终可感知的视觉元件，并以如上所述的突出显示或以其它方式引起对它的注意的方式激活一个视觉元件来指示方向或朝向来实现。它也可以通过轮廓线或以其它方式建议相应指示器312和314的形状来实现。例如，取决于实施方式，在一些实施方式中可以使用印刷的覆盖物或掩模来这样做。

在所示的实施例中，使用在位置313中的每个位置处的离散视觉元件来实现目标方向指示器312。这些元件安装在例如电路板上，并沿着曲线或弧线布置。类似地，使用在位置315中的每个位置处的一个或多个离散视觉元件来实现目标朝向指示器314，对于朝向指示器314以圆圈方式布置这些视觉元件。这些离散视觉元件在未激活时可以是视觉上可感知的，或者如果不是视觉上可感知的，那么可以被照亮。为了激活指示器上的离散视觉元件之一，可以通过例如更改其强度和/或颜色来突出显示它。通过激活最接近从手持控制器的目标方向的视觉元件来指示从手持控制器的目标方向。类似地，针对目标的朝向激活最接近目标的朝向的离散视觉元件。

可以用于指示器312和314中任一个或两者的离散视觉元件的示例是离散照明元件。离散照明元件的一个非限制性示例包括发光二极管(LED)。取决于实施方式，指示器还可以包括用于为每个离散视觉元件创建图案(诸如箭头尖端或其它形状)的掩模以及为光着色的滤光器。

在替代实施例中，移动的元件(诸如秒针(sweeping hand))可以代替用于指示器中任一个或两者的离散元件的阵列。

指示器312和314的替代实施方式是使用LCD或包括像素阵列的其它类型的屏幕以及运行在屏幕上以图形方式生成指示器312和314的处理器的软件。虽然使用软件生成指示器具有优势，但与使用可编程显示器(诸如LCD、OLED或用于各种类型的电子设备中的图形用户界面的类似类型的屏幕)相比，使用离散视觉元件更便宜、复杂度低且更可靠。

目标方向指示器被定向为使得中心灯与0°参考408对准，并且在一个代表性示例中，从中心在任一方向上在-90°和90°之间延伸。一般而言，在视距(VLOS)内操作目标的飞行员或用户应该知道目标应该在哪里，因此通常不需要能够显示与目标的完全360度。但是，在替代实施例中，目标方向指示器可以进一步延伸甚至是圆圈。但是，将弧形形状用于目标方向指示器节省空间，因此对于给定的显示器尺寸，允许弧和内圆更大。

在所示的示例中，将不同形状的视觉元件用于每个指示器。目标方向指示器312使用点状形状，并且目标朝向指示器314使用三角形或纸平面状形状。不同形状的视觉元件允许用户快速且直观地区分它们。视觉元件的其它形状可以被替换。

图形显示上还可以包含关于情境的附加信息，包括以下一项或多项：速度、高度、深度(在潜水器或潜艇的情况下)、电池电量、无线连接的质量、操作的模式和各种系统的状态。如果控制器用于控制机器人臂(诸如外科手术机器人)，那么图形显示可以包括例如由机器人臂感测到的例如阻力(例如压力或力)的指示器。在这个示例中，显示器在其中央包括视觉指示器320。在这个示例中，它由已激活的灯组成。圆圈322表示激活状态。当被激活时，视觉指示器320警告用户或飞行员他或她在控制中并且压力或电容式“无人保护(deadman)”传感器是活动的。如果用户释放用户用来命令目标的操纵杆或其它控制构件，那么可以将目标编程为例如进入并执行预定例程，诸如悬停，或进入自主返回家模式。感测人是否正在握住手持控制器的无人保护开关确保没有人意外撞到手持控制器并导致生成控制输入。仅当用户通过抓住控制构件而接合无人保护开关时，控制器才是活动的。因此，无人保护开关确保在复杂和高风险环境中控制资产的控制级别和安全性。

图3描绘了目标方向指示器312和目标朝向指示器314的示例性操作。在图4的示例中，无人机定向在用户的前面和右边。在图4的描绘中，角度412为约30度。如圆圈316所示，目标方向指示器312因此激活视觉元件313中包括最接近30度的目标方向指示器313的视觉元件313。无人机404的朝向由箭头414指示。在所示的情境中，无人机在控制器的参考系内以270度的前进方向(heading)定向。目标朝向指示器314通过激活如圆圈318所示的内圆或拨盘上处于或接近270度的离散视觉元件315来指示朝向。

此外，目标方向指示器312和目标朝向指示器314的视觉元件的呈现不必是弧形或圆圈形状。此外，除非明确说明，否则术语“弧形”和“圆圈”并不旨在限于严格地说是几何圆圈或圆圈的片段的曲线。相反，除非另有说明，否则这些术语旨在表示在视觉上能够指示以控制器为中心的二维参考系内的角度方向和角度朝向的任何形状。例如，传统的表面或拨盘的形状可以是正方形、椭圆或多边形，但是数字通常以围绕拨盘的圆圈方式布置。

在不同的实施例中，相同的情境感知信息可以以不同方式呈现在图形显示器上。一个示例包括针对每个指示器的单独箭头或拨盘、非图形表示(诸如数字和文本信息)以及图形、数字和文本的组合。但是，它可能没有上面提到的可快速且直观地辨别控制器与目标之间的空间关系的优点。例如，当通过扭转安装有图形显示器的控制构件生成对例如空中无人机的偏航输入时，目标朝向指示器314在空间上对应于控制构件的运动。

显示器310最有利地位于控制构件上，特别是位于操纵杆或类似类型的控制构件的端部上，该操纵杆或类似类型的控制构件在被用户抓握或以其它方式进行操纵的同时将在用户前面。但是，它也可以位于安装有控制构件的控制器的基座上，以及位于安装在基座上的显示器或平视(heads-up)显示器上。

显示器310上显示的情境感知可以来自任何数量的输入，但是通常，情境感知是由目标设备确定并传输到手持控制器的，或者是由手持控制器结合基于智能电话的加速度计和相关应用确定的。

以下是处理的一个示例，通过该处理可以由手持控制器确定目标方向和目标朝向。例如，通过在“智能电话”或具有处理器的其它设备上运行的应用来实现该处理，该处理器可以运行计算机应用，并使用有线(USB)或无线(例如，)连接与控制器通信。

远程控制的交通工具确定其自身的位置和前进方向，然后将其传输至手持控制器。手持控制器接收该信息。远程交通工具的位置由机载控制系统根据GPS或其它地理定位服务确定。如果使用GPS，那么机载GPS单元可以根据GPS信号计算交通工具的纬度、经度和高度以及时间。远程交通工具机载的飞行计算机还根据惯性测量单元(IMU)或加速度计确定其朝向。

手持控制器的位置(纬度、经度、高度和时间)使用GPS和/或蜂窝塔三角测量从与控制器一起使用的智能电话获得。手持控制器的朝向可以从相对于手持控制器以已知朝向附接到它的智能电话获知。通常，智能电话根据IMU、加速度计和磁力计确定朝向。但是，它可以通过其它方式确定。运行在智能电话上或由手持控制器中的处理器运行的应用基于智能电话的朝向并因此基于智能电话安装到的手持控制器的朝向来执行相对角度(位置和偏航)的计算。

然后，由应用执行的处理通过基于控制构件或操纵杆上的电容式无人保护开关的状态检测用户的手是否正确放置在控制构件或操纵杆上来确定是否正在向目标发送有意的命令。

该处理基于从目标接收和由智能电话提供的输入位置和朝向数据继续计算与目标的相对方向和目标的相对目标朝向，以显示给用户或操作员。指示这些值的数据经由无线(例如，)或有线连接传输到作为手持控制器的一部分的飞行控制器。在飞行控制器上运行的固件解释数据并激活控制构件上的显示器310上的指示器312和314以指示计算出的角度。

在其它实施例中，不是使用智能电话，而是手持控制器可以与另一种类型的存储和运行用于执行该处理的软件的基于处理器的设备或计算设备(诸如平板电脑、膝上型计算机或可穿戴计算设备)通信。替代地，手持控制器并入了用于运行软件并确定地理坐标和朝向的硬件。

图5A-5E描绘了手持控制器510的另一个非限制性示例，该手持控制器510被配置为命令诸如四轴飞行器之类的空中无人机，但是它也可以适于控制以多个自由度(最多六个自由度)移动的其它类型的目标。手持控制器510具有第一控制构件512，该第一控制构件512具有三个独立的移动自由度，并被配置和成形为被操作者或飞行员的手抓握。控制构件512的近端枢转地连接到基座514，使得控制构件512可以沿着x轴独立地枢转并且可以沿着y轴独立地枢转。基座的尺寸和形状被配置为由操作员的未抓握控制构件的手(如手533所指示的)保持。沿着x轴枢转控制构件512相对于基座514左右倾斜或移动控制构件512的远端。沿着y轴枢转控制构件512使控制构件512的远端相对于基座514向前和向后枢转。可以使控制构件512仅沿着x轴或y轴枢转，或者可以同时绕x轴和y轴枢转。控制构件512和基座514之间的枢转连接可以通过许多枢转类型的连接来实现，诸如万向接头或球窝(ball andsocket)。通过围绕正交于x和y轴的z轴扭动控制器，控制器也可在第三自由度中移动。因此，第一控制构件以三个自由度移位，每个自由度可以用于生成三个独立的控制输入，用于命令目标的三个移动自由度。

第四移动自由度由位于控制构件512的远端上的控制构件516提供。在这个示例中，控制构件516是通过操作者的拇指沿着z轴拇指可移位的，该操作者的拇指放置在控制构件516上并由拇指扣522保持。拇指扣522可调节以适应特定用户拇指的大小，使得用户拇指的移动将被转换成控制构件516的移动。控制构件518是触发式控制构件，其可以由用户的抓握第一控制构件的同一只手上的食指进行操作。控制构件516和控制构件518被链接以彼此相对移动以生成第四控制输入。操作者使用操作者的拇指和控制构件516通过用用户的拇指向下按压来向下移动控制构件516。用户可以通过抬起被连接到控制构件516的拇指扣522保持住的用户的拇指来向上移动控制构件。操作者还可以通过挤压控制构件518来向上移动控制构件516。控制构件516和控制构件518之间的协作可以以任何多种方式来实现，包括使用直接的机械连杆或通过致动器。在替代实施例中，控制构件518可以被省略或不链接到控制构件518，在这种情况下，它可以用于其它目的。

图5A-5E中描绘的手持控制器510还包括在控制器顶部的延伸部分520上的显示器524。该延伸部分允许显示器更好地面向操作者，因此操作者可以操作手持控制器并同时观察显示器524。它还允许容纳第二控制构件516。显示器524用于向操作员提供关于由手持控制器控制的设备的情境感知信息。在这个示例中，显示器524如以上关于图3和图4所述进行操作。

图5A-5E的示例手持控制器还包括用于智能电话的显示器支架552和臂554。当用于操作无人机时，显示器通常用于向操作员显示无人机相机的视图。智能电话被安装在显示器支架552中，并且通过有线或无线方式连接到手持控制器，使得可以将从无人机传输到手持控制器的相机视频显示在蜂窝电话上。在其它实施例中，可以使用其它显示设备，诸如平板电脑、计算机、监视器、智能眼镜、第一人视角(FPV)护目镜或独立显示器。在智能电话或其它计算设备上运行的应用可以用于对控制器进行编程和设置参数。

图5A-5E中描绘的手持控制器510的示例还包括基座514，在基座514上安装或定位有许多其它控件。在这个旨在用作无人机的手持控制器的示例中，这些其它控件与空中无人机的控制和操作相关。控制器514的基座包括用于各种设置、功能和控制(包括用于相机设置532，相机倾斜534、快门释放536和视频记录538)的若干个按钮、拨盘和开关。飞行灵敏度旋钮530设置用户对手持控制器移动的移动灵敏度等级的等级，以增加或减小无人机对移动的响应性。可编程按钮540可以由操作员编程以执行操作员期望的功能。控制器打开/关闭开关或按钮542用于使到手持控制器的电源接通或关断。备战(arm)无人机按钮544使无人机能够起飞。回家(RTH)按钮546可以用于将使无人机自主返回到预先指定的地点的命令传输到无人机。当手持控制器打开时，电源指示灯548点亮，并且电池指示器550指示手持控制器电池的电量。

控制器的基座，除了充当用于测量控制器的第一控制构件的移位的参考系外，还容纳用于对接用于测量移位的传感器的信号调节电路、用于运行软件编程的处理(诸如本文描述的那些处理)的处理器、电池或其它电源、用于其它硬件的接口以及用于无线通信的发射器和接收器。

像图5A-5E中所述的那样的移动式双手控制器系统即使在移动(例如步行、滑雪、跑步、驾驶)的同时也提供一致的已知参考系(通过用户的另一只手保持稳定)。对于某些类型的应用，例如检查、安全和电影摄影无人机任务，可以将手持控制器安装在可以由用户的另一只手保持或以其它方式稳定的平台上。该平台可以包括辅助控件，并且如果需要，可以包括显示单元。在一个示例中，控制器的所有6-DoF输入都可以通过平台进行反应，该控制器的第一控制构件具有3-DOF的移动，并且安装到第一控制构件的第二控制构件具有附加的3-DOF的移动。通过这种布置，控制系统的这个示例像具有直观(非故意认知)输入的战斗机飞行员一样促进了空中移动。

具有这些特征中任何一项或多项及其变体的控制器可以用于诸如以下的应用：飞行模拟、无人机飞行、固定翼和旋转翼飞行、计算机游戏、虚拟现实和增强现实导航、空中加油、外科手术机器人、陆地和海洋机器人控制以及许多其它应用。

基座可以可选地并入附加用户界面元件，诸如键、按钮、拨盘、触摸板、跟踪板、轨迹球和显示器，或者用于保持充当显示器的智能电话、平板电脑或其它设备的托架。来自受控制的应用的视频或图形图像可以实时显示在显示器上，诸如来自无人机的实况视频，或者可以显示游戏。替代或可选特征包括以下特征中的一个或任何两个或更多特征的组合。通过快速断开操纵杆和两个安装点可以针对任一只手重新配置基座。它可以是不对称形状或者是对称形状，并具有足够的空间用于辅助控件。在一个实施例中，抓握部或手柄可以位于更靠近控制器的中线处，从而减少一些离轴力矩。在其它实施例中，可以通过将基座安装到用户的身体上而不是保持基座来使其稳定。用户身体上的基座的安装点的示例包括胸部支架、带子和衣物。

可以用来检测和可选地测量控制构件的移位的传感器的示例包括惯性测量单元、电位计、光学编码器、霍尔效应传感器等。来自传感器的信号由处理器接收，处理器生成控制输入，这些控制输入通过射频、光或有线(电或光)信号传输。允许控制构件枢转以指示移位的机构(诸如万向节)可以可选地包括用于使控制构件居中的扭转弹簧和用于测量角移位的传感器，诸如电位计和霍尔效应传感器。例如，在一些实施例中，将操纵杆连接到万向节的联轴器或连杆可以是可调节的或适应性的，以适应用于不同尺寸的用户的不同尺寸的操纵杆。

除非另有说明，否则每个控制系统可以在替代实施例中进行适配，以允许其第一控制构件和第二控制构件中的每一个具有不同的移位自由度。如果使用第三控制构件，那么可以使用它来动态地平衡第二控制构件沿着Z轴的移位，该Z轴通常与第一控制构件的中心轴对准。但是，在替代实施例中，第三控制构件的移位可以用作另一个控制输入并且不被链接到第二控制构件。即使只需要少于所有六个自由度的所有控制输出，也可以从能够使用单手提供旋转和平移移动使许多控制方案受益。

在不脱离本发明的范围的情况下，可以在以上做出各种变化。虽然已经示出和描述了具体实施例，但是本领域技术人员可以在不脱离本发明的精神或教导的情况下进行修改。所描述的实施例仅是示例性的而不是限制性的。许多变化和修改是可能的，并且在本发明的范围内。此外，示例性实施例的一个或多个元件可以被省略、与一个或多个其它示例性实施例的一个或多个元件组合，或全部或部分地用一个或多个其它示例性实施例的一个或多个元件替代。因此，保护的范围不限于所描述的实施例，而是仅由所附权利要求书限制，其范围应包括权利要求书的主题的所有等同形式。