具体实施方式

现在将参考附图详细描述本发明的实施方式及其变型。

传感器结构

图1示出了本发明的触觉传感器的实施方式的总体结构的简化示意性截面图，以示出构造和操作的原理。触觉传感器10具有三个主要部分：柔性不透明外层20、柔性透明中心层30、基本刚性透明内层40和摄像机50。

柔性不透明外层20由不透明的弹性材料制成，柔性透明层30由透明的弹性材料制成。这两层在第一接合表面60处彼此接触。

不透明层20足够不透明，使得外部照明的变化不能被摄像机侦测到。也就是说，在典型操作期间，传感器的外表面上的入射光的变化应在摄像机中产生小于1位的信号变化。对于每个像素产生8位的摄像机，这将意味着在由一个像素从外部覆盖的区域中进入传感器的光量的变化将小于像素在传感器内部将看到的光量的1/256。也就是说，基本上阻挡约99％的光就足够了。

在优选的实施方式中，皮层(外层20)的硬度将落在40-100肖氏A硬度的范围内。

皮层和肉(flesh)层(柔性不透明外层或皮层20、柔性透明中间层30、基本刚性透明内层)由弹性体形成，通常为有机硅或聚氨酯。在优选实施方式中，使用有机硅，因为皮(外层20)可以由有机硅油膜(pastry)制成，即，有机硅的形式，其在固化之前可塑性变形、高度无弹性且不流动。在这种状态下，模具中的有机硅皮层足够粘，以便接受闪光物颗粒，将其撒播或单独放置(参见下面闪光物颗粒的详细解释)。在固化过程中，皮层或外层20将可靠地粘结到光学透明的有机硅肉(中心层30)上，并粘结到有机硅基粘合剂上，该粘合剂用于将其粘结到金属基底上，该金属基底形成端部执行器、机器人操纵器或类似装置的一般结构的一部分，触觉传感器形成该端部执行器、机器人操纵器或类似装置的一部分。在固化之后，皮层或外层20变得可弹性变形且稳固。

每一层的厚度由预期用途决定。皮(层20)越薄，触觉传感器10分辨小物体细节的能力就越大。然而，较薄的皮不太稳固，并且在与物体多次重复接触之后，皮将开始磨损得很薄。一旦所有皮被磨损，摄像机可以“看到”从外部环境进入的光(见上文)，如果环境光存在变化，则即使在没有东西被触摸或抓握时，也可以引起“假阳性(false positives)”(传感器中的信号变化)。而且，当皮被磨损时，下面的闪光物颗粒会很快被磨损掉。此时，可以说传感器已经发生故障。皮越厚，皮磨破的时间将越长。

皮层20通常为弹性体层总厚度的约1％-10％。

传感器10的最佳总尺寸由其可能集成到其中的机器人操纵器的最佳尺寸来规定。然而，制造具有小于约10mm直径的尺寸的传感器是困难的。对装置的尺寸没有特别的上限。然而，在非常大的尺寸下，惯性和重力将对传感器有越来越大的影响，并可能开始压倒接触力，使得难以区分闪光物颗粒的运动是由接触引起的还是由机器人的加速或重新定向引起的。

基本上刚性的透明内层40可以由任何合适的材料形成，例如玻璃，但是为了轻便和稳固，优选由塑料材料制成。柔性透明层30和基本上刚性透明层40在第二接合表面70处彼此接触，在变型中，透明刚性材料(层40)可以简单地是摄像机的镜头，而周围的刚性材料将是不透明的。

柔性不透明外层20在第一接合表面60的相对侧上具有自由外表面22，该自由表面22是触觉传感器10的外接触面，并且在使用中将与要被感测的物体接触。柔性不透明外层20和柔性透明层30的弹性使得当外部接触表面与要感测的物体接触时，层20和30之间的第一接合表面60将随着柔性不透明外层20和柔性透明中心层30被压靠在基本上刚性透明内层40上而变形。

最优选的是，在接触力范围的下端，该力刚好足以引起皮层刚好足够的变形，并因此引起一个或多个闪光物颗粒的旋转，使得摄像机能够侦测到亮度的变化。层的材料的柔性及其尺寸将对此产生影响。理想地，传感器在使用期间可能经受的包括来自意外冲击的最高水平的力将不会在弹性体层中引起足够的压力以引起永久变化。进一步理想地，这种水平的力不会导致闪光物颗粒撞击摄像机镜头，因此即使在这种非常高的力值下，传感器仍然能够感测力的变化。

这两个要求的含义是传感器具有极高的动态范围；能够侦测非常小的力，同时仍然能够区分两个稍微不同但非常大的力。

皮的外表面不会起皱。该材料具有足够的弹性，以致于它总是保持光滑的表面。

大量的反射材料小片62-在本实施方式中为闪光物-位于第一接合表面60处，面对基本上刚性的透明内层40，反射材料小片62可以是有光泽的、虹彩(iridescent)的、高折射的，可以在由摄像机观察到的表面上具有衍射光栅，和/或可以具有全息图案。这些片62通常是平面的，并且放置在第一接合表面60上，夹在柔性不透明外层20和柔性透明中心层30之间，反射材料片62可以以随机方式排列(例如，通过喷洒到柔性层20的接合表面60上)，或者可以以有序排列(例如网格)。理想地，所述块被产生为使得它们实际上尽可能小。片越小，传感器将能够分辨的细节越小。

在这些块被单独放置的实施方式中，那么它们的尺寸下限是它们能够被可靠地处理和放置的极限。

下限也可以由摄像机的分辨率来设置。理想地，每块闪光物片将占据图像传感器上的几个像素。每个颗粒之间的空间将类似地等于几个像素宽。

有用的下限由皮的厚度(层20的厚度)设定。皮的厚度限制了其自身的曲率，因此限制了可由传感器分辨的细节的尺寸。通常，颗粒不应比皮厚度的1/4小很多。

在优选的实施方式中，例如图5的实施方式(下面详细描述)，颗粒直径为0.3mm，间隔0.3mm，并且皮(层20)厚度为1mm。

摄像机50面向基本上刚性的透明层40的后表面(即，层40的与第二接合表面70相对的表面)。摄像机50拍摄柔性不透明外皮层20和柔性透明层30之间的第一接合表面60的图像，包括小反射材料片62。提供一个或多个光源(未示出)以通过基本上刚性的透明层40和柔性透明内层30照射柔性不透明层20的第一接合表面60和小反射材料片62，以允许拍摄明亮照明的图像。图像被传输离开触觉传感器10以用于分析。

理想地，摄像机50是为机器视觉应用设计的类型，并且具有全局快门和高帧率。在这种应用中，彩色图像不是必需的，但是每个像素的高位深度对于能够侦测来自闪光物颗粒的光强度的小变化是有用的。如果将热致变色颜料混合到皮层中，则彩色摄像机是有用的。

在该实施方式中，摄像机/图像传感器50具有以每秒120帧拍摄的640×480的分辨率。摄像机/图像传感器50还具有全局快门和每像素10位的单色图像。选择摄像机与皮表面之间的距离，使得摄像机的视场覆盖需要敏感的皮区域，并使得闪光物颗粒通常处于焦点上。

柔性不透明外层20、柔性透明层30和基本刚性透明内层40都是具有基本光滑表面的基本层状。在图1中，表面被示出为平坦的，但是表面的形状可以根据传感器的安装要求而变化。例如，如果传感器将被定位在机器人手的指尖，则表面将被弯曲以对应于指尖的曲率。图4所示的实施方式具有这种布置。下面更详细地讨论该实施方式。

因此，当柔性不透明外层20和柔性透明层30不变形时，接合表面60和70，特别是第一接合表面60，也将是大致光滑的。因此，小反射材料片62通常被排列成使得它们在接合表面60上是平的，并且将把来自光源的一定量的光反射到摄像机50中，当触觉传感器10处于这种状态时，摄像机50拍摄的图像，特别是来自小反射材料片62的反射，对应于触觉传感器10的接触表面不与任何东西接触的状态。

如上所述，当接触表面与要感测的物体接触时，第一接合表面60将变形。在这种变形期间，一些小反射材料片62相对于基本上刚性的透明层40的倾斜将改变，并且因此，由这些小反射材料片62反射回摄像机的光量也将改变。这在图4的实施方式中以夸大的方式示出，其示意性地示出了反射件的取向的变化，这将导致角度的变化，并因此导致由一个或多个摄像机接收的反射光的量的变化。因此，当诸如图4中所示的物体80的物体与接触表面接触时，由摄像机50拍摄的图像将改变。如果反射材料片62具有全息图案，则反射的光的颜色也将随着倾斜角的变化而变化，这可以有助于提高传感器的灵敏度。

如上所述，分析由一个或多个摄像机50拍摄的图像。特别地，当第一接合表面60处于其未变形状态时(即，当触觉传感器10的接触表面不与物体接触时)，来自所拍摄的图像的任何变化将指示物体已经与触觉传感器10的接触表面接触。

存在许多分析图像数据的方法。优选的方法在下面的“分析”部分详细讨论。

如图1所示的实施方式，可以使用单个摄像机50来对反射材料片62成像，然而，在变型或实施方式中，可以使用两个或更多个空间上分离的摄像机来获得第一接合表面60和反射材料片62的立体图像。在图2、3和4的实施方式中示出了使用两个摄像机50a和50b的布置，并且在下面详细讨论。与接触表面接触的物体部分的3-D图像可以从该立体图像中导出。一个或多个摄像机还可以定位成使其镜头位于层内的不同位置，如图3A和3B的变型中所示，其中一个或多个摄像机定位在形成于刚性或牢固内层中的孔内并且通过该孔形成观看(图3A)，或者其中一个或多个摄像机嵌入在刚性/牢固层内，镜头定位在刚性/牢固层与柔性透明中心层之间的接合处。

对于具有多个摄像机的实施方式，摄像机之间的距离可以根据感测应用的需要来选择。摄像机间隔得越远，对闪光物颗粒的位置进行三角测量的确定性越大，但是视场的重叠越不完美。在传感器内将总是存在可由两个摄像机看到的一些体积，一些体积可由两个摄像机中的一者看到，且一些体积不可看到。由两个摄像机的视场覆盖的体积内的颗粒可以使它们在空间中的位置以良好的确定性进行三角测量。因此，分离越大，三角测量的颗粒越少。

将摄像机彼此平行地定位具有这样的优点，即两个图像传感器可以被放置在同一印刷电路板上，并且它们的信号可以被局部地聚集。然而，与摄像机朝向彼此定向的情况相比，这种配置给出了更少的图像重叠。

将摄像机定向为彼此远离以两个图像的较少重叠为代价，给出皮内表面的更大的总覆盖。

除了确定触觉传感器10的接触表面何时与物体接触之外，触觉传感器10还可以被配置为提供进一步的信息。例如，触觉传感器10可以被安排成通过使用热致变色墨水来感测其周围环境的温度，所述热致变色墨水根据其温度改变其颜色。

在这种变化中，在柔性不透明外层20的表面上用热变色油墨印刷图案，该图案向内朝向柔性透明层30，该图案也可以(或替代地)印刷在柔性透明层30的表面上，该表面向外朝向柔性不透明层20，只要这不遮挡反射材料片62并防止它们被摄像机50充分成像，该图案的颜色将根据油墨的温度而改变，油墨的温度又与触觉传感器10的温度相关。只要摄像机50能够拍摄彩色图像，那么就可以侦测图案的颜色(并且因此检测触觉传感器10的温度)。

该油墨可以以特定图案印刷，或者简单地印刷而没有特定图案。皮的整个表面可以是热致变色的。在存在图案的实施方式中，选择什么特定图案无关紧要。只要机器视觉应用能够区分闪光物颗粒和背景，那么热致变色区域和非热致变色区域之间的对比给出温度信号。柔性不透明外层20的面向柔性透明层30的整个表面可以涂覆有热变色油墨，并且反射材料片62搁置在热变色油墨上。这允许感测横跨触觉传感器的温度梯度。可使用的合适的热致变色墨水的例子是由MESGO Iride Color生产的“颜色到透明(colour to clear)”颜料。

图2和4示出了传感器的实施方式的横截面示意图，在图2中被编号为传感器110，在该实施方式中，各层近似按比例示出，但是应当理解，可以根据如何以及在何处使用传感器110来改变相对尺寸。此外，可以看出，与图1的实施方式中的单层柔性不透明外层20不同，图3的传感器110的实施方式包括由坚固的不透明白色层124和最外坚固的不透明黑色层122形成的双层外皮或“第一层”，层122和124组合形成“第一层”。小反射材料片162夹在硬的不透明白色层124和软透明层130(其对应于图1的传感器10的柔性透明层30)之间。

坚固的层122、124一起形成传感器110的最外层，并且充当皮的类似物，坚固的不透明黑色层122在最外面，并且充当传感器的接触表面(类似于表皮)。可形成薄膜层122、124的合适材料包括有机硅和聚氨酯。

坚固的不透明黑色层122由耐磨材料形成，以提高传感器的寿命。任何具有与人类皮肤(或至少人类表皮)类似的特性的材料都是合适的。然而，特别重要的是，该层不应是粘性的-选择和/或处理材料以控制抓着力或滑动量。牢固的不透明黑色层122还用于阻挡外部光，使得传感器110的内部保持光学一致。上述有机硅材料适合这种用途。

坚固的不透明白色层124还有助于阻挡外部光，并提供了纯白色背景，在其上小反射材料片162可以更容易地成像。另外，在实施方式中，牢固的不透明白色层124可以包含热致变色染料，允许传感器检测物体的温度。此外，传感器可以由加热元件或加热机构(未示出)主动加热，这将允许传感器以与人类类似的方式侦测物体中的热导率。

与柔性透明层130和基本刚性透明层140相比，薄膜层122、124相对较薄。在一个特定实施方式中，薄膜层122、124具有约1mm的组合厚度，柔性透明层130具有约5mm的厚度，并且基本上刚性透明层140具有约3mm的厚度，但是厚度当然可以根据情况而变化。

此外，柔性透明层130相对于硬层122、124非常软。因此，该层130对应于皮下层或皮下组织，并且允许硬层122、124在力被施加到传感器110的触觉表面时移动。柔性透明层130是光学透明和无色的，使得小反射材料片162可以被成像。与薄膜层122、124一样，柔性透明层130可以由有机硅或聚氨酯形成。

与图1的实施方式相同，柔性透明层130的主要目的是将小反射材料片162与基本上刚性透明层140隔开；如果小反射材料片162与基本上刚性的透明层140接触，那么当物体与传感器110接触时，它们将不能移动，并且传感器110将不起作用。在该实施方式的变型中，可以使用清澈的液体将薄膜层122、124(以及小反射材料片162)与基本上刚性的透明层140分离。在其他实施方式中，可以使用气隙来分离薄膜层122、124和基本上刚性的透明层140。

根据传感器的需要选择间隔。在优选实施方式中，软透明层的厚度为大约15mm。

柔性透明层130的主要目的是将接合表面处的力转化成小反射材料片162的移动。理想地，柔性透明层130在传感器的物理约束内应尽可能地厚。对于施加到外表面的相同量的力，较厚的层使小反射材料片162移动更多。

刚性透明层140允许传感器110机械地连接到它将被使用的任何形式的端部执行器(诸如机器人手的手指，如在图4中示出的实施方式中)。层140还容纳和保护摄像机150、光源190、相关电子器件等。

在基本上刚性的透明层140后面设置两个摄像机150和多个光源190(在图4所示的实施方式中，有三个光源190，为了清楚起见，这些在图2中未示出)。摄像机150和光源190之间的区域是暗的，这是通过在基本上刚性的透明层140的后表面上放置暗涂层200来实现的。

光源的亮度被选择为足够亮，以便比通过不透明皮泄漏的任何光显著更亮，同时不压倒图像传感器的灵敏度。

小反射材料片162以两种主要方式提供触觉感知。首先，由于它们用作反射镜，所以它们对角度的微小变化非常敏感。摄像机150可“看到”在小反射材料片162中反射的光源190。反射材料片162的角度的小变化显著地改变反射回摄像机150的光量，从暗淡改变到明亮，或反之亦然，使得反射材料片162将“闪烁”，或从任何固定位置(例如摄像机位置)，它们将在其位置改变时表现为产生闪光。由于存在两个摄像机150，并且由于在任何给定的运动区域中多个反射材料片162将受到影响，因此在使用中存在反射材料片162的多个运动以及多个闪光。这个特征使得该设计对小的力极其敏感。

其次，由于小反射材料片162与白色背景124对比良好，并且在它们之间具有清晰的空间，所以小反射材料片162易于使用计算机视觉软件在摄像机图像中跟踪。使用两个摄像机150，可以对3D空间中的每个颗粒的准确位置进行三角测量。这样，可以在计算机内重新创建薄膜层122、124(皮)的内表面的几何形状。然后，该几何形状可以用于重新创建压入皮表面的任何物体的形状，因为可以感觉到平坦表面、肿块、边缘、点或多个点之间的差异。

此外，光源190的仔细设计可以优化闪光量，并且因此优化传感器110的皮对小的力的灵敏度。几个光源190与它们之间的暗区200的组合产生比单个小或大的光源更大量的闪光，并且正是由于这个原因，摄像机150和光源190之间的区域是暗的。

光源的设计(类型和位置)可以影响闪光量，并且因此影响传感器对非常小的力的灵敏度。对于所有实施方式，光源的设计的目的是最小化在图像传感器侦测到该移动之前需要进行的小反射材料片的移动。理想地，摄像机应当看到闪光物颗粒中反射的小光源之一。当颗粒由于施加在接合表面的力而轻微旋转时，摄像机将不再看到反射光，因此颗粒看起来突然变暗。如果光源较大，则在摄像机不再能看到光源之前，颗粒将必须进一步旋转。如果光源较小，则在光源不再可见之前，颗粒只需要旋转一小段距离。因此，小光源提供更多的闪光，并使传感器对小的力更敏感。

如上所述，图1至图4示出了简化的示意图，以便最佳地示出本发明的触觉传感器的原理。图5示出了与机器人手的手指一起使用的触觉传感器的实施方式。传感器410的该实施方式结合到形成传感器410的框架或骨架的金属衬底480，传感器410大致类似于手指端部上的指尖，并且与外部手指关节近似相同尺寸。

在该实施方式中，传感器410的皮由两层形成，即，与上述图3的实施方式的两层相似的牢固的不透明白色层424和牢固的不透明最外面的黑色层422。坚固的层422、424形成传感器410的最外层，并且充当皮的类似物，而坚固的不透明黑色层422充当传感器的接触表面(类似于表皮)。可形成薄膜层422、424的合适材料包括有机硅和聚氨酯。层422、424的组合厚度约为1mm。

坚固的不透明黑色层122由耐磨材料形成，以提高传感器的寿命。任何具有与人类皮肤(或至少人类表皮)类似的特性的材料都是合适的。然而，特别重要的是，该层不应是粘性的-选择和/或处理材料以控制抓着力或滑动量。牢固的不透明黑色层122还用于阻挡外部光，使得传感器110的内部保持光学一致。上述有机硅材料适合这种用途。

软透明层430位于不透明白色层424后面。层430填充层424的内表面和金属衬底480之间的“指尖”中的大部分空间。对于前面的实施方式，层430相对于硬层422和424非常软。

一层小反射材料片462夹在硬的不透明白色层424和软的透明层430之间。这些块基本上均匀地分布在层424的内表面上。如图5所示，这些表面的一般形状是弯曲的“勺”，其一般具有人指尖的外/下部分的形状。

图像传感器组件或摄像机450位于与手指甲在人手中的位置大致相同的位置。传感器在指甲的“基部”处具有镜头451，该镜头被对准以从“基部”朝向由层422和424形成的皮斜向地向外和向前指向，这些层如图5所示围绕镜头451的视场弯曲，图像传感器单元470位于传感器组件/摄像机450的后部，硬连接到远程设置的图像处理器(未示出)。理想地，摄像机450是为机器视觉应用设计的类型，并且具有全局快门和高帧率。在这种应用中，彩色图像不是必需的，但是每个像素的高位深度对于能够侦测来自闪光物颗粒的光强度的小变化是有用的。如果将热致变色颜料混合到皮层中，则彩色摄像机是有用的。在该实施方式中，摄像机/图像传感器450具有以每秒120帧拍摄的640×480的分辨率。摄像机/图像传感器450还具有全局快门和每像素10比特的单色图像。选择摄像机与皮表面之间的距离，使得摄像机的视场覆盖需要敏感的皮区域，并使得闪光物颗粒通常处于焦点上。

传感器410的操作与上述实施方式相同或相似：摄像机450拍摄层424的后表面的图像，闪光物462分布在该后表面上。提供一个或多个光源(未示出)来照亮该表面和小反射闪光物片462，以允许拍摄明亮照明的图像。图像由图像传感器单元470拍摄并被传输以用于分析。该初始图像对应于中性位置，在该位置没有任何东西被触摸或保持。

如上所述，当接触表面，即层422的外表面，与要感测的物体接触时，层424和422变形离开它们的中间位置。在该变形期间，一些小反射材料片462的倾斜将改变，并且因此，由这些小片反射回摄像机450的光量也将改变，并且由摄像机450拍摄的图像将改变。分析由摄像机50拍摄的新(变形)图像。特别是在“中性”或“未变形”图像和“变形”图像之间的任何变化。对这些变化的分析显示了物体的形状和施加了多少“夹持”力，如下面的分析部分中所概述的。

上述触觉传感器的实施方式是在机器人端部执行器上使用的上下文中描述的；然而，应当理解，触觉传感器不限于此，并且可以在其他情况下使用，例如游戏控制器、虚拟现实接合、机器人的其他部分。

分析

如上所述，当传感器的外皮或表面发生偏转时，闪光物颗粒的运动被摄像机侦测到。在摄像机图像中侦测到的每个闪光物颗粒的位置和运动可以用合适的机器视觉算法跟踪和计算。这通过以下事实变得更容易：

a)闪光物颗粒与纯白色背景具有良好的对比度。

b)闪光物颗粒很可能不会每帧改变太多位置。

c)闪光物颗粒形成一致的图案。

首先，建立颗粒的基线位置(在中性或未变形状态下)。

接下来，颗粒位置必须在两个摄像机之间相关。

接着，可以对闪光物颗粒的三维位置进行三角测量。

一旦对所有颗粒进行了这一操作，就可以由闪光物颗粒的点云构造3D网格，其代表皮内表面的形状。这可以由皮的厚度来补偿，以产生皮外表面的表示。该信息可以用于提取关于接触的物体的信息。

或者，可以将原始图像流馈送到学习分析数据的神经网络中。网络学习将图像中的变化与来自其它传感器的反馈相关联，以便对数据进行感测。

被夹持物体的形状和尺寸(至少，与接触表面接触的部分的形状和尺寸)可以通过分析哪些反射材料片(例如，片62)反射与所建立的基准量不同量的光来确定。此外，当接合表面(例如表面60)由于与物体接触而变形时，一些反射材料片会相对于摄像机移动，并且这种移动可以被侦测和分析。正是反射材料的这种移动给出了接触中涉及的表面力的指示。

此外，可以通过跟踪由反射材料片反射的光量随时间的变化来确定物体相对于接触表面的运动。这些变化相对于反射材料片可以是静态的；即，如果由特定反射材料片反射的光的量随时间改变，则这指示局部变形的量，并且因此物体的接触压力，随时间改变。如上所述，局部变形还可以移动反射材料片，并且可以侦测和分析该运动以获得进一步的信息。当夹持器拾取或放下物体时，该信息可能是有用的，因为触觉传感器可以确定物体被夹持的牢固程度。

可替换地或附加地，这些变化可以相对于反射材料片是动态的。例如，如果沿着接触表面拖动物体，则图像中的改变的反射特性的区域也将移动，并且这允许实时跟踪物体与接触表面的接触点的位置。