具体实施方式

现在将参照附图详细描述本公开内容的优选实施方式。注意，在说明书和附图中，具有基本上相同的功能和配置的部件由相同的附图标记表示，并且省略重复的描述。

注意，将按照下面示出的顺序来提供描述。

1.介绍

2.示例配置

3.技术特征

3.1.获取数字笔的位置

3.2.初步处理

3.3.投影控制

4.修改

4.1.第一修改

4.2.第二修改

4.3.第三修改

4.4.第四修改

5.示例硬件配置

6.结论

<<1.介绍>>

图1是用于提供根据本公开内容的实施方式的绘图系统1的概况的图。如图1所示，绘图系统1包括成像单元10、投影单元20和数字笔50。

成像单元10是捕获真实空间的图像的成像装置。成像单元10包括透镜系统、驱动系统和用于RGB相机等的成像元件以捕获图像(静止图像或运动图像)。成像单元10捕获成像视角(imaging angular field of view)11中包括的真实空间的图像。成像视角11——其指的是成像范围——由成像单元10的位置(在下文中也称为相机位置C)、成像方向、以及以成像方向为中心轴的成像范围的角度来定义。由成像单元10捕获的图像也被称为捕获图像。

投影单元20是将图像投影在真实空间中的一些地方的投影装置。投影单元20将图像投影在投影视角(projection angular field of view)21中包括的真实空间中。投影视角21——其指的是可投影范围——由投影单元20的位置(在下文中也称为投影仪位置P)、投影方向、以及以投影方向为中心轴的可投影范围的角度来定义。由投影单元20投影的图像也被称为投影图像。注意，假设投影图像是投影在整个投影视角21上的图像，并且与数字笔50的用户操作对应的绘图信息被映射并投影在投影图像中。

数字笔50是绘图工具，其中诸如红外(IR)部件、发光二极管(LED)等的发光部件被安装在笔尖上。例如，当设置在数字笔50上的按钮、开关等被操作、笔尖压靠接触表面或者笔被摇动时，发光部件发射光。另外，数字笔50可以基于用户对设置在数字笔50上的按钮或开关的操作、笔的移动等，将预定命令发送至投影控制单元40，这稍后进行描述。

在如图1所示成像视角11与投影视角21不同的情况下，通过使用校准面S预先执行用于生成成像单元10与投影单元20之间的投影变换矩阵H的校准。在图1中示出的示例中，桌面表面60用作校准面S。然后，当用户在绘图表面S'上移动数字笔50时，其图像被成像单元10捕获，并且将数字笔50的轨迹表示为线的绘图信息被投影单元20投影到绘图表面S'上。例如，绘图信息被投影到数字笔50的位置(更具体地，笔尖的亮点的位置)上。在图1中示出的示例中，除了桌面表面60之外的投影视角21中包括的地板表面62用作绘图表面S'。

注意，校准面S是以下平面：该平面包括校准目标对象的表面上的平面，以及校准面S是通过虚拟延伸校准目标对象的表面上的平面而获得的平面。在图1中示出的示例中，校准目标对象是桌面表面60，并且校准面S包括桌面表面60和通过虚拟延伸桌面表面60获得的平面。这里假设校准面S与绘图表面S'是平行的。

在图1中示出的示例中，假设数字笔50位于绘图表面S'上的位置d'处。另外，将连接相机位置C和数字笔50的位置d'的直线与校准面S之间的交点表示为位置d。在该情况下，无论数字笔50位于校准面S上的位置d处还是数字笔50位于绘图表面S'上的位置d'处，数字笔50在捕获图像中的坐标距均是相同的。下面参照图2对此进行说明。

图2是示出在图1中示出的状态下由成像单元10捕获的捕获图像的示例的图。捕获图像示出了从相机位置C来看的成像视角11中包括的真实空间的状态。捕获图像在成像视角11中示出地板表面62和桌面表面60。在捕获图像中，桌面表面60是校准面S，而投影视角21中包括的除了桌面表面60之外的地板表面62是绘图表面S'。由于捕获图像是二维图像，因此从成像单元10来看的沿数字笔50的深度方向的距离是未知的。因此，无论数字笔50位于校准面S上的位置d处还是数字笔50位于绘图表面S'上的位置d'处，捕获图像中的数字笔50的坐标均是相同的。即，令(x_d,y_d)为捕获图像中的位置d的坐标，并且令(x_d',y_d')为捕获图像中的位置d'的坐标，满足(x_d,y_d)＝(x_d',y_d')。

在尽管沿深度方向从成像单元10到校准面S的距离与从成像单元10到绘图平面S'的距离不同，但是照原样使用校准面S上的投影变换矩阵H的情况下，绘图表面S'上的数字笔50的位置与投影在绘图表面S'上的绘图信息的位置之间发生不匹配。下面参照图3对此进行说明。

图3是示意性地示出图1中示出的示例中涉及的元件之间的位置关系的图。图3示出了在相机位置C与投影仪位置P之间的距离与从其到校准面S和到绘图平面S'的距离相比可忽略地小的假设下相机位置C和投影仪位置P在相同位置处。如图3所示，成像视角11和投影视角21是不同的。校准面S上的成像视角11的宽度由D₁表示，而绘图表面S'上的成像视角11的宽度由D₂表示。此外，校准面S上的投影视角21的宽度由D₃表示，而绘图表面S'上的投影视角21的宽度由D₄表示。

根据透视法则，根据沿从相机位置C到真实对象的深度方向的距离，按比例放大或缩小捕获图像中的真实对象的大小。例如，在真实对象位于校准面S上的情况与真实对象位于绘图表面S'上的情况之间的捕获图像中的真实对象的缩放量的比率r_C简单地由数学表达式(1)定义。

r_C＝D₂/D₁ (1)

同样，根据透视法则，根据沿从投影仪位置P到真实对象的深度方向的距离，按比例放大或缩小捕获图像中的真实对象的大小。例如，在真实对象位于校准面S上的情况与真实对象位于绘图表面S'上的情况之间的投影图像中的真实对象的缩放量的比率r_C简单地由数学表达式(2)定义。

r_P＝D₄/D₃ (2)

然后，在成像视角11与投影视角21不同的情况下，在捕获图像中的缩放比率r_c与投影图像中的缩放比率r_P之间出现差。缩放比率的差是绘图表面S'上的数字笔50的位置与投影在绘图表面S'上的绘图信息的位置之间出现不匹配的原因。

如图3所示，假设从相机位置C到位置d的距离为1，则从相机位置C到位置d'的距离由a表示，其中a＞1。假设数字笔50已经从位置d'在绘图表面S'上移动了距离n。然后，根据数学表达式(3)计算数字笔50在捕获图像中的移动距离，其中，n_c是从校准面S上的位置d开始的移动距离。然后，基于移动距离n_c，控制绘图信息的绘图位置。

n_c＝r_c×(1/a)×n (3)

另一方面，根据数学表达式(4)计算数字笔50在投影图像中的移动距离，其中，n_p是从校准面S上的位置d开始的移动距离。

n_p＝r_p×(1/a)×n (4)

这里，如上所述，在成像视角11与投影视角21不同的情况下，r_c≠r_p成立，并且因此n_c≠n_p成立。因此，绘图表面S'上的数字笔50的位置与投影在绘图表面S'上的绘图信息的位置之间发生不匹配。

因此，本公开内容提出了用于根据沿深度方向从相机位置C到校准面S的距离与从其到绘图表面S'的距离之间的差来执行处理的技术。更具体地，根据所提出的技术，根据沿深度方向的距离差实时地计算专用于绘图表面S'上的位置d'的投影变换矩阵H'。因此，对于位置d'，显然消除了从相机位置C到校准面S的距离与从其到绘图表面S'的距离之间沿深度方向的距离差，从而防止了上述缩放比率r_C与缩放比率r_P之间的差的发生。因此，可以实现抑制绘图表面S'上的数字笔50的位置与投影在绘图表面S'上的绘图信息的位置之间的不匹配的发生。

<<2.示例配置>>

图4是示出根据本实施方式的绘图系统1的功能配置的示例的框图。如图4所示，绘图系统1除了已经参照图1描述的成像单元10、投影单元20和数字笔50之外，还包括存储单元30和投影控制单元40。注意，在图4中省略了数字笔50的图示。

(1)成像单元10

成像单元10的配置如上所述。成像单元10将捕获图像输出至位置获取单元41。

(2)投影单元20

投影单元20的配置如上所述。投影单元20在输出控制单元44的控制下投影投影图像。

(3)存储单元30

存储单元30临时或永久地存储用于绘图系统1的操作的各种类型的信息。例如，存储单元30存储稍后描述的映射M。

(4)投影控制单元40

用作算术处理装置和控制装置的投影控制单元40根据各种程序控制绘图系统1中的整体操作。如图4所示，投影控制单元40包括位置获取单元41、校准单元42、映射生成单元43和输出控制单元44。具有获取数字笔50的位置的功能的位置获取单元41将指示数字笔50的位置的信息输出至校准单元42、映射生成单元43和输出控制单元44中的每一个。具有执行校准的功能的校准单元42将通过校准生成的投影变换矩阵H输出至输出控制单元44。具有生成如稍后描述的映射M的功能的映射生成单元43将生成的映射M输出至输出控制单元44。输出控制单元44具有基于数字笔50的位置、投影变换矩阵H和映射M对投影图像执行投影控制的功能。注意，投影控制单元40除了由这些部件实现的功能之外还可以包括任何其他功能。

<<3.技术特征>>

<3.1获取数字笔的位置>>

位置获取单元41基于关于数字笔50的感测信息来获取数字笔50的位置。本文中数字笔50的位置是指包括从相机位置C到数字笔50的距离以及捕获图像中的数字笔50的坐标的概念。

·获取沿深度方向的距离

具体地，位置获取单元41基于感测信息来获取从参考点到数字笔50的距离。在本实施方式中，感测信息是由成像单元10拍摄的捕获图像。另外，参考点的位置是成像单元10的位置(即，相机位置C)。注意，本实施方式在相机位置C与投影仪位置P之间的距离与从其到校准面S和到绘图平面S'的距离相比可忽略地小的假设下将相机位置C和投影仪位置P视为相同位置。换言之，可以将参考点的位置视为投影仪位置。此外，本实施方式假设成像单元10的光轴与投影单元20的光轴重合。

位置获取单元41可以基于数字笔50的特定部分的大小来获取从相机位置C到数字笔50的距离，该特定部分出现在捕获图像中。根据透视法则，根据从相机位置C到数字笔50的距离，按比例放大或缩小出现在捕获图像中的数字笔50的特定部分的大小。因此，位置获取单元41随着出现在捕获图像中的数字笔50的特定部分的大小越大，获取越小的距离值，并且随着该大小越小，获取越大的距离值。

特定部分可以是例如发光部件。在该情况下，位置获取单元41基于从数字笔50的发光部件发射的光(例如，IR光或可见光)的形状的大小，获取从相机位置C到数字笔50的距离，该形状出现在捕获图像中。例如，在数字笔50的发光部件是环形的情况下，位置获取单元41基于出现在捕获图像中的从数字笔50的发光部件发射的光的圆(在下文中也称为发光圆)的大小(面积、半径等)，获取从相机位置C到数字笔50的距离。下文中假设特定部分是发光圆，并且基于发光圆的半径来获取从相机位置C到数字笔50的距离。

获取的距离可以是实际距离。例如，如果预先限定出现在捕获图像中的数字笔50的发光圆的半径与从相机位置C到数字笔50的实际距离之间的关系，则获取实际距离。替选地，获取的距离可以是表示距离的信息。例如，可以获取出现在捕获图像中的数字笔50的发光圆的半径作为表示距离的信息。

·获取捕获图像中的坐标

基于感测信息，位置获取单元41获取捕获图像中的数字笔50的坐标。例如，基于出现在捕获图像中的数字笔50的亮点的坐标，位置获取单元41获取捕获图像中的数字笔50的坐标。

·补充信息

注意，数字笔50的特定部分不限于发光圆。例如，在诸如条形码的二维码附接至数字笔50的情况下，可以通过使用二维码来获取数字笔50的位置。

<3.2.初步处理>

(1)校准

校准单元42执行校准。具体地，对于校准面S上的点，校准单元42生成投影变换矩阵H，该投影变换矩阵H限定由成像单元10捕获的捕获图像中的点的坐标与由投影单元20投影的投影图像中的点的坐标之间的关系。

为了进行校准，投影单元20将投影图像投影在校准面S上，并且成像单元10捕获投影在校准面S上的投影图像。然后，校准单元42基于投影在校准面S上的投影图像的捕获图像中的多个已知点的坐标来生成投影变换矩阵H。由位置获取单元41基于在例如数字笔50被定位在多个已知点处的情况下捕获的捕获图像来获取这样的坐标。多个已知点例如是投影图像的顶点。

在参照图1描述的示例中，由于投影视角21超过桌面表面60，因此可以在地板表面62上绘制图像。在该情况下，当试图基于投影在整个投影视角21上的投影图像的顶点执行校准时，难以识别投影在校准面S上的投影图像的顶点，这是因为这样的顶点存在于校准面S上的空气中。然后，可以使用辅助板来使得投影图像的顶点能够投影在校准面S上。下面参照图5对此进行说明。

图5是用于说明根据本实施方式的利用辅助板的校准的示例的图。图5中示出的桌面表面60是校准面S中包括的校准目标对象的表面的平面。在该情况下，尽管试图基于投影在整个投影视角21上的投影图像的顶点执行校准，但是这样的顶点存在于校准面S上的空气中。然后，用户握住辅助板61，使得辅助板61的表面位于从桌面表面60延伸的平面上。因此，如图5所示，投影图像的顶点d₃被投影在校准面S上，使得可以获得其中数字笔50被定位在顶点d₃处的捕获图像。校准单元42通过识别捕获图像中的数字笔50的亮点的坐标来识别捕获图像中的顶点d₃的位置。对任何其他顶点执行类似的处理，由此校准单元42可以识别出现在捕获图像中的投影图像的顶点d₁至顶点d₄中的每一个的坐标。注意，辅助板61是可以包括任何材料并且可以具有任何形状的平坦工具。

(2)生成映射M

映射生成单元43生成映射M，该映射M对于捕获图像中的每个坐标限定从相机位置C到校准面S的距离。由于校准面S是平坦表面，因此假设从相机位置C到校准面S上的每个坐标的距离一维地变化。因此，映射生成单元43基于从相机位置C到校准面S上的多个点的距离，针对捕获图像上的每个坐标计算从相机位置C到校准面S的距离，并且基于计算结果来生成映射M。

在数字笔50位于校准面S上的多个点处的情况下，可以基于出现在捕获图像中的数字笔50的特定部分的大小来生成映射M。例如，在数字笔50位于校准面S上的多个点处的情况下，基于发光圆的大小来生成映射M。用于生成映射M的多个点可以是用于如上所述的校准的多个已知点。在该情况下，映射M的校准和生成例如通过简单地使数字笔50位于出现在捕获图像中的投影图像的顶点d₁至顶点d₄处而完成，并且因此减轻了用户的负担。

在映射M中限定的距离可以是实际距离值或表示距离的信息。表示距离的信息的示例包括出现在捕获图像中的数字笔50的发光圆的半径。在该情况下，在数字笔50位于校准面S上的位置处、该位置与捕获图像中的每个坐标对应的情况下，映射M限定预期出现在捕获图像中的数字笔50的发光圆的半径。下面参照图6描述生成的映射M的具体示例。

图6是用于说明根据本实施方式的映射M的示例的图。如图6所示，r(d)表示在数字笔50位于校准面S上的位置d处的情况下出现在捕获图像中的发光圆的半径。映射生成单元43基于在数字笔50位于投影图像的顶点d₁至顶点d₄处的情况下出现在捕获图像中的发光圆的半径r(d₁)至半径r(d₄)，计算捕获图像中的任何坐标(x_d,y_d)处的发光圆的半径r(d)。因此，生成了限定捕获图像中的任何坐标(x_d,y_d)处的发光圆的半径r(d)的映射M。

(3)处理流程

图7是示出由根据本实施方式的绘图系统1执行的初步处理的示例流程的流程图。如图7所示，首先，投影单元20将投影图像投影在整个投影视角21上(步骤S102)。然后，成像单元10捕获数字笔50位于投影在校准面S上的投影图像的顶点d₁至顶点d₄处的状态下的图像(S104)。在该步骤中，如上面参照图5所述，当投影图像的顶点存在于空气中时，使用辅助板61来将投影图像的顶点投影在校准面S上。接下来，位置获取单元41获取在数字笔50位于顶点d₁至顶点d₄处的情况下出现在捕获图像中的数字笔50的亮点中的每一个的坐标作为顶点d₁至顶点d₄中的每一个的坐标(S106)。然后，位置获取单元41获取在数字笔50位于顶点d₁至顶点d₄处的情况下数字笔50的发光圆的半径r(d₁)至半径r(d₄)作为表示从相机位置C到顶点d₁至顶点d₄的距离的信息(步骤S108)。接下来，校准单元42基于捕获图像中的顶点d₁至顶点d₄中的每一个的坐标，在校准面S上生成投影变换矩阵H(步骤S106)。然后，映射生成单元43基于顶点d₁至顶点d₄中的每一个的坐标以及捕获图像中的发光圆的半径r(d₁)至r(d₄)来生成映射M，该映射M限定了捕获图像中的任何坐标(x_d,y_d)处的发光圆的半径r(d)(步骤S108)。

<3.3.投影控制>

输出控制单元44基于数字笔50的位置(即，捕获图像中的坐标以及距相机位置C的距离)、投影变换矩阵H和映射M来控制绘图信息的投影。具体地，输出控制单元44基于绘图表面S'上的数字笔50的坐标(例如，捕获图像中的数字笔50的坐标)来控制由投影单元20执行的绘图信息的投影。此外，输出控制单元44基于第一距离与第二距离之间的比率信息来控制由投影单元20执行的绘图信息的投影，该第一距离为从参考点到数字笔50的距离，该第二距离为从参考点到以下直线与校准面S之间的交点的距离，该直线连接参考点和数字笔50。可以从关于数字笔50的感测信息获取关于绘图表面S'上的数字笔50的坐标和比率信息。本文中关于数字笔50的感测信息是指关于在绘图表面S'上进行绘图操作的数字笔50的感测信息。

在图1至图3中示出的示例中，第一距离是从相机位置C到绘图表面S'上的数字笔50的位置d'的距离。第一距离也可以被视为从相机位置C到进行绘图操作的数字笔50的位置的距离。第一距离由位置获取单元41获取。第一距离例如基于出现在捕获图像中的数字笔50的发光圆的半径r(d')来获取。

在图1至图3中示出的示例中，第二距离是从相机位置C到连接相机位置C和数字笔50的位置d'的直线与校准面S之间的交点的位置d的距离。参照映射M获取第二距离。具体地，输出控制单元44获取针对坐标(x_d,y_d)在映射M中限定的距离作为第二距离，坐标(x_d,y_d)与捕获图像中包括的数字笔50的坐标(x_d',y_d')对应。换言之，输出控制单元44获取由如果数字笔50位于校准面S上的位置d处则预期出现在捕获图像中的发光圆的半径r(d)指示的距离作为第二距离。注意，满足(x_d,y_d)＝(x_d',y_d')。

可以基于第一距离与第二距离之间的比率来获取第一距离与第二距离之间的比率信息。例如，输出控制单元44基于第一距离与第二距离之间的比率来控制由投影单元20执行的绘图信息的投影。在图1至图3中示出的示例中，例如，假设在图3中示出的从相机位置C到位置d的距离为1，则第一距离与第二距离之间的比率给出为从相机位置C到位置d'的距离a。比率a可以被视为r(d)与r(d')之间的比率，并且根据以下数学表达式(5)来计算：

a＝r(d)/r(d') (5)

其中，a＞1。注意，可以基于例如第一距离与第二距离之间的差来获取第一距离与第二距离之间的比率信息。

输出控制单元44控制由投影单元20投影的投影图像中的绘图信息的坐标。具体地，首先，输出控制单元44基于第一距离与第二距离之间的比率a来计算绘图表面S'上的位置d'处的投影变换矩阵H'。然后，输出控制单元44通过使用经校正的投影变换矩阵H'和捕获图像中的数字笔50的坐标(x_d',y_d')来控制投影图像中的绘图信息的坐标。即，输出控制单元44通过使用经校正的投影变换矩阵H'将捕获图像中的位置d'的坐标转换成投影图像中的坐标，将绘图信息放置在投影图像中的经转换的坐标处，并且使投影单元20投影绘图信息。注意，根据数学表达式(6)计算经校正的投影变换矩阵H'。

H'＝aH (6)

如上所述，不照原样使用在校准期间获得的投影变换矩阵H，而是使用根据关于位置d'的第一距离与第二距离之间的距离差来校正的经校正的投影变换矩阵H'。因此，可以实现抑制绘图表面S'上的数字笔50的位置d'与投影在绘图表面S'上的绘图信息的位置之间的不匹配的发生。

·处理流程

参照图8，下面描述上述投影控制处理的流程的示例。

图8是示出由根据本实施方式的绘图系统1执行的投影控制处理的示例流程的流程图。如图8所示，首先，位置获取单元41基于绘图表面S'上的数字笔50的捕获图像来获取捕获图像中的数字笔50的坐标(x_d',y_d')和发光圆的半径r(d')(步骤S202)。然后，输出控制单元44参考映射M来获取坐标(x_d,y_d)＝(x_d',y_d')处的发光圆的半径r(d)(步骤S204)。接下来，输出控制单元44根据上面的数学表达式(5)计算第一距离与第二距离之间的比率a(步骤S206)。然后，输出控制单元44根据上面的数学表达式(6)计算位置d'处的投影变换矩阵H'(步骤S208)。然后，输出控制单元44通过使用经校正的投影变换矩阵H'来计算投影图像中的绘图信息的坐标，并且使投影单元20投影绘图信息(步骤S210)。

注意，在数字笔50的亮点出现在成像视角11中之后直到该亮点从那里消失的时间段期间，可以重复执行图8中示出的投影控制处理。

·补充信息

注意，前面已经描述了在绘图表面S'比校准面S更远离相机位置C的情况下执行的投影控制。下面参照图9和图10描述在绘图表面S'比校准面S更接近相机位置C的情况下执行的投影控制。

图9是用于说明根据本实施方式的绘图系统1的示例使用的图。图10是示出在图9中示出的状态下由成像单元10捕获的捕获图像的示例的图。如图9所示，玩偶64被放置在桌面表面60上，并且玩偶64的表面用作绘图表面S'。在该情况下，获得图10中示出的捕获图像。

在绘图表面S'比校准面S更接近相机位置的情况下执行的投影控制类似于在绘图表面S'比校准面S更远离相机位置的情况下执行的投影控制。注意，然而，根据上面的数学表达式(5)计算的比率a满足0＜a＜1。

此外，如图9所示，玩偶64的表面是弯曲的。绘图表面S'可以是具有弯曲表面等的任何形状的三维对象的表面。然而，上述算法假设校准面S与绘图表面S'平行。为此，在绘图表面S'是弯曲的情况下，绘图表面S'中的数字笔50的位置d'的区域被分割，使得区域被视为平行于校准面S，并且然后应用上述算法。

<<4.修改>>

<4.1.第一修改>

第一修改是输出控制单元44不仅控制如上所述的坐标，而且还控制投影图像中的绘图信息的其他项的示例。

·控制绘图信息的大小

输出控制单元44可以控制由投影单元20投影的投影图像中的绘图信息的大小。具体地，输出控制单元44基于第一距离与第二距离之间的比率a来控制绘图信息的大小。绘图信息的大小例如是根据数字笔50的轨迹绘制的线的粗细。例如，输出控制单元44执行控制以使线粗细均匀。下面参照图11对此进行说明。

图11是用于说明根据第一修改的绘图系统1的投影控制的示例的图。如图11所示，在数字笔50位于校准面S上的位置d处的情况下，投影在校准面S上的绘图信息的表观大小(例如，以米为单位)由W表示。另外，按照具有投影在校准面S上的投影图像中的大小W的数据(例如，以像素为单位)的绘图信息的大小由b_d表示。此外，如图11所示，在数字笔50位于绘图表面S'上的位置d'处的情况下，投影在绘图表面S'上的绘图信息的表观大小由W'表示。另外，按照具有投影在绘图表面S'上的投影图像中的大小W'的数据的绘图信息的大小由b_d'表示。如果满足b_d'＝b_d，则W'＝aW成立。然后，输出控制单元44根据数学表达式(7)，按照数据来控制绘图信息的大小b_d'。

b_d'＝b_d/a (7)

因此，可以与相机位置C与数字笔50之间的距离无关地使根据数字笔50的轨迹绘制的线的表观粗细均匀。

·控制绘图信息的亮度

输出控制单元44可以控制由投影单元20投影的投影图像中的绘图信息的亮度。具体地，输出控制单元44基于第一距离与第二距离之间的比率a来控制绘图信息的亮度。在数字笔50位于校准面S上的位置d处的情况下，按照数据的投影绘图信息的亮度由v表示，并且在数字笔50位于绘图表面S'上的位置d'处的情况下，按照数据的投影绘图信息的亮度由v'表示。作为前提，投影绘图信息的表观亮度与距投影单元20的距离成比例地降低。然后，输出控制单元44使用基于比率a计算的系数e，根据数学表达式(8)控制按照数据的绘图信息的亮度v_d'。

v_d'＝e×v_d (8)

因此，可以与相机位置C与数字笔50之间的距离无关地使根据数字笔50的轨迹绘制的线的表观亮度均匀。

·控制绘图信息的颜色

输出控制单元44可以控制由投影单元20投影的投影图像中的绘图信息的颜色。具体地，输出控制单元44基于第一距离与第二距离之间的比率a来控制绘图信息的颜色。例如，投影绘图信息的表观颜色饱和度与距投影单元20的距离成比例地降低。因此，输出控制单元44使用基于比率a计算的系数，以与根据上面的数学表达式(8)的亮度控制相同方式来控制按照数据的绘图信息的颜色饱和度。

因此，可以与相机位置C与数字笔50之间的距离无关地使根据数字笔50的轨迹绘制的线的表观颜色饱和度均匀。

·组合

控制项的数目不限于一个，并且因此输出控制单元44可以同时控制投影图像中的绘图信息的坐标、大小、亮度和颜色中的两个或更多个。

<4.2.第二修改>

第二修改是基于距离测量传感器的距离测量的结果来获取从参考点到数字笔50的距离的示例。

图12是示出根据第二修改的绘图系统1的功能配置的示例的框图。如图12所示，根据本修改的绘图系统1除了图3中示出的功能配置之外还包括距离测量单元12。下面描述距离测量单元12和本修改的其他部件特性的功能。

距离测量单元12是感测到目标对象的距离的传感器装置。例如，距离测量单元12感测到数字笔50的距离，并且将作为感测的结果而获得的感测信息(即，距离信息)输出至位置获取单元41。距离测量单元12可以由例如超声距离测量传感器、飞行时间(ToF)型图像传感器、立体相机等来实现。

位置获取单元41基于由距离测量单元12提供的感测信息来获取从相机位置C到数字笔50的距离。优选地预先执行成像单元10与距离测量单元12之间的校准。基于在数字笔50位于校准面S上的多个点处的情况下由距离测量单元12提供的到数字笔50的距离来生成映射M。用于生成映射M的多个点可以是用于校准的多个已知点。在该情况下，基于在数字笔50位于投影图像的顶点d₁至顶点d₄的情况下捕获图像中的数字笔50的坐标来执行校准，并且基于由距离测量单元12获得的距离信息来生成映射M。

注意，这里，当基于由距离测量单元12获得的距离信息来生成映射M时，映射M中限定的距离是实际距离。映射M限定在数字笔50位于校准面S上与捕获图像中的每个坐标对应的位置处的情况下从相机位置C到数字笔50的实际距离。

由根据本修改的输出控制单元44的投影控制基本上类似于基于上述发光圆的半径的投影控制。然而，由距离测量单元12将第一距离感测为实际值。

注意，只要成像单元10、投影单元20、距离测量单元12和校准面S之间的位置关系是固定的，就可以预设投影变换矩阵H和映射M。在该情况下，省略映射M的校准和生成。

<4.3.第三修改>

第三修改是通过使用数字笔50的三维位置而不是数字笔50的捕获图像来执行投影控制的示例。

(1)示例配置

图13是示出根据第三修改的绘图系统1的功能配置的示例的框图。如图13所示，根据本修改的绘图系统1包括惯性传感器单元16、投影单元20、存储单元30和投影控制单元40。另外，投影控制单元40包括位置获取单元41、校准单元42和输出控制单元44。

惯性传感器单元16感测关于数字笔50的惯性信息。惯性传感器单元16——其包括加速度传感器和陀螺仪传感器——被安装在数字笔50上。惯性传感器单元16感测数字笔50的加速度和角速度，并且将感测的加速度和角速度发送至位置获取单元41。

下面参照图14描述本修改的技术特征。图14是示意性地示出第三修改中涉及的元件之间的位置关系的图。

(2)获取数字笔50的位置

位置获取单元41基于关于数字笔50的感测信息来获取数字笔50的位置。这里的感测信息是指由惯性传感器单元获得的加速度和角速度。位置获取单元41通过由惯性导航系统(IMS)进行的计算来获取数字笔50的三维位置。注意，然而，这里获取的三维位置是相对于图13中示出的任何特定重置原点O的相对三维位置。

(3)校准

在本修改中，通过使用第一校准面S₁和第二校准面S₂这两个校准面来执行校准。例如，第一校准面S₁是图1中示出的桌面表面60，第二校准面S₂是图1中示出的地板表面62，并且绘图表面S'是任何其他真实对象的表面。本修改中的参考点是投影仪位置P。

校准单元42获取在数字笔50位于投影在第一校准面S₁和第二校准面S₂上的投影图像中的每一个上的多个已知点处的情况下数字笔50的三维位置。例如，校准单元42获取投影在第一校准面S₁上的投影图像中的多个已知点的三维位置。由位置获取单元41基于例如在数字笔50位于多个已知点处的情况下提供的惯性信息来获取这样的三维位置。多个已知点例如是投影图像的顶点d_1-1至顶点d_1-4。类似地，校准单元42获取投影在第二校准面S₂上的投影图像中的多个已知点的三维位置。由位置获取单元41基于例如在数字笔50位于多个已知点处的情况下提供的惯性信息来获取这样的三维位置。多个已知点例如是投影图像的顶点d_2-1至顶点d_2-4。

然后，校准单元42生成用于将获取的第一校准面S₁或第二校准面S₂上的三维位置转换成由投影单元20投影的投影图像中的坐标的投影变换矩阵。具体地，首先，校准单元42基于获取的顶点d_1-1至顶点d_1-4的三维位置和获取的顶点d_2-1至顶点d_2-4的三维位置来几何地计算投影仪位置P。然后，校准单元42基于投影仪位置P和顶点d_1-1至顶点d_1-4的三维位置来计算对于第一校准面S₁的投影变换矩阵H₁。替选地，校准单元42基于投影仪位置P和顶点d_2-1至顶点d_2-4的三维位置来计算对于第二校准面S₂的投影变换矩阵H₂。

(4)投影控制

输出控制单元44基于在数字笔50位于投影在第一校准面S₁和第二校准面S₂上的投影图像中的每一个上的多个已知点处的情况下数字笔50的三维位置以及基于进行绘图操作的数字笔50的三维位置，控制由投影单元20进行的绘图信息的投影。具体地，输出控制单元44基于通过校准获得的投影变换矩阵H和进行绘图操作的数字笔50的三维位置，控制由投影单元20执行的绘图信息的投影。

令d'为进行绘图操作的数字笔50的三维位置。另外，令位置d₁为连接投影仪位置P和数字笔50的位置d'的直线与第一校准面S₁之间的交点的位置。此外，令位置d₂为连接投影仪位置P和数字笔50的位置d'的直线与第二校准面S₂之间的交点的位置。

首先，输出控制单元44计算从投影仪位置P到数字笔50的位置d'的距离与从投影仪位置P到位置d₁或位置d₂的距离之间的比率a₁或比率a₂。例如，如图14所示，假设从投影仪位置P到位置d₁的距离为1，则对于第一校准面S₁，第一距离与第二距离之间的比率a₁给出为从投影仪位置P到位置d'的距离a₁。另一方面，尽管未在图14中示出，但是假设从投影仪位置P到位置d₂的距离为1，则对于第二校准面S₂，第一距离与第二距离之间的比率a₂给出为从投影仪位置P到位置d'的距离a₂。

然后，输出控制单元44根据上面的数学表达式(6)计算经校正的投影变换矩阵H₁'或H₂'，使用经校正的投影变换矩阵H₁'或H₂'将位置d'转换成投影图像中的坐标，将绘图信息放置在投影图像中的经转换的坐标处，并且使投影单元20投影绘图信息。因此，与上面的实施方式一样，可以实现抑制绘图表面S'上的数字笔50的位置d'与投影在绘图表面S'上的绘图信息的位置之间的不匹配的发生。

<4.4.第四修改>

上面的实施方式假设相机位置C与投影仪位置P重合并且其光轴也重合。相比之下，本修改是以下示例：即使在相机位置C与投影仪位置P彼此不同和/或成像单元10的光轴与投影单元20的光轴彼此不同的情况下，也抑制绘图表面S'上的数字笔50的位置d'与投影在绘图表面S'上的绘图信息的位置之间的不匹配的发生。注意，作为示例，本修改假设参考点是相机位置C。

(1)概况

图15是用于提供根据第四修改的绘图系统1的概况的图。如图15所示，在本修改中，相机位置C与投影仪位置P彼此不同，并且成像单元10的光轴与投影单元20的光轴彼此不同。在本修改中，在第一校准面S₁和第二校准面S₂(对应于另一校准面)这两个校准面上执行校准。在图15中示出的示例中，第一校准面S₁是桌面表面60，第二校准面S₂是地板表面62。此外，绘图表面S'是任何其他真实对象的表面，并且在图15中的示例中，绘图表面S'是长座椅表面66。注意，假设第一校准面S₁、第二校准面S₂和绘图表面S'均彼此平行。相机位置C与第一校准面S₁之间的距离由h₁表示，投影仪位置P与第一校准面S₁之间的距离由h₂表示，并且第一校准面S₁与第二校准面S₂之间的距离由h₃表示。

在图15中示出的示例中，假设数字笔50位于绘图表面S'上的位置d'处。另外，将连接相机位置C和数字笔50的位置d'的直线与第一校准面S₁之间的交点表示为位置d₁。另外，将连接相机位置C和数字笔50的位置d'的直线与第二校准面S₂之间的交点表示为位置d₂。在该情况下，无论数字笔50是位于第一校准面S₁上的位置d₁处、是位于校准面S₂上的位置d₂处、还是位于绘图表面S'上的位置d'处，捕获图像中的数字笔50的坐标均是相同的。

成像光轴13——其是成像单元10的光轴——与第一校准面S₁之间的交点由C_s1表示，并且成像光轴13与第二校准面S₂之间的交点由C_s2表示。注意，为了表示方便，将由下标指示的S₁表示为_S1。这同样适用于S₂。这些交点是成像视角11中的中心点。投影光轴23——其是投影单元20的光轴——与第一校准面S₁之间的交点由P_s1表示，并且投影光轴23与第二校准面S₂之间的交点由P_s2表示。这些交点是投影视角21中的中心点。在第一校准面S₁与第二校准面S₂之间，这些视角(angular fields of view)之间的大小关系和这些视角的中心之间的位置关系不同。下面参照图16至图18对此进行说明。

图16是示出在图15中的示例中示出的第一校准面S₁上的视角和视角的中心点之间的位置关系的图。图17是示出在图15中的示例中示出的第二校准面S₂上的视角和视角的中心点之间的位置关系的图。图18是示出在图15中的示例中示出的第一校准面S₁和第二校准面S₂中的每一个上的视角的中心点之间的相对位置关系的图。将图16与图17进行比较，第一校准面S₁上的数字笔50的位置d₁与第二校准面S₂上的数字笔50的位置d₂匹配。另外，将图16与图17进行比较，在第一校准面S₁与第二校准面S₂之间，相对于成像视角11的投影视角21的大小不同。另一方面，将图16与图17进行比较，第一校准面S₁上成像视角的中心C_s1与投影视角的中心P_s1之间的位置关系不同于第二校准面S₂上成像视角场的中心C_S2与投影视角的中心P_s2之间的位置关系。因此，如图18所示，指示第一校准面S₁上的视角的中心点之间的物理不匹配的二维矢量v_P_S1C_s1不同于指示第二校准面S₂上的视角的中心点之间的物理不匹配的二维矢量v_P_S2C_S2。注意，附图标记和下标的组合在本文中由附图标记、下划线和下标表示。

通过在第一校准面S₁上进行校准而获得的投影变换矩阵H₁的作用是实现坐标变换，从而确保在第一校准面S₁上成像视角11适合投影视角21。然而，如图16至图18所示，在第一校准面S₁与第二校准面S₂之间，成像视角11与投影视角21之间的大小关系和成像视角11的中心点与投影视角21的中心点之间的位置关系不同。即，由于距相机位置C的距离的改变，视角之间的缩放关系变化，并且同时，成像视角的中心与投影视角的中心之间的位置关系通过平移移动而变化。因此，在除了第一校准面S₁之外的平面上，仅利用投影变换矩阵H₁难以执行适当的坐标变换，并且此外，如在上述实施方式中仅反映缩放分量的算法为准确度改进留下空间。

因此，在本修改中，基于第一校准面S₁上的投影变换矩阵H₁和第二校准面S₂上的投影变换矩阵H₂，估计绘图表面S'上相对于投影变换矩阵H₁的平移移动分量。此外，在本修改中，通过使用与上述实施方式的方法类似的方法，估计绘图表面S'上相对于投影变换矩阵H₁的缩放分量。如上所述获得的绘图表面S'上相对于投影变换矩阵H₁的平移移动分量和缩放分量允许任何绘图表面S'上的适当的坐标变换。即，可以实现抑制绘图表面S'上的数字笔50的位置d'与投影在绘图表面S'上的绘图信息的位置之间的不匹配的发生。

注意，投影变换矩阵包括缩放分量和平移移动分量(＝v_P_S1C_s1)。在上面的实施方式中，假设相机位置C与投影仪位置P重合并且其光轴也重合，并且该假设意味着平移移动分量(＝v_P_S1C_s1)为零。

(2)示例配置

根据本修改的绘图系统1的示例配置类似于参照图4描述的示例配置。

(3)技术特征

·校准

校准单元42生成与第一校准面S₁有关的投影变换矩阵H₁。另外，校准单元42生成与第二校准面S₂有关的投影变换矩阵H₂。

·生成映射M₁

映射生成单元43生成映射M₁，该映射M₁对于捕获图像中的每个坐标限定从相机位置C到第一校准面S₁的距离。映射生成单元43可以生成映射M₂，该映射M₂对于捕获图像中的每个坐标限定从相机位置C到第二校准面S₂的距离。

·投影控制

根据本修改的输出控制单元44还基于成像光轴13与第一校准面S₁和第二校准面S₂中的每一个之间的交点的坐标以及投影光轴23与第一校准面S₁和第二校准面S₂中的每一个之间的交点的坐标来控制绘图信息的投影。换言之，输出控制单元44在第一校准面S₁和第二校准面S₂中的每一个上基于成像视角11的中心点的坐标和投影视角21的中心点的坐标(即，C_s1、C_s2、P_s1和P_s2)来控制绘图信息的投影。

具体地，输出控制单元44根据以下等式计算二维矢量v_P_S2C_S2相对于二维矢量v_P_S1C_s1的差分v_offset。

v_offset＝H₂-H₁ (9)

此外，输出控制单元44将从相机位置C到第一校准面S₁的距离与从相机位置C到第二校准面S₂的距离进行比较。具体地，输出控制单元44将从相机位置C到第一校准面S₁上的第一点的距离与从相机位置C到第二校准面S₂上的第二点的距离进行比较，其中第一点和第二点在捕获图像中具有相同的坐标。例如，假设通过比率计算进行比较，比率信息(即，比率)k由以下等式限定。

k＝(h₁+h₃)/h₁ (10)

这里，例如通过使用当数字笔50分别位于第一点和第二点处时提供的发光圆的半径来获得从相机位置C分别到第一点和第二点的距离。令r(d₁)为当数字笔50位于第一点d₁处时提供的半径，并且令r(d₂)为当数字笔50位于第二点d₂处时提供的半径，通过以下等式获得比率信息k。

k＝r(d₁)/r(d₂) (11)

可以通过使用户将数字笔50定位在第一点和第二点中的每一个处来获取r(d₁)和r(d₂)中的每一个。例如，首先，当用户将数字笔50定位在第一校准面S₁上的任何点处时，输出控制单元44将该点存储为第一点，并且获取第一点处的发光圆的半径r(d₁)。接下来，输出控制单元44控制信息在第二校准面S₂上的投影，该信息旨在用于识别第二点。例如，输出控制单元44顺序地使能够由成像单元10观察的光点(例如可见光)在各个坐标处投影在第二校准面S₂上。然后，输出控制单元44通过检测在与捕获图像中的第一点相同的坐标处投影的光点来识别第二点。这样的识别方法也称为顺序搜索。然后，输出控制单元44通过使指示标识的第二点的引导信息被投影在平面上使得用户将数字笔50定位在第二点处，来获取第二点处的发光圆的半径r(d₂)。

另一方面，可以通过参考映射M₁上的捕获图像中的第一点的坐标来获取r(d₁)。在该情况下，省略将数字笔50定位在第一点处的用户操作。同样，如果生成了映射M₂，则可以通过参考映射M₂上的捕获图像中的第二点的坐标来获取r(d₂)。在该情况下，省略将数字笔50定位在第二点处的用户操作。

基于通过上述比较而获得的比率信息k，输出控制单元44控制绘图信息的投影。具体地，比率信息k揭示了当沿深度方向从相机位置C到数字笔50的距离变为从相机位置C到第一校准面S₁的距离的k倍时发生v_offset的平移移动的关系。因此，输出控制单元44使用该关系来计算绘图表面S'上的投影变换矩阵H'，并且使用投影变换矩阵H'来控制绘图信息的坐标。下面详细描述用于计算投影变换矩阵H'的方法。

假设h₁＝1，则上面的数学表达式(10)被变换成以下等式。

k＝1+h₃ (12)

假设h₁＝1等效于将映射M₁上的发光圆的半径r(d₁)设置为1。因此，第二校准面S₂的映射M₂是具有发光圆的映射，该发光圆的半径相对于映射M₁上的发光圆的半径r(d₁)成一定比率。即，根据以下等式获得映射M₂。

M₂＝(1/k)×M₁ (13)

当用户将数字笔50放置在绘图表面S'上的任何位置d'处时，位置获取单元41获取位置d'处的发光圆的半径r(d')。然后，输出控制单元44参考映射M₁来获取坐标(x_d,y_d)＝(x_d',y_d')处的发光圆的半径r(d₁)。然后，基于获取的r(d₁)，输出控制单元44根据以下等式来计算第一距离与第二距离之间的比率k'，该等式类似于上面的数学表达式(5)。

k＝r(d₁)/r(d') (14)

接下来，输出控制单元44根据以下等式计算二维矢量v_P_S2'C_S2'相对于二维矢量v_P_S1C_s1的差分(v_offset)'，该差分(v_offset)'表示绘图表面S'上的视角的中心之间的物理不匹配。

(v_offset)'＝(k'/k)×v_offset (15)

然后，输出控制单元44根据以下等式计算绘图表面S'上的投影变换矩阵H'。

H'＝H₁+(v_offset)' (16)

·补充信息

注意，本修改的算法基于h₁＝h₂。然而，当h₁≠h₂时，通过距离测量或校准估计h₂，仍然可以应用本修改的算法。

另外，绘图表面S'可以是弯曲表面。下面参照图19对此进行说明。

图19是用于说明根据本修改的绘图系统1的示例使用的图。如图19所示，玩偶64被放置在桌面表面60上，并且玩偶64的表面用作绘图表面S'。如图19所示，玩偶64的表面是弯曲的。绘图表面S'可以是具有弯曲表面等的任何形状的三维对象的表面。然而，上述算法假设第一校准面S₁、第二校准面S₂和绘图表面S'是平行的。为此，在绘图表面S'是弯曲的情况下，绘图表面S'中的数字笔50的位置d'的区域被分割，使得区域被视为平行于第一校准面S₁和第二校准面S₂，并且然后应用上述算法。

<<5.示例硬件配置>>

最后，将参照图20描述根据本实施方式的信息处理装置的硬件配置。图20是示出根据本实施方式的信息处理装置的示例硬件配置的框图。注意，图20中示出的信息处理装置900可以实现例如图4、图12和图13中示出的绘图系统1。通过根据本实施方式的绘图系统1的信息处理由彼此协作的下述软件和硬件来实现。

如图20所示，信息处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，信息处理装置900包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911和通信装置913。替代CPU 901或除了CPU 901之外，信息处理装置900可以包括诸如电气电路、DSP或ASIC的处理电路。

CPU 901——其用作算术处理装置和控制装置——根据各种程序控制信息处理装置900中的整体操作。此外，CPU 901可以是微处理器。ROM 902存储要由CPU 901使用的程序、操作参数等。RAM 903临时存储要在CPU 901的执行期间使用的程序、在执行期间适当地变化的参数等。CPU 901可以被包括在例如图4、图12和图13中示出的投影控制单元40中。

CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a彼此连接。主机总线904a经由桥接器904连接至外部总线904b例如外围部件互连/接口(PCI)总线。注意，主机总线904a、桥接器904和外部总线904b可以不必被分开地包括，但是这些功能可以在单个总线中实现。

输入装置906可以包括检测关于绘图工具的信息的装置。例如，输入装置906可以包括各种传感器例如图像传感器(例如，相机)、深度传感器(例如，立体相机)、加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、声音传感器、距离测量传感器和力传感器。此外，输入装置906可以获取关于绘图工具本身的状态例如绘图工具的姿势和移动速度的信息，以及关于信息处理装置900的周围环境例如绘图工具周围的照度和噪声的信息。另外，输入装置906可以包括全球导航卫星系统(GNSS)模块，其接收来自GNSS卫星的GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号)并且测量包括装置的纬度、经度和高度的位置信息。此外，关于位置信息，输入装置906可以通过向Wi-Fi(注册商标)、移动电话、PHS、智能电话等发送和从Wi-Fi(注册商标)、移动电话、PHS、智能电话等接收来检测位置，或者通过短距离通信等来检测位置。输入装置906可以包括例如图4中示出的成像单元10、图12中示出的距离测量单元12和图13中示出的惯性传感器单元16。

输出装置907包括可以在视觉上或听觉上将获取的信息的通知给予用户的装置。这样的装置的示例包括：诸如激光投影仪、LED投影仪和灯的显示装置，诸如扬声器和耳机的声音输出装置，打印机装置等。输出装置907输出例如通过信息处理装置900执行各种类型的处理而获得的结果。具体地，显示装置以诸如文本、图像、表格、图形等的各种形式在视觉上显示通过信息处理装置900执行各种类型的处理而获得的结果。另一方面，音频输出装置将包括再现的音频数据、声学数据等音频信号转换成模拟信号，并且在听觉上输出模拟信号。以上提及的显示装置可以被包括在例如图4、图12和图13中示出的投影单元20中。

存储装置908是形成为信息处理装置900中的存储单元的示例的数据存储装置。存储装置908例如由诸如HDD的磁存储装置、半导体存储装置、光学存储装置、或磁光存储装置来实现。存储装置908可以包括存储介质、在存储介质上记录数据的记录装置、从存储介质读取数据的读取装置、删除记录在存储介质上的数据的删除装置等。存储装置908存储要由CPU 901执行的程序和各种类型的数据、以及从外部获取的各种类型的数据和其他数据。存储装置908可以被包括在例如图4、图12和图13中示出的存储单元30中。

驱动器909是针对存储介质的读取器/写入器，并且被内置在信息处理装置900中或者从外部附接至信息处理装置900。驱动器909读取记录在所附接的可移除存储介质例如磁盘、光盘、磁光盘或半导体存储器上的信息，并且将信息输出至RAM 903。此外，驱动器909能够将信息写入可移除存储介质。

例如，连接端口911——其是连接至外部装置的接口——是连接至外部装置的连接端口，并且能够通过通用串行总线(USB)发送数据。

通信装置913例如是包括用于连接至网络920的通信装置等的通信接口。通信装置913例如是用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡等。替选地，通信装置913可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种类型的通信的调制解调器等。通信装置913能够根据诸如TCP/IP的预定协议向例如因特网或另一通信装置发送信号和从例如因特网或另一通信装置接收信号等。通信装置913可以用于与投影控制单元40和数字笔50进行通信。

注意，网络920是用于从连接至网络920的装置发送的信息的有线或无线发送路径。例如，网络920可以包括：诸如因特网、电话线路网络或卫星通信网络的公共线路网络，包括以太网(注册商标)的各种局域网(LAN)中的任何，或广域网(WAN)等。此外，网络920可以包括专用线路网络，例如互联网协议-虚拟专用网络(IP-VPN)。

前面已经描述了可以实现根据本实施方式的信息处理装置900的功能的硬件配置的示例。上述部件中的每一个可以通过使用通用构件来实现，或者可以通过使用专用于部件中的每一个的功能的硬件来实现。因此，在执行本实施方式的情况下，可以根据技术水平适当地改变要使用的硬件配置。

注意，如上所述，可以创建用于实现根据本实施方式的信息处理装置900的功能的计算机程序，并且可以在PC等上实现该计算机程序。此外，还可以提供包含这样的计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪存等。此外，可以在不使用记录介质的情况下经由例如网络来分发上述计算机程序。

<<6.结论>>

上面参照图1至图20详细描述了本公开内容的实施方式。如上所述，根据本实施方式的投影控制单元40基于第一距离与第二距离之间的比率信息来控制由投影单元20执行的绘图信息的投影，第一距离为从关于数字笔50的感测信息获取的从参考点到数字笔50的距离，并且第二距离为从参考点到连接参考点和数字笔50的直线与校准面之间的交点的距离。根据本实施方式，第一距离与第二距离之间的比率信息用于绘图信息的投影控制。更具体地，基于第一距离与第二距离之间的比率信息，从校准面S上的投影变换矩阵H实时生成专用于绘图表面S'上的进行绘图操作的数字笔50的位置d'的投影变换矩阵H'。因此，可以抑制绘图表面S'上的数字笔50的位置与投影在投影平面S'上的绘图信息的位置之间的不匹配的发生，该不匹配在照原样使用校准面S上的投影变换矩阵H的情况下发生。由于投影变换矩阵H'是实时生成的，因此本技术在例如将图像投影到移动的真实对象的表面上的情况下是有效的。此外，由于不需要对每个绘图表面S'执行校准，因此本技术对于在非平坦、弯曲或不平坦表面上的投影也是有效的。此外，由于投影仪位置P不涉及投影变换矩阵H'的计算，因此本技术可以应用于投影仪位置P未知的情况。

上述位置的不匹配的发生在字符或图像的绘图操作等中产生重大麻烦，该操作参照紧接在绘图之前产生的轨迹继续进行。在这点上，根据本实施方式，由于抑制了位置的不匹配的发生，因此可以为用户提供舒适的绘图体验。

此外，在本实施方式中，除了绘图信息的坐标之外，还可以控制绘图信息的大小、亮度或颜色中的至少之一。因此，可以使利用数字笔50在真实空间中的各个位置上进行绘图的结果看起来像利用模拟笔进行的绘图。例如，考虑要放置在房间中的地毯和桌布的颜色，当用户利用数字笔50在其上绘制相同的颜色时，如果地毯和桌布以不同的颜色出现，则用户将难以决定颜色。在这点上，由于在真实空间中的任何地方绘制的某种颜色均以该颜色出现，因此本实施方式使得用户能够更顺畅地进行实践研究。

上面已经参照附图详细描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于这些示例。明显的是，具有本公开内容的技术领域中的普通知识的人员可以在权利要求中描述的技术思想的范围内进行各种改变或修改，并且自然地理解，这些改变和修改属于本公开内容的技术范围。

例如，可以以各种可能的方式进行以上实施方式中描述的绘图系统1到装置的映射。例如，存储单元30和投影控制单元40可以形成为单个信息处理装置，或者可以被设置在云上的服务器中。替选地，存储单元30和投影控制单元40可以被设置在成像单元10上、投影单元20上或数字笔50上。

此外，本文中参照流程图和序列图描述的处理步骤可能不一定以所示的顺序执行。一些处理步骤可以并行执行。此外，可以采用附加的处理步骤，并且可以省略一些处理步骤。

此外，本文中描述的效果仅是说明性或示例性效果，而不是限制性的。即，除了上述效果之外或替代上述效果，根据本公开内容的技术可以提供根据本文的描述对本领域技术人员而言明显的其他效果。

注意，以下配置也属于本公开内容的技术范围。

(1)

一种信息处理装置，包括：

投影控制单元，其基于第一距离与第二距离之间的比率信息来控制绘图信息的投影，所述投影由投影装置执行，所述第一距离是从关于绘图工具的感测信息获取的并且是从参考点到所述绘图工具的距离，所述第二距离是从所述参考点到以下直线与校准面之间的交点的距离，其中，所述直线连接所述参考点和所述绘图工具。

(2)

根据(1)所述的信息处理装置，其中，所述比率信息基于所述第一距离与所述第二距离之间的比率。

(3)

根据(1)或(2)所述的信息处理装置，其中，所述投影控制单元控制由所述投影装置投影的投影图像中的所述绘图信息的坐标。

(4)

根据(1)至(3)中任一项所述的信息处理装置，其中，所述投影控制单元控制由所述投影装置投影的投影图像中的所述绘图信息的大小。

(5)

根据(1)至(4)中任一项所述的信息处理装置，其中，所述投影控制单元控制由所述投影装置投影的投影图像中的所述绘图信息的亮度。

(6)

根据(1)至(5)中任一项所述的信息处理装置，其中，所述投影控制单元控制由所述投影装置投影的投影图像中的所述绘图信息的颜色。

(7)

根据(1)至(6)中任一项所述的信息处理装置，其中，所述校准面是校准目标对象的表面的平面以及通过虚拟延伸所述校准目标对象的表面的平面而获得的平面。

(8)

根据(1)至(7)中任一项所述的信息处理装置，其中，所述感测信息包括捕获图像，并且

所述参考点的位置包括捕获所述捕获图像的成像装置的位置。

(9)

根据(8)所述的信息处理装置，其中，所述投影控制单元基于所述绘图工具的出现在所述捕获图像中的特定部分的大小来获取所述第一距离。

(10)

根据(9)所述的信息处理装置，其中，所述投影控制单元基于从所述绘图工具发射的光出现在所述捕获图像中的形状的大小来获取所述第一距离。

(11)

根据(8)至(10)中任一项所述的信息处理装置，其中，所述投影控制单元针对所述捕获图像中的每个坐标点生成定义从所述参考点到所述校准面的距离的映射，并且获取与所述捕获图像中包括的所述绘图工具的坐标点对应的所述映射中针对所述坐标点定义的距离作为所述第二距离。

(12)

根据(11)所述的信息处理装置，其中，在所述绘图工具位于所述校准面上的多个点处的情况下，基于所述绘图工具的特定部分的大小来生成所述映射，所述特定部分出现在所述捕获图像中。

(13)

根据(11)所述的信息处理装置，其中，在所述绘图工具位于所述校准面上的多个点处的情况下，基于由距离测量传感器获取的到所述绘图工具的距离来生成所述映射。

(14)

根据(11)至(13)中任一项所述的信息处理装置，其中，所述投影控制单元还基于以下来控制所述绘图信息的投影：所述成像装置的光轴与所述校准面和其他校准面中的每一校准面之间的交点的坐标，以及所述投影装置的光轴与所述校准面和所述其他校准面中的每一校准面之间的交点的坐标。

(15)

根据(14)所述的信息处理装置，其中，所述投影控制单元基于从所述参考点到所述校准面上的第一点的距离与从所述参考点到所述其他校准面上的第二点的距离之间的比率信息来控制所述绘图信息的投影，所述第一点和所述第二点在所述捕获图像上具有相同的坐标。

(16)

根据(15)所述的信息处理装置，其中，所述投影控制单元控制用于识别所述第二点的信息在所述其他校准面上的投影。

(17)

根据(1)至(7)中任一项所述的信息处理装置，其中，所述投影控制单元基于在所述绘图工具位于投影在所述校准面和所述其他校准面上的投影图像上的多个已知点处的情况下所述绘图工具的三维位置以及绘图操作中所述绘图工具的三维位置，来控制所述绘图信息的投影，所述投影由所述投影装置执行。

(18)

根据(17)所述的信息处理装置，其中，所述投影控制单元基于在所述绘图工具位于投影在所述校准面和所述其他校准面上的投影图像中的多个已知点处的情况下所述绘图工具的三维位置，来生成用于将所述校准面上的三维位置转换成由所述投影装置投影的投影图像中的坐标的投影变换矩阵。

(19)

一种信息处理方法，包括：

基于第一距离与第二距离之间的比率信息来控制绘图信息的投影，所述投影由投影装置执行，所述第一距离是从关于绘图工具的感测信息获取的并且是从参考点到所述绘图工具的距离，所述第二距离是从所述参考点到以下直线与校准面之间的交点的距离，其中，所述直线连接所述参考点和所述绘图工具。

(20)

一种记录程序的记录介质，所述程序使计算机用作：

投影控制单元，其基于第一距离与第二距离之间的比率信息来控制绘图信息的投影，所述投影由投影装置执行，所述第一距离是从关于绘图工具的感测信息获取的并且是从参考点到所述绘图工具的距离，所述第二距离是从所述参考点到以下直线与校准面之间的交点的距离，其中，所述直线连接所述参考点和所述绘图工具。

附图标记列表

1 绘图系统

10 成像单元

11 成像视角

12 距离测量单元

16 惯性传感器单元

20 投影单元

21 投影视角

30 存储单元

40 投影控制单元

41 位置获取单元

42 校准单元

43 映射生成单元

44 输出控制单元

50 数字笔

60 桌面表面

61 辅助板

62 地板表面

64 玩偶

66 长座椅表面