具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

根据本发明的实施例，一种基于集成多传感器手写式的投射数据采集系统，如图1所示，包括电子板1和集成多传感器的电子笔2，所述电子板包括一个触摸屏，以及外边框以及支架和信号传输接口；所述的触摸屏下方设置有压力传感器；

所述的电子板的边框上还设置有多个按键及接触指示灯，所述按键包括开始按键、结束按键，回放按键、数据保存按键，以及数据导出按键；

所述开始按键被按下时触发触摸屏开始记录笔迹；

所述结束按键被按下时触发触摸屏结束记录笔迹；

所述回放按键被按下时回放记录笔迹；

所述数据导出按键被按下时导出笔迹到外部设备，例如电脑，或者U盘等；

所述接触指示灯是指当电子笔与电子板的触摸屏接触有效时，接触指示灯点亮，表示接触有效，数据记录正常，而当接触指示灯不亮时则表示接触无效，可能是接触不良或者使用者操作不当；

所述的电子板的触摸屏显示区上设置有颜色选择区域，笔画宽度选择区域，以及后退、擦除等按钮；

所述的颜色选择区域用于在测试中由用户选择希望使用的色彩；

所述的笔画宽度选择区域用于在测试中由用户选择希望使用的笔画宽度；

所述的后退按钮用于执行撤回操作，所述的擦除按钮用于擦除部分区域的轨迹，当用户对画面的轨迹不满意时，可以使用所述消除功能对区域内容进行擦除；

所述的电子板用于接受电子笔在其上书写和绘画，并通过电子板上的触摸屏捕获和记录电子笔的笔迹，以及记录笔迹中每个轨迹点的发生时间，以及对应的力度，颜色信息；例如，点P(x，y，t，color，width，pressure)，其中，x，y为横坐标和纵坐标，t为当前记录时刻，color为颜色，width为笔画宽度，pressure为电子笔的压力；由一系列点形成的一个笔迹为L＝{P1，P2，Pi……Pn}，n为笔迹上的点数；

多个笔迹L组成整个画面A，A＝{L1，L2，Li……LN}，N为笔迹数量；

所述的电子板内部包括有计时器，用于记录笔迹中每个点的时刻t；

根据本发明的实施例，所述电子板内还包括有处理器和存储器，所述处理器用于识别画面内容，对笔迹进行分析和处理，提取所述笔迹的特征，例如运动各部分时间，笔触的力度，轨迹连续性/流畅性，短点的规整度，笔画的跳跃性，重复描绘，轮廓的位置(坐标轴)、面积、对称性等。

所述的电子板还包括有数据接口，用于与电子笔的数据线相连接，从而接收电子笔的数据；

或者，所述的电子板上设置有无线收发模块，通过无线信号与电子笔进行数据传输；

所述电子板上还能对所述笔迹的数据进行存储，存储后的数据可以随时被处理器读取并进行回放、分析处理；从而能够在任何时刻进行数据处理；

如图2所示，所述电子笔包括电子笔本体，以及设置在本体上的握持部位，在握持部位设置有多个传感器，包括压力传感器，心率传感器，血氧饱和度传感器，皮电，皮温等传感器；图中的黑色区域为传感器，仅仅为示意性的，可根据实际需要数量设置；

进一步的，在电子笔的末端设有数据传输线，所述数据传输线通过接口连接到电子板上；或者，所述的电子笔上设置有无线收发模块，通过无线收发模块传输传感器数据；

根据本发明的有一个实施例，提出一种利用前述系统进行手写式的投射数据采集的方法，包括如下步骤：

步骤1、将电子笔与电子板通过有线或无线方式连接，启动系统的电源开关，运行系统；

步骤2、用户手持电子笔，将拇指与血氧传感器、皮电、皮温传感器接触，食指与心率传感期、压力传感器连接；点击开始按键，用户使用多传感器融合的电子笔在电子板上开始绘画，电子板实时记录所述的绘画笔迹，并记录用户对画面笔编辑的操作，包括撤回，擦除操作，以及通过电子笔测量用户的生理特征数据；绘画完成后点击结束按键；

步骤3、当检测到电子笔与电子板接触时，接触指示灯亮，电子笔上的压力传感器实时采集用户的血压数据，血氧传感器采集用户的血氧浓度参数，心率传感器采集用户的心率，并将用户的上述生理数据传输到电子板；

步骤4、所述电子板实时检测触摸屏上电子笔笔迹，并且将电子笔所选的颜色参数，以及电子笔按压触摸板的压力参数、以及笔迹点的位置参数和当前时间参数；

步骤5、利用内容识别模块对画面进行内容识别，通过机器视觉算法，对书写绘画内容进行总体分析，实现主体目标识别功能；

步骤6、在完成内容识别的基础上，利用笔迹特征提取模块，提取笔迹特征；利用融合分析模块，融合笔迹的多维特征，输出采集和分析的数据；所述笔迹的多维特征主要包括笔迹特征和生理特征。

所述内容识别模块，通过机器视觉算法，对书写绘画内容进行总体分析，实现主体目标识别功能。内容识别过程步骤如图3所示。包含以下步骤:

步骤1、对电子板上的图像进行区域划分。采用专家经验的方式，对图像划分成K*K个干个方形区域，例如K＝5，或K＝6等。当内容主体的中心点(黑色圆点)落在某一方形区域内时，该区域负责对内容主体进行识别并输出最终的主体目标的类型和大小。所有方形区域从0开始依次顺序编号。例如，从左上角第一个区域为0，按照Z字形依次编号到K*K，总共有K*K个区域；

步骤2、构建区域邻接矩阵。区域邻接矩阵用于表示方形区域之间的邻接关系。当用户绘制同一主体内容时会使用连续笔迹，而绘制不同的主体会出现笔迹的跳跃。因此，利用连续笔迹构建像素连接图有助于提升主体识别的准确率。区域邻接矩阵的第i行第j列的元素表示连续笔迹同时穿越第i个和第j个图像区域的总次数；i、j为区域的序号，区域总数为K²。

步骤3、将图像与邻接矩阵合并。首先根据区域与像素的所属关系，将区域邻接矩阵维度从K²×K²扩展至W×H×K²。然后用扩展后的区域邻接矩阵对图像数据进行通道扩充，这里是指通道扩充。原始图像是W*H*C的，通道扩充之后变为W*H*(C+k²)，得到W×H×(C+K²)的数据，C代表通道数，通道数C一般是指RGB(红绿蓝)三个颜色的数值。但也可能还存在RGBA(红绿蓝alpha)4个维度，或者灰度系统1个维度，或者CMYK等多种情况。依赖于根据图像格式。W为图像宽度，H为图像高度，作为预测模型的输入。

步骤4、利用Darknet深度学习模型进行图像特征提取。Darknet是由卷积层、残差层、池化层等构建的深度学习模型，能够很好的从图像数据中提取深度特征。所述Darknet深度学习模型预先采用已知图像数据完成训练。

步骤5、预测结果输出。每个区域根据Darknet输出的图像特征，对区域内的目标主体进行识别，最终输出目标类型和目标主体尺寸大小。所述目标类型包括建筑、车辆、人、动物、植物等；所述目标大小为区域所占的面积(例如，实际给出的是方框的左上角和右下角的坐标值，则根据坐标值计算其面积)。

笔迹特征分析模块，进行绘画笔迹特征提取与分析；笔迹特征分析模块的主要功能是在完成内容识别的基础上，汇总目标区域内所有历史笔迹，融合笔迹的多维特征，得出分析结果，用于实现用户内心的动态刻画。

所述笔迹的多维特征主要包括笔迹特征和生理特征。

笔迹特征主要包括笔迹外观特征、笔迹时间阶段特征、笔迹空间阶段特征、笔迹修改特征；

所述的笔迹外观特征，例如包括：笔迹粗细、规则度、大小、轻重、颜色；

例如，所述的笔迹粗细可以在面板上选择，选择的笔迹粗细例如是5个像素，或者10个像素作为笔迹粗细；所述的规则度是指笔迹平滑或流场程度，例如可以通过计算拟合曲线的均方差，得到所述的规则度；所述笔迹大小是指笔迹的最大宽度以及最大高度所限定的区域大小；所述笔迹的轻重通过电子笔上的压力传感器获得；

所述的笔迹时间阶段特征包括：笔迹点顺序、笔迹间顺序、停顿时间、速度特征、笔迹跳跃、笔迹流畅性；所述的笔迹点顺序包括笔迹中每个点的顺序，由于笔迹点上有时间信息，因此，通过该时间信息能够获得笔迹上点的顺序；不同笔迹通过比较其上点的时间，也能获得不同笔迹间的顺序，以及停顿时间；通过笔迹的长度除以笔迹首个点的时间与末尾点的时间差，计算速度特征；笔迹跳跃是指，不同笔迹之间，前一个笔迹的末尾点距离下一个笔迹的起始点的距离；

所述笔迹修改特征包括修正调整、重复、删除等，代表了用户的修饰加工过程；

根据本发明的实施例，在电子板的屏幕区域显示有后退、擦除按钮，用户在画画过程中，当点击后退或擦除按钮时，系统记录所述操作，以及修改所对应的笔迹，得到修改记录edit(mode，L，t)，mode代表后退或擦除；L代表对应的笔迹，t代表当前时间；

所述笔迹空间特征包括：笔迹区域分布、断点比例、断点数量、区域密度、笔迹连续性；

根据本发明的实施例，所述的笔迹分布区域特征可以用矩阵表示，每个区域的笔迹点分布数量作为矩阵对应位置元素；断点数量是长度小于预定长度的笔迹点，其与总笔迹数量相比，得到断点比例；笔迹连续性是指笔迹的长度与笔迹平均长度的比值；区域密度是指每个区域的点的密度；

所述生理特征为用户的绘图时的心率、握笔压力、血氧饱和度、皮电、皮温等生理特征。

根据本发明的实施例，所述处理器还能够进一步根据笔迹判断操作者书写和绘画的不同阶段，从时间或空间，或者两者的结合，对整个的笔迹进行阶段划分，分为多个轨迹段，得到笔迹的阶段特征：

例如，用户在书写画画过程中，中间停笔一段时间，然后再落笔，则笔迹点的记录时间为不连续的跳跃；代表了用户的思考，或者代表完成一个目标，到下一个目标，即一个阶段到另一个阶段；

或者，用户会从一个区域绘制完成，再跳到另一个区域开始绘制，则通过分析笔迹点的记录时间，以及记录区域，能够分析出用户绘制过程中进行空间跨越；进一步的，可以将整个绘制过程进行空间跨越分析，得到各个区域绘制的先后顺序和阶段。

根据本发明的一个可选实施例，也在时间上对笔迹进行如下的阶段划分：

起始阶段：定位用户的笔迹区域，分析用户的布局区域和内容，计算每个笔迹线条的流畅度；

修饰加工阶段：提取用户对画面内容进行细节的调整、重复、删除、色彩的修饰的特征；

在完成阶段：提取用户的画面内容布局，分析主体内容和主体色彩，背景区域和颜色；

在定稿阶段：用户对画面内容进行书面说明和确认，提取其中的说明的关键词作为辅助数据。

根据本发明的另一方面，所述的所述内容识别模块、笔迹特征提取模块、融合分析模块，可以设置为单独的芯片模块，例如FPGA或者其他数字芯片，或者可以作为程序模块存储在存储器上，通过处理器执行所述程序模块已实现所述内容识别模块等

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。