具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图2是本发明基于TrustZone的可信量化模型推理方法的具体实施方式流程图。如图2所示，本发明基于TrustZone的可信量化模型推理方法的具体步骤包括：

S201：物联网终端设备配置：

对于执行人工智能模型推理的物联网终端设备，采用TrustZone将CPU划分为两个执行环境：安全世界和普通世界。

图3是本发明中物联网终端设备的结构图。如图3所示，本发明中物联网终端设备分为两个执行环境：安全世界和普通世界，安全世界承担模型解析、数据量化、推理执行和可信校验的任务，普通世界承担推理执行的任务，安全世界和普通世界之间通过通信接口实现信息交互。

S202：确定人工智能模型量化规则：

由于人工智能模型的输入数据通常是浮点数值，为了提高人工智能模型在物联网终端设备CPU上的运算速度，需要预先对人工智能模型进行量化规则设置，并生成量化模型保存至物联网终端设备的安全世界中。

量化规则可以根据人工智能模型输入数据的实际情况来进行设置，通常可以从ARM计算库中选取。量化的方式包括对称与非对称两种方式。通过将浮点数值转成低比特数值，可以有效的降低人工智能模型计算强度、参数大小和内存消耗。本实施例中量化规则采用非对称量化，量化参数为量化比例和零点，通过遍历训练集数据来找到合适的量化参数。量化模型以尽可能保障量化前后数据的分布一致为原则，以信息熵为评价标准。

S203：人工智能模型解析与量化：

物联网终端设备对人工智能模型进行解析。图4是本发明中人工智能模型解析的流程图。如图4所示，本发明中人工智能模型解析方法为：将人工智能模型从原有格式转换为ONNX模型，然后进行Protobuf反序列化，提取出人工智能模型的数据，将得到的数据划分为张量数据和计算节点数据，张量数据为人工智能模型推理各个计算节点的输入数据和输出数据，计算节点数据为人工智能模型中各个计算节点的数据和相关参数数据。然后根据步骤S202中设置的量化规则对张量数据进行量化，将量化后的张量数据和计算节点数据缓存至安全世界中。

ONNX(Open Neural Network Exchange，开放神经网络交换格式)是框架共用的一种模型交换格式，相当于一个翻译的作用，将不同格式的模型转换为统一格式，然后从中提取出所需的张量数据和计算节点数据。表1是张量数据格式示例。

表1

表2是计算节点数据格式示例。

表2

S204：计算节点部署：

物联网终端设备根据预设的复杂度判定标准将接收到的计算节点划分为简单计算节点和复杂计算节点，然后在安全世界中划分出共享内存，将复杂计算节点数据及相关的张量数据放置到共享内存。

复杂度判定标准可以参考文献“Molchanov P,Tyree S,Karras T,et al.PruningConvolutional Neural Networks for Resource Efficient Transfer Learning[J].2016.”中方法进行设置。一般来说，复杂计算多为卷积计算。表3是卷积计算节点的数据格式示例。

表3

S205：人工智能模型推理：

当物联网终端设备需要进行人工智能模型推理时，将简单计算节点在安全世界中运行，将复杂计算节点通过共享内存发送至普通世界中运行，复杂计算节点运行时采用多线程操作。

安全世界中的TA(Trust Application)与普通世界中的CA(Client Application)实现共享内存的具体方法如下：安全世界中TA和普通世界中CA建立连接，CA发送共享内存的命令TEE_IOS_SHM_ALLOC，并通过硬件指令命令让自身陷入阻塞。Linux系统通过SMC指令让世界从普通世界切换到安全世界。由于CA并不知道共享内存应该设置的大小，在安全世界下，TA通过反向RPC调用，把需要共享的内存大小传递给Linux系统，Linux系统为TA与CA分配用于数据交互的共享内存，从而实现共享内存。

在计算节点运行时，主要通过ARM计算库接口进行计算。基于OpenCL以及OpenGL计算库，对计算算子初始化以及为各种张量分配内存空间，然后根据计算节点的具体计算内容进行运算。以卷积计算节点为例，首先对卷积计算节点调用CLTensor接口初始化输入、输出、卷积核权重的张量层、卷积核偏置，创建CL调度器并进行初始化。通过CL调度器，设置运行时候的线程数涉及运行线程数，从而实现多线程并行计算，以提高运算速度。其次，创建卷积核权重的TensorShape类、偏置的TensorShape类，PadStrideInfo类，并利用输入、输出、卷积核权重、卷积核偏置的分配器对计算节点进行初始化和配置，对输入的内存块与共享内存空间进行影射。

S206：推理结果整合：

复杂计算节点在普通世界中计算得到运行结果后将其回传至安全世界，物联网终端设备在安全世界中根据预设的可信校验对复杂计算节点的运行结果进行校验，校验通过后和简单计算节点的运行结果整合，得到人工智能模型的推理结果。

以卷积计算节点为例，卷积计算中需要大量使用矩阵乘法，一个卷积运算可以由平铺算法和矩阵乘法来实现，执行矩阵乘法的为CLGEMM类。CLGEMM执行的是卷积矩阵与特征矩阵的乘法，矩阵乘法根据Freivald算法进行。当节点任务需要进行卷积操作时候，就需要对该操作进行可信校验。本实施例中采用的可信校验方法为：在安全世界中从卷积运算中选取部分矩阵乘法进行计算，和普通世界中这些矩阵乘法的计算结果，如果计算结果一致，则可信校验通过，否则不通过。由于计算中涉及到量化数值，在计算后进行数值会因为饱和产生精度的变化，因此采用基于Freivald算法思想的矩阵乘法校验来进行可信校验。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。