本发明公开了一种基于TrustZone的可信量化模型推理方法,首先将执行人工智能模型推理的物联网终端设备采用TrustZone技术划分为安全世界和普通世界,在安全世界中对人工智能模型进行解析与数据量化,将计算节点划分为简单计算节点和复杂计算节点,将简单计算节点部署至安全世界,复杂计算节点部署至安全世界的共享内存,在进行人工智能模型推理时,将简单计算节点在安全世界中运行,将复杂计算节点通过共享内存发送至普通世界中运行并将运算结果返回至安全世界,物联网终端设备对复杂计算节点的运算结果进行校验后与简单计算节点的运算结果进行整合,得到人工智能模型推理结果。本发明通过将简单计算节点部署和复杂计算节点分别部署,提高人工智能模型推理效率。