本公开提供一种模型定制系统和方法,涉及人工智能领域,尤其涉及自然语言处理及深度学习等领域。具体实现方案为：模型定制系统包括数据库、数据交互中心、训练中心和模型存储中心；其中,数据库包括二进制日志,用于记录数据库表结构变更以及表数据修改；数据交互中心用于响应于目标对象的定制请求,获取目标对象的定制数据,并将定制数据发送至数据库进行存储；训练中心用于获取数据库的二进制日志,并根据二进制日志感知数据交互中心的数据变化信息,根据数据变化信息生成训练数据,以及根据训练数据生成目标对象的定制模型；模型存储中心用于接收训练中心发送的目标对象的定制模型,并采用分布式存储方法对目标对象的定制模型进行存储。

本发明公开了一种深度学习模型可视化构建系统及其应用和设计方法,所述深度学习模型可视化构建系统包括用户管理模块和业务功能模块,所述用户管理模块用于对用户进行分类以及提供权限；所述业务功能模块包括数据管理模块、模型定义模块、模型训练模块和模型可视化模块,所述数据管理模块用于对训练数据集进行管理和存取,所述模型定义模块用于定义模型结构且给用户提供常用的深度学习算法,所述模型可视化模块用于对预训练模型进行可视化。本发明的系统能够在浏览器Web页面中以可视化的方式定义、设置和构建深度学习模型,并在深度学习训练过程中可视化展示模型进行推理预测的过程,捕捉各网络层的输出信息,动态展示层与层之间数据流动的过程。

本发明属于高性能计算与人工智能的交叉领域,特别涉及一种面向大规模深度神经网络的分布式训练方法,具体为通过逐层调度参数同步过程与反向误差传播实现通信过程与计算过程重叠,进而隐藏通信开销加速模型训练,另外在每层的参数同步过程中,根据不同数据块的稀疏性和数据压缩开销动态地决策所要传输的数据实现对Ring-All-Reduce通信更细粒度的控制,从而最小化参数同步过程的通信开销大幅度提升性能,在不影响模型准确率和收敛率的情况下,使任意深度神经网络的分布式训练接近于线性加速,并利于集群的高效率扩展。

提供了用于得出一致的软件神经网络层的系统和方法。该方法包括接收第一指令,第一指令被配置为使用神经网络处理器(NNP)处理与神经网络层相对应的第一数据集,其中NNP被配置为量化第一数据集以生成量化的数据集,并且然后使用与NNP相关联的硬件内所包含的矩阵向量乘法器,对量化的数据集执行矩阵向量乘法操作,以生成第一结果集。该方法还包括处理第一指令以自动生成第二指令,第二指令被配置用于与不同于NNP的至少一个处理器一起使用,使得第二指令在被至少一个处理器执行以执行矩阵乘法操作时,生成与第一结果集一致的第二结果集。

本发明提供一种适用于硬件电路的高精度压缩方法、装置及电子设备,应用于图像处理技术领域,该方法包括：获取目标图像；将所述目标图像输入卷积神经网络模型；输出所述目标图像对应的图像类别；其中,该卷积神经网络模型是基于不同类别的图像训练得到的、经过压缩的神经网络模型,该卷积神经网络模型的每个卷积层中包括至少一组卷积核参数为卷积核共享参数。

本申请涉及用于定点神经网络的位宽选择。一种用于选择定点机器学习模型的位宽的方法包括评估该模型的每个计算级处的模型准确度对于位宽的敏感度。该方法还包括选择该模型的计算级中的参数和/或中间计算的位宽。该参数的位宽和该中间计算的位宽可以是不同的。所选择的位宽可以基于敏感度评估来确定。