具体实施方式

参考附图，根据以下实施方式的描述，本发明及其实现方法的各种优点和特征将变得显而易见。然而，本发明并不限于在本文中阐述的实施方式，而是可以以许多不同的形式实现。可以提供本实施方式使得本发明的公开内容将是完整的，并且将本发明的范围充分地传达至本领域技术人员，并且因此将本发明限定在权利要求的范围内。贯穿本说明书的相同的参考标号表示相同的元件。

除非另外限定，否则应当理解说明书中使用的全部术语(包括技术和科学术语)具有与本领域技术人员理解的那些相同的含义。此外，除非明确地具体定义，否则由通常使用的词典限定的术语不应理想地或过度正式地限定。将理解，出于本公开的目的，“X、Y和Z的至少一个”可以被解释为仅X、仅Y、仅Z或者X、Y和Z的两项或更多项的任意组合(例如，XYZ、XYY、YZ、ZZ)。除非具体描述为相反，否则在本文中描述的术语“包括”、“配置”、“具有”等将被理解为暗示包括所陈述的部件，并且因此应被解释为包括其他部件，并且不排除任何其他元件。

如在本领域中惯用的，在附图中就功能块、单元和/或模块而言描述并且示出了一些示例性实施方式。本领域技术人员将理解的是，这些块、单元和/或模块由诸如逻辑电路、离散部件、微处理器、硬连线电路、存储器元件、配线连接等的电子(或光)电路物理地实现，其可以使用基于半导体的制造技术或其他制造技术形成。在由微处理器或其他类似的硬件实现块、单元和/或模块的情况下，可以使用软件(例如，微代码)对其进行编程和控制以执行本文所讨论的各种功能，并且可以可选地由固件和/或软件驱动。还可以设想，每个块、单元和/或模块可以由专用硬件实现，或者作为用于执行一些功能的专用硬件和用于执行其他功能的处理器(例如，一个或多个编程的微处理器和相关联的电路)的组合来实现。而且，在不背离本发明构思的范围的情况下，一些示例性实施方式中的每个块、单元和/或模块可以物理地分离成两个或更多个交互和离散的块、单元和/或模块。进一步，在不背离本发明构思的范围的情况下，一些示例性实施方式中的每个块、单元和/或模块可以物理地组合成更复杂的块、单元和/或模块。

下面将参考附图详细描述根据各种实施方式的用于定位转向系统中的噪声的装置。

首先，根据至少一个实施方式的用于定位转向系统中的噪声的装置建立用于定位在由部件组成的转向系统中的异常声音/噪声发生的位置或部件的神经网络模型。然后，该装置使得神经网络模型能够使用学习数据来执行学习，该学习数据包括转向系统中的异常声音或噪声以及异常声音或噪声发生的位置。通过麦克风或其他类型的声音接收单元或声音接收部件收集转向系统中的异常声音或噪声。然后，该装置将关于待诊断的转向系统中的异常声音或噪声的数据输入到经历学习的神经网络模型中用于定位异常声音或噪声。最后，该装置使得神经网络模型能够基于输入的异常声音/噪声数据来定位异常声音/噪声的位置。

图1是示意性地示出由用于定位转向系统中的噪声的装置来定位异常声音或噪声的待诊断的转向系统的视图；

图1中的转向系统是应用所谓的柱装式电机驱动力转向(C-MDPS)的转向系统。在这种转向系统中，用于动力转向的电机单元12安装在转向柱(steering column)11上。图1示出应用C-MDPS的转向系统，其仅是应用本发明的各种转向系统中的一种。本发明不限于图1中的转向系统。

参考图1，当驾驶员转动方向盘时，扭矩传感器测量由驾驶员生成的扭矩并且将扭矩的测量值传递至转向系统控制器。当转向系统控制器以生成与所测量的扭矩对应的转向力的方式控制电机单元12时，电机单元12生成在转向柱11上待施加的转向力。由电机单元12生成的转向力通过包括万向接头14的连杆传递至变速箱(gearbox)16。变速箱16内的齿条和齿轮机构将旋转运动转换为线性运动，由此使车辆转向。

在转向系统的这种结构中，异常声音或噪声主要发生在设置于电机单元12的减速器13、万向接头14、在变速箱16内支承齿条的轭(yoke)15等中。

根据实施方式，预先收集关于在转向系统中发生的异常声音或噪声的数据以及关于异常声音或噪声发生的位置或部件的信息，并且将其用作用于使神经网络模型能够执行学习的学习数据。

图2是示出根据实施方式的用于定位转向系统中的噪声的装置的框图。

参考图2，根据实施方式的用于定位转向系统中的噪声的装置包括麦克风100、处理单元200和存储单元300。麦克风100检测转向系统中的异常声音或噪声发生。处理单元200将在麦克风100中检测到的转向系统中的异常声音或噪声应用于预先执行学习的神经网络模型，并且对检测到的转向系统中的异常声音或噪声发生位置或部件进行定位。预先执行学习的神经网络模型存储在存储单元300中。

麦克风100是用于检测转向系统中发生的异常声音或噪声的装置。因为当在测试领域(诸如，在车辆服务中心处)中操作转向系统时麦克风100仅需要能够检测发生的异常声音或噪声，所以可以使用容易获得的低成本麦克风或者昂贵的高性能麦克风。

处理单元200可以包括数据预处理单元210。数据预处理单元210将关于在麦克风100中收集的异常声音或噪声的数据转换为适合于由神经网络模型进行学习或者应用于神经网络模型的格式。

处理单元200主要执行两种类型的功能。首先，处理单元200使得用于定位转向系统中的异常声音或噪声发生的位置的神经网络模型能够执行学习。其次，处理单元200将关于待诊断的转向系统中的噪声的数据应用于执行学习的神经网络模型，以用于定位异常声音或噪声，并且对异常声音或噪声发生在待诊断的用于定位异常声音或噪声的转向系统中的位置或部件进行定位。

为此，处理单元200可以包括机器学习单元220和噪声定位单元230。机器学习单元220由神经网络模型执行用于学习所需的各种类型的计算和处理。噪声定位单元230将转向系统中的异常声音或噪声应用于神经网络模型，该神经网络模型进行学习并且进行用于定位异常声音或噪声发生的位置所需的各种类型的计算和处理。

用于定位转向系统中的异常声音或噪声发生的位置或部件的神经网络模型存储在存储单元300中。此外，通过神经网络模型进行用于机器学习的学习数据(具体地，由通过处理单元200的数据预处理单元210的转换而产生的学习数据)存储在存储单元300中。除此之外，用于由神经网络模式的学习和对神经网络模式的应用所需的各种数据存储在存储单元300中。

数据预处理

处理单元200的数据预处理单元210执行将关于部件的学习数据和实际所测量的噪声数据转换为适当格式的预处理。由神经网络模型输入学习数据以进行学习，用于定位转向系统中的噪声。将关于部件的实际所测量的噪声数据输入到神经网络模型中。

输入到数据预处理单元210中的数据是关于转向系统中由麦克风100收集的异常声音或噪声的数据。关于由麦克风100收集的异常声音或噪声的数据是在时域中表示的数据。首先，数据预处理单元210将时域异常声音或噪声数据转换为频域异常声音或噪声数据。在该处理中，数据预处理单元210应用能够提取音频数据的特征的Mel频率倒谱系数(Mel-Frequency Cepstrum Coefficient，MFCC)技术。

图3是示出根据实施方式的用于定位转向系统中的噪声的装置的数据预处理单元210的操作的流程图。图3中的流程图示出将MFCC技术应用于关于在麦克风100中、在转向系统中检测到的噪声的数据以及提取和成像频域特征的步骤。

音频数据不是非静态数据(即，其可以随着时间具有不同的频域特性)。由此，数据预处理单元210在音频数据被视为静止的短时间内执行成帧(framing)(步骤211)和加窗(windowing)(步骤212)，用于转换到频域。成帧和加窗的大小(步骤211和212)使用实验方法近似地调整。

随后，数据预处理单元210对每帧执行快速傅里叶变换(FFT)(步骤213)。

图4是示出频谱图的实例的图，该频谱图示出根据实施方式的用于定位转向系统中的噪声的装置的数据预处理单元210的FTT的结果。

图4中的频谱图的水平轴线表示时间(帧)，并且其垂直轴线表示频率。白色的强度表示每个时间频率的大小。

随后，数据预处理单元210将Mel滤波器组应用于FFT的结果(步骤214)，对由Mel滤波器组滤波的结果执行离散余弦变换(DCT)，并且最终创建示出频率特征的频谱图(步骤215)。

图5是示出根据实施方式的由用于定位转向系统中的噪声的装置的数据预处理单元210最终生成的频谱图的实例的图。

图5中的频谱图的水平轴线表示时间(帧)，并且其垂直轴线表示频率。白色的强度表示每个时间频率的大小。

从以上描述中，应当理解，将MFCC技术应用于从对关于从麦克风100输入的噪声的数据进行成帧和加窗的步骤到最终执行DCT并且输出DCT的结果的步骤的所有步骤中。

数据预处理单元210将示出通过应用MFCC技术导出的频率特征的频谱图的区域A确定为待输入到神经网络模型中的区域。通过预处理形成的频谱图的区域A的图像在存储单元300中形成。此处，使用实验方法适当地进行调整区域A的大小。

由神经网络模型进行的机器学习

机器学习单元220是使得存储单元300中存储的神经网络模型能够执行学习的元件。

用于由神经网络模型进行学习的数据包括关于由麦克风100收集的转向系统中的噪声的数据以及关于转向系统中的噪声发生的位置或部件的数据。

也就是说，待输入用于学习的数据是关于由麦克风100收集的噪声的数据，并且待输出用于学习的数据是关于转向系统中的噪声发生的位置或部件的数据。具体地，待输入用于学习的数据是由数据预处理单元210生成的频谱图的区域A的图像。

通过对各种转向系统进行测试等来收集包括待输入用于学习的数据和待输出用于学习的数据的学习数据。

图6是示出根据使用神经网络模型的实施方式的可以应用于用于定位转向系统中的噪声的装置的神经网络模型的实例的视图。

参考图6，根据实施方式的应用于用于定位转向系统中的噪声的装置的神经网络模型被实施为卷积神经网络(convolution neural network，CNN)，该卷积神经网络(CNN)包括卷积层(convolution layer)61和63、池化层(pooling layer)62和64、全连接层(fully connected layer)65和输出层66。

卷积层61和63使用滤波器对输入图像A执行滤波以提取由数据预处理单元210生成的输入图像的特征，执行卷积计算并且创建特征映射。例如，用k个滤波器创建k个特征映射。滤波器在开始时采用适当的初始值作为数值(加权因子)，并且此后通过学习改变为适当的值。

池化层62和64从由卷积层61和63创建的特征映射提取每个区域的代表值。池化层62和64执行最大池化、平均池化等，并且因此减小特征映射的大小，并且与它们减小特征的大小一样多地减小计算量。在最大池化中，使用滤波器对特征映射执行滤波，并且将执行滤波的区域的最大值确定为代表值。在平均池化中，使用滤波器对特征映射执行滤波，并且将执行滤波的区域的平均值确定为代表值。

在图6的实例中，示出了两个卷积层(卷积层61和63)、两个池化层(池化层62和64)，但是卷积层的数量和池化层的数量可以在必要时增加或减少。

输出至池化层64的特征映射经历平坦化处理(flattening process)，并且然后被输入到全连接层65中。平坦化处理是将从池化层64输出的二维特征映射转换为一维特征映射的处理。在完全连接层65中包括的节点的特征使用激活功能被进一步加强和分类。其分类的特征被传递至输出层66。对于转向系统中的异常声音或噪声，输出层66定位噪声发生的位置或部件并且输出定位的结果。

神经网络模型由机器学习单元220启用以执行学习。例如，机器学习单元220使得神经网络模型能够通过增量规则(delta rule)和反向传播学习(back propagationlearning)来学习神经网络模型的层之间的或节点之间的连接的加权因子、节点状态的参数等，该增量规则和反向传播学习是典型的受监督学习技术。

在由神经网络模型进行的学习完成之后，机器学习单元220将神经网络模型保留的各种参数和加权因子等存储在存储单元300中。

通过神经网络模型定位噪声

如上所描述的，噪声定位单元230使用执行学习的神经网络模型来定位转向系统中的噪声发生的位置或部件。

当麦克风100检测到待诊断的转向系统中发生的噪声以用于定位异常声音或噪声时，数据预处理单元210对关于检测到的噪声的数据进行预处理，生成作为示出频率特征的图像的频谱图，并且然后将频谱图的区域A存储在存储单元300中或将其区域A提供给噪声定位单元230。

随后，噪声定位单元230将预处理后的图像数据输入到在存储单元300中存储的神经网络模型中，对神经网络模型的每一层执行计算处理，并且对定位转向系统中的噪声发生的位置或部件的神经网络模型的结果进行输出。

图7是示出根据实施方式的用于定位转向系统中的噪声的装置的实施示例的视图。

如图7中所示，根据上述实施方式的用于定位转向系统中的噪声的装置在测试领域中实施为便携式平板PC 700和麦克风100的组合，以用于实际定位异常声音或噪声。

在平板PC 700中包括的中央处理单元(CPU)用作处理单元200。在平板PC 700内包括的诸如闪存的存储装置用作存储单元300。

如上所描述的用于执行数据预处理算法的应用和用于使用学习数据定位异常声音或噪声的算法存储在平板PC 700内的存储单元300中。用户执行应用并且通过连接至平板PC 700的麦克风100从待执行测试的车辆来收集异常声音或噪声。此后，使应用程序执行数据预处理算法和用于定位异常声音或噪声的算法。由此，可以定位异常声音或噪声发生在真实车辆的转向系统中的位置、部件等。

更具体地，应用记录在麦克风100中所收集的异常声音或噪声，分析异常声音或噪声，并且显示异常声音或噪声的模式。而且，应用执行由机器学习实现的用于定位异常声音或噪声的算法，并且由此定位异常声音或噪声发生的位置、部件等。

根据上述实施方式的用于定位转向系统中的噪声的装置可以实施为各种计算装置。具体地，根据一个或多个实施方式的用于定位转向系统中的噪声的装置也可以实施为配备有麦克风、存储器和处理器中的全部的个人终端(智能电话)。由神经网络模型进行的学习需要大量的计算。由此，高性能计算装置使得神经网络模型能够执行学习。将执行学习的神经网络模型和用于执行预处理的算法存储在个人终端中。利用个人终端，可以立即在车辆生产线或服务中心等中定位异常声音或噪声发生转向系统中的位置或部件。

如上所描述，当通过麦克风检测在车辆的转向系统中发生的噪声并且然后将关于检测到的噪声的音频数据仅输入到神经网络模型中时，根据一个或多个实施方式的用于定位转向系统中的噪声的装置可以获取定位转向系统中的异常声音或噪声发生的位置或部件的结果，并且由此，可以显著地减少用于噪声诊断的时间。此外，噪声专家或噪声诊断装置不必定位转向系统中的噪声。而且，不需要替换估计会发生噪声的部件，这种替换被逐一冗长地执行以定位噪声发生的位置或部件。由此，可以降低用于定位噪声的成本。而且，可以减少不必要或错误修复的频率。

尽管在上文中已经示出和描述了示例性实施方式，但是本描述不限于以上描述的特定示例性实施方式，在不背离如所附权利要求中公开的本发明的范围和精神的情况下，可以由示例性实施方式所属领域的技术人员进行各种修改。此外，这种修改也应当被理解为落在本发明的范围和精神内。