具体实施方式

以下，参照附图对本发明的实施方式进行说明。本实施方式只不过是用于实现本发明的一个例子，并不限定本发明的技术范围。在各图中，对共同的构成标注相同的参照符号。

(自动驾驶系统的构成)

首先，对适用本发明的自动驾驶系统(车辆控制系统)的构成(未图示)进行说明。本发明的自动驾驶系统是基于从外界传感器得到的信息来控制车辆的行为的车辆控制装置。

在本发明中，外界传感器例如设想为摄像机或激光雷达、雷达、激光等，但也可以是其他传感器。另外，在本发明中，车辆控制系统与车辆所具备的执行器组连接，通过驱动执行器组来控制车辆。所谓执行器组，例如是制动控制、发动机控制、动力转向控制，但不限于此。

(实施例1)

以下，使用图1至图3对实施例1进行说明。

图1是表示实施例1中的车辆控制装置(第1ECU)11的内部构成、传感器以及执行器的连接的图。

如上所述，近年来为了实现自动驾驶，要求车辆控制装置通过输入精度更高且信息量更大的传感器数据并进行传感器融合，来进行高精度的轨道生成。

存在多个用于识别自身车辆的周边环境的传感器。例如是用于得到图像数据的摄像机、用于得到距离数据的激光雷达或雷达等。摄像机虽然路面标识等颜色识别具有高可靠性，但在雨、雾、强日照时，存在识别困难的问题。

另一方面，例如雷达存在的问题是，距离的探测是有用的，而分辨率低。各传感器存在长处、短处，仅用一个传感器不能进行周边环境识别。

这里，所谓传感器融合，是指通过综合处理2个以上的传感器、例如摄像机的拍摄图像、雷达等的检测数据，实现从单一传感器不能得到的高级的识别功能的技术。到目前为止，在实施传感器融合时，通过对各个传感器数据进行前处理(对象数据化)并进行传感器融合(对象数据融合)，确保了高可靠性。另一方面，近来，为了进行更高级的周边环境识别，对从各传感器得到的原始数据进行传感器融合的必要性提高。具体说明如下。

在本实施例的车辆控制装置11中，从各传感器输入未进行前处理的大量原始数据。并且，车辆控制装置11所具备的微机111根据从各传感器输入的原始数据，实施原始数据融合处理。具体地说，在微机111的运算块211中，通过对从各传感器得到的原始数据104、204、304进行数据融合处理，生成原始数据融合结果701。

除了原始数据之外，车辆控制装置11还从各个传感器输入对象数据。第1传感器1、第2传感器2、第3传感器3通过各传感器所具备的信息处理部102、202、302，分别生成各传感器数据的对象数据103、203、303。车辆控制装置11所具备的微机112根据从各传感器输入的对象数据，实施对象数据融合处理。

具体地说，在微机112的运算块212中，通过对从各传感器得到的对象数据103、203、303进行数据融合处理，生成对象数据融合结果702。作为例子，使用以下的传感器来说明融合的流程。

例如，摄像机1是内置传感器101和信息处理部102的传感器模块。从传感器101取得的原始数据被发送到信息处理部102和第1ECU中的运算块211。此外，信息处理部102基于从传感器101取得的原始数据生成对象数据。然后，对象数据103被发送到第1ECU中的运算块212。

雷达2是内置传感器201和信息处理部202的传感器模块。从传感器201取得的原始数据被发送到信息处理部202和第1ECU内的运算块211。此外，信息处理部202基于从传感器201取得的原始数据生成对象数据203。然后，对象数据203被发送到第1ECU中的运算块212。

激光器3是内置传感器301和信息处理部302的传感器模块。从传感器301取得的原始数据被发送到信息处理部302和第1ECU中的运算块211。此外，信息处理部302基于从传感器301取得的原始数据生成对象数据。然后，对象数据303被发送到第1ECU中的运算块212。作为信息处理部的例子，可以举出微机或FPGA(Field Programmable GateArray：现场可编程门阵列)。

如上所述，从各个传感器获得的原始数据被输入到运算块211。运算块211融合从各传感器输入的原始数据，生成作为周围的对象数据的原始数据融合结果701。因此，运算块211需要能够成批处理大量的数据。原始数据融合结果701通过机器学习输出。这里所说的机器学习是指，例如通过将来自各传感器的原始数据输入到设置在运算块211中的NN(Neural Network，神经网络)或DNN(Deep Neural Network，深度神经网络)，生成将原始数据传感器融合后的原始数据融合结果701。这里，通过以NN、DNN为例的机器学习而运算的原始数据融合结果701由于包含大量的数据，所以能够进行高精度的轨道生成。运算块211将生成的原始数据融合结果701发送到微机113。此外，微机111基于原始数据融合结果701进行自身车辆周围的物体的行为预测，基于行为预测的结果生成车辆的轨道数据711，并且将轨道数据711发送到轨道跟踪控制部214。

运算块212安装在搭载锁步(ロックステップ)功能的可靠性高的微机112中。在此，锁步微机112具备CPU和存储器，各系统的CPU子系统由二重化控制电路控制，以使其以时钟为单位完全同步地动作，因此可靠性高。

微机112处理由摄像机1、雷达2、激光器3分别进行了前处理的对象数据。

通过由摄像机1、雷达2、激光器3等各传感器中设置的信息处理部102、202、302进行前处理而得到的各对象数据103、203、303由运算块212进行对象数据融合，生成对象数据融合结果702。

然后，微机112将生成的对象数据融合结果702发送到微机113。此外，微机112基于对象数据融合结果702进行自身车辆周围的物体的行为预测，基于行为预测的结果生成自身车辆的轨道数据712，并且将轨道数据712发送到轨道跟踪控制部214。

在本实施例中，示出了具备安装有运算块211的第1微机111、安装有运算块212的第2微机112、安装有进行比较诊断的运算块213的第3微机113的车辆控制装置的例子。

在运算块211中进行传感器融合后的原始数据融合结果701和在运算块212中进行传感器融合后的对象数据融合结果702通过运算块213具有的比较诊断功能进行诊断。然后，根据运算块213的诊断结果进行轨道跟踪控制。具体的诊断将在后面叙述。

控制跟踪控制部214根据由微机111的轨道生成部或微机112的轨道生成部运算得到的轨道信息，生成轨道跟踪控制指令。作为比较诊断的结果，当运算块211正常时，轨道跟踪控制部214生成并发送控制指令到执行器控制ECU13、14和15，以使自身车辆基于由微机111生成的轨道数据711进行跟踪。

另外，在运算块211被诊断为异常的情况下，控制跟踪控制部214生成并发送控制指令到执行器控制ECU13、14、15，以使自身车辆跟踪由微机112生成的轨道数据712。

图2是表示实施例1中的传感器融合结果的诊断方法的图。

图2表示在自身车辆801的附近行驶有其他车辆802、803、在自身车辆801的远方行驶有其他车辆804的情况下的自身车辆801的传感器融合结果的例子。

图2左侧的图2-1a、图2-1b表示根据从各传感器得到的原始数据在运算块211中进行传感器融合而得到的原始数据融合结果701。图2右侧的图2-2a、图2-2b表示根据由各传感器的运算块处理后的数据而由运算块212进行融合后的对象数据融合结果702。

在此，图2的上段表示诊断结果为正常的情况，下段表示诊断结果为异常的情况。以下说明诊断的具体方式。

如上所述，从各传感器101、201、301得到的传感器数据由各传感器所具备的信息处理部102、202、302进行信息处理。通过上述信息处理得到的各传感器的对象数据103、203、303的信息被发送到运算块212。运算块212通过对所得到的各对象数据103、203、303进行融合，生成对象数据融合结果702。

由运算块212进行的传感器融合使用设置在传感器侧的运算块(处理器)或锁步微机来进行。此外，为了验证可靠性，优选地，锁步微机采取通过多数决来采用从各传感器输出的对象数据的措施。

但是，在对象数据融合结果702中，如图2-2a所示，对于在自身车辆周边行驶的其他车辆802、803的识别，可以期待可靠性高的输出。另一方面，由于为了确保可靠性而预先处理数据，所以有时难以识别在远方行驶的其他车辆(例如图2-2a的其他车辆804)。

这里，在运算块211中，直接得到从各传感器得到的数据(例如数据104、204、304)，进行原始数据融合处理，输出原始数据融合结果701。图2-1a表示输出的例子。由于运算块211处理来自各传感器的大量原始数据，因此可以识别的物体群的信息量增加。

在此，物体群是指存在于车辆周边的物体，例如是车辆或行人。因此，不仅能够识别在自身车辆附近行驶的其他车辆802、803，在图2-1a中，也能够识别在图2-2a中不能识别的、在远方行驶的其他车辆804。

基本上，在运算块212中通过传感器融合而生成的对象数据融合结果702与由被输入大量原始数据的运算块211输出的数据融合结果701相比，能够识别的周边的信息量少。这里，由运算块211生成的原始数据融合结果701，例如是LVDS通信电平，是10Mbps以上的数据量。另一方面，由运算块212生成的对象融合结果702例如小于CAN-FD通信电平的10Mbps。

若为了判断运算块211和运算块212的原始数据融合结果701、对象融合结果702的输出、识别的可靠性，而单纯地对照原始数据融合结果701、对象融合结果702，则如上所述，由于数据量或可识别的物体群总是产生差异，所以总是在诊断中判断为诊断结果：异常。

因此，在本实施例中，运算块212采用使用了多个处理器和锁步微机的流程，以附近的其他车辆的识别具有高可靠性为前提，诊断运算块211是否能够识别与由运算块212识别出的附近的外界信息的识别同样的外界信息识别。

具体地说，在由运算块212输出的对象融合结果702包含在由运算块211输出的原始数据融合结果701中的情况下，判定为诊断结果：正常。在由运算块212输出的原始数据融合结果702不包含在由运算块211输出的原始数据融合结果701中的情况下，运算块213判定为诊断结果：异常。

以下，以图2为例进行具体说明。

在图2的上部的图中，在运算块211的原始数据融合结果701中识别远方的其他车辆804(图2-1a)，与此相对，在运算块212中，不识别其他车辆804(图2-2a)，但对于在附近行驶的车辆，由于能够识别双方，所以设为诊断结果：正常。

另一方面，在图2的下部的图中，由运算块212识别附近的其他车辆802(图2-2b)，与此相对，运算块211不识别其他车辆802(图2-1b)。因此，在运算块212中生成的对象数据融合结果702不包含在运算块211中生成的原始数据融合结果701中的情况下，运算块213设为诊断结果：异常。在这种情况下，判断为原始数据融合结果701中存在错误，将从可靠性高的运算块212输出的对象融合结果702作为正确的。

在存在尽管通过运算块212中计算出的对象数据融合结果702能够识别、但通过在运算块211中计算出的原始数据融合结果701无法识别的物体的情况下，运算块213将诊断结果设为异常。另外，当通过运算块211中计算出的原始数据融合结果701能够识别通过运算块212中计算出的对象数据融合结果702能够识别的物体时，将诊断结果判断为正常。

在此，在运算块213将运算块211的诊断结果诊断为异常的情况下，具有传感器的故障或不良发生的可能性。

当探测到上述那样的不良发生的情况下，运算块213或211优选地禁止输出原始数据融合结果701。或者，运算块211停止原始数据融合结果的输出。按照从运算块212输出的车辆的轨道进行行驶。其理由是，关于运算块212的输出，由于通过多数决来判断多个传感器的数据的可靠性，所以即使一个传感器发生故障，依然能够得到可靠性高的输出。通过继续使用运算块212的输出结果，能够进行可靠性高的轨道跟踪控制。

另外，更优选地，也可以是，在微机112中生成回退轨道(縮退軌道)数据712，车辆选择回退动作。关于回退动作将在后面详细叙述。

在本诊断方法中，以由运算块212输出的传感器融合结果为正，诊断运算块211输出的传感器融合结果701。为了使运算块212的输出结果为正，优选车辆控制装置、系统具备如下的构成。

使用机器学习(例如DNN)的融合处理(运算块211)是通过经验匹配(経験·マッチング)而生成的，与此相对，优选运算块212的融合是通过基于规则的算法而生成的。使用机器学习的融合处理是基于实时变动的因果关系(例如DNN)的处理，运算块212的融合处理是基于预先确定的相关关系(例如锁步微机)的处理。因此，根据由独立于机器学习的融合处理的系统计算出的轨道，可以诊断原始数据融合结果。其结果，能够实现可靠性更高的原始数据融合结果的诊断。

运算块212优选由可靠性高的锁步微机执行。可以根据可靠性高的运算块212输出的对象融合结果702，诊断用于运算块211的轨道生成的原始数据融合结果701的可靠性。其结果，能够进行可靠性高的原始数据融合结果的诊断。

另外，运算块212优选基于来自多个传感器/电子控制处理器(使用与运算块211不同的原理/方式、算法)的输出来采取多数决。根据上述构成，运算块212能够使用可靠的数据进行运算，可靠性高。

运算块212需要使用与运算块211不同的电子控制处理器。即使在一个传感器或一个电子控制处理器发生故障的情况下，通过多数决，也能够有效利用其他的传感器、电子控制处理器，进行正确的判断。

向车辆控制装置11供给传感器数据的多个传感器优选从至少两个以上的电池供给电源。例如，摄像机1从电池A接受电源供给，雷达2从电池B接受电源供给。通过该构成，车辆控制装置11能够实现电源的冗余化，能够进行可靠性更高的车辆轨道生成。

图3是表示实施例1中的诊断以及基于诊断结果的控制流程的图。微机111所具备的运算块211的融合结果701和微机112所具备的运算块212的融合结果702通过微机113所具备的运算块213进行比较。

在此，在判定为正常的情况下，在微机111中采用传感器融合以及轨道生成所得的轨道数据712。为了基于在微机111中运算出的原始数据融合结果701的数据通过运算块214来执行轨道跟踪控制，用于轨道跟踪控制的执行器控制指令从车辆控制装置11发送到执行器侧。

另一方面，在由运算块211输出的传感器融合生成的原始数据融合结果701不包含在由运算块212输出的传感器融合生成的对象数据融合结果702中的情况下，诊断为异常。在此，在运算块213将运算块211的运算结果诊断为异常的情况下，在微机112中采用传感器融合以及轨道生成所得的轨道数据712，基于该数据，在运算块214中向执行器ECU发送用于轨道跟踪控制的执行器驱动指令(执行器控制指令)。

这里，在运算块213中，在诊断为由运算块211运算出的原始数据融合结果701的输出为异常的情况下，有可能产生各传感器异常。在这种状态下继续行驶的风险高。因此，在诊断结果被判断为异常的情况下，图示的微机112的生成轨道数据711能够生成回退轨道。在此，所谓回退，是指在驾驶中一个基干部件破损而陷入功能停止的情况下，进行功能不全回避用的紧急回避以使自动驾驶系统能够继续，或者即使在基干部件的破损引起的功能停止时，也使自动驾驶继续一定期间，以使得驾驶安全且平稳地移交给驾驶员的方式安全地退避。另外，回退轨道是指为了实现上述操作而生成的安全退避轨道和紧急退避轨道。通过具有上述那样的构成，在运算块213探测到传感器产生了不良情况的情况下，微机112生成回退轨道，因此能够安全地停车。

在本实施例中，运算块211和运算块212不间断地并行地分别通过不同的算法来实施用于轨道生成的运算。因此，即使在运算块213对于运算块211的原始数据融合结果701诊断为异常的情况下，也能够切换到运算块212中的对象数据融合结果702所生成的轨道，能够抑制时滞的发生。

另外，在运算块212中也进行在运算块211中进行的高级的运算处理的情况(完全冗余系统的情况)下，运算块211、运算块212双方需要是能够承受重的运算负荷的高级的处理器。但是，在进行回退轨道的生成的情况下，由于不要求那么高级的处理器，所以能够以低成本的处理器进行运算。因此，当运算块212仅生成回退轨道时，可以降低车辆控制装置的成本。

通过该构成，可以防止由传感器或设置在传感器上的各微机、各运算块的异常引起的不稳定的轨道跟踪控制。

本实施例具备：第1运算块(运算块211)，其根据从多个外界传感器输出的原始数据进行传感器融合处理；第2运算块(运算块212)，其根据分别处理从所述多个外界传感器输出的所述原始数据而生成的对象数据进行传感器融合处理；以及第3运算块(运算块213)，其使用所述第1运算块的输出结果和所述第2运算块的输出结果诊断所述第1运算块的输出结果。

假设运算块211的输出结果与运算块212的输出结果相比，信息量较多。但是，如果简单地比较运算块211和运算块212的输出结果，则由于它们的信息量的不同，即使是相互正常的输出，也会产生差分，因此有可能废弃大部分的输出。因此，本实施例通过具有上述那样的构成，能够根据运算块212的可靠性高的输出结果，判断信息量多的运算块211的输出结果。

优选在作为第2运算块(运算块212)的传感器融合结果而输出的车辆周边的物体群不包含在作为第1运算块(运算块211)的传感器融合结果而输出的车辆周边的物体群中的情况下，第3运算块(运算块213)将第1运算块(运算块211)判断为异常。另外，在作为第2运算块(运算块212)的传感器融合结果而输出的车辆周边的物体群包含在作为第1运算块(运算块211)的传感器融合结果而输出的车辆周边的物体群中的情况下，第3运算块(运算块213)将第1运算块(运算块211)判断为异常。通过具有上述的构成，能够根据由运算块212输出的可靠性高且信息量少的数据，诊断运算块211的输出，即使运算块211具有比运算块212大的信息，只要能够相互输出必要最小限度的信息，就能够诊断为正常。其结果，在确保可靠性的基础上，起到能够进行使用包含高精度信息的运算块211的信息的轨道生成的效果。

(实施例2)

图4是表示实施例1中的车辆控制装置(第1ECU)11的内部构成(特别是微机111、微机112)、传感器以及执行器的连接的图。

在本实施例中，与自动驾驶系统的轨道生成有关的运算与实施例1同样，全部在第1ECU内进行。在微机111的运算块211中进行原始数据融合，输出原始数据融合结果701。

这里，在本实施例中，与实施例1不同，在微机112内具备输出对象融合结果的运算块212和运算块213。

通过具有这样的构成，运算块211和运算块212可以用不同的算法进行运算。因此，运算块213能够与可靠性更高的传感器数据进行对照。因此，第1运算块能够使用可靠性高的数据生成轨道。通常，生成对象数据融合结果的微机112为了保证安全性，使用可靠性非常高的微机。因此，在运算块213中也能够期待可靠性的保证。另外，对与实施例1相同的构成省略说明。

(实施例3)

图5是表示实施例1中的车辆控制装置(第1ECU)11、车辆控制装置(第2ECU)12的内部构成、传感器以及执行器的连接的图。

在本实施例中，在第1ECU所具备的微机111的运算块211中算出原始数据融合结果701。第2ECU的微机112具备算出对象数据融合结果702的运算块212和运算块213。即，原始数据融合结果701和对象数据融合702的输出由不同的ECU实施。

通过该构成，电子控制装置具有能够进行电源等的冗余化以及可靠性高的诊断的效果。

在此，第1ECU和第2ECU也可以具有完全不同的功能。例如，第1ECU可以是自动驾驶的车辆控制用ECU，第2ECU可以是自动停车用或ADAS用ECU。另外，对与实施例1相同的构成省略说明。

如上所述，发明人以实施例1～3为例说明了本发明。搭载在图示的车辆上的传感器是能够应用于本发明的传感器的一例，并不限定能够应用本发明的车辆的传感器。

如上所述，根据本实施例，结果能够实现可靠性高的车辆控制装置和电子控制系统。

符号说明

1 摄像机

2 雷达

3 激光器

11 车辆控制装置

13 第3ECU

14 第4ECU

15 第5ECU

101 传感器1

201 传感器2

301 传感器3

102 传感器1的信息处理部

202 传感器2的信息处理部

302 传感器3的信息处理部

103 从第1传感器输出的对象数据

203 从第2传感器输出的对象数据

303 从第3传感器输出的对象数据

104 从第1传感器输出的原始数据

204 从第2传感器输出的原始数据

304 从第3传感器输出的原始数据

211 运算块1

212 运算块2

213 运算块3(诊断用块)

214 控制指令生成部

701 原始数据融合结果

702 对象数据融合结果

711 基于原始数据融合结果生成的轨道数据

712 基于对象数据融合结果生成的轨道数据。