具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图8描述本发明的行程记录相册生成方法及装置。

如图1所示，本发明实施例提供一种行程记录相册生成方法，该行程记录相册生成方法包括如下步骤100-步骤300。

步骤100、基于原始图像，确定第一目标图像，以及确定第二目标图像，第一目标图像为基于用户偏好特征确定的，第二目标图像用于表征车辆行车过程中目标节点的图像。

可以理解的是，车辆上安装有车载摄像头，车载摄像头可以包括用于拍摄车外环境的摄像头和用于拍摄车内环境的摄像头，车载摄像头能够采集到原始图像，原始图像携带有像素值、拍摄地理位置和拍摄时间等图像参数信息。

当然原始图像不限于通过车载摄像头采集到，也可以通过用户携带的摄像设备采集，还可以通过道路上的摄像设备采集到，还可以通过其他设备采集到，本发明实施例不具体限定。

用户行车过程中，当车辆触发开机事件时，车载摄像头开始工作，用于拍摄车外环境的摄像头和用于拍摄车内环境的摄像头实时拍摄车内外环境，车辆触发停机事件时，5分钟后暂停拍摄，若半小时内车辆再次触发开机事件则拍摄恢复；若半小时后车辆仍未开机则停止拍摄。

第一目标图像为符合用户偏好的图像，用户偏好特征表示用户对图像的偏爱程度，比如用户喜爱古建筑，那么第一目标图像就可以是包含有古建筑的照片，第一目标图像可以包含车辆行驶过程中拍摄到的景色，用户能够通过第一目标图像欣赏到车程中的自己所喜爱的景色。

第二目标图像为车辆行车过程中关键节点的图像，关键节点可以为车辆行驶过程中发生状态变化的节点，比如急刹车或者急转弯，在这种关键节点，车辆很容易出现交通事故，因此从原始图像中得到第二目标图像能够便于用户查看车辆行车过程中的异常情况，便于为交通事故的定责提供证据。

第一目标图像和第二目标图像可以从原始图像中基于特定的参数进行筛选得到。

步骤200、基于与第一目标图像和第二目标图像在时间上对应的人员对话信息和车辆状态信息，确定与第一目标图像和第二目标图像对应的行程文本描述信息。

可以理解的是，车辆还可以具有语音识别设备和车况监控设备，在车载摄像头采集原始图像的同时，语音识别设备能够对车内人员的对话进行录音，并转换成文本，得到人员对话信息，车况监控设备能够对车辆行驶状态进行监控，得到车辆状态信息，车辆状态信息可以包括：速度、加速度、开关门情况、轮胎气压和车身所承受的挤压力中的至少一种。

可以基于采集时间，对人员对话信息和车辆状态信息与第一目标图像和第二目标图像进行对应，采集时间可以为时间点，也可以为时间段，人员对话信息和车辆状态信息均可以为文本形式，此处可以将多个第一目标图像和多个第二目标图像所对应的人员对话信息和车辆状态信息按照时间顺序进行拼接并进行处理，得到行程文本描述信息。

步骤300、基于行程文本描述信息以及对应的第一目标图像和第二目标图像，生成行程记录相册。

可以理解的是，第一目标图像和第二目标图像对应有人员对话信息和车辆状态信息，可以通过人员对话信息和车辆状态信息在行程文本描述信息中找到对应位置，将第一目标图像和第二目标图像插入到该对应位置，比如可以插入到对应位置的文本段落后，从而生成行程记录相册，行程记录相册以图文配合的形式展现了车辆行驶过程中的风景照片和关键节点照片，用户能够直观地获取多元化的信息，扩大车辆和用户的交互深度，能够帮助用户记录用车生活点滴，留住沿途美景，提升用户用车乐趣，通过提升车辆的智能化来增强用户体验感。

现有行车记录仪主要用于记录行车过程中车辆周边环境，主要用到摄像头的拍摄能力和记录仪的存储能力；也有车载智能设备可以根据用户指令进行拍照。目前部分应用可根据手机存储的照片对其进行分类、人脸识别、地域分析和拍摄时间进行分析，进而根据某一主题生成相册。

然而行车记录仪功能比较单一，仅仅是记录行车过程中的视频数据，并没有对视频内容进行处理，行车记录仪一般记录的是车外环境，缺失车内环境记录，行车记录仪获取数据比较单一，仅有摄像头数据。部分车载智能设备虽然能够根据用户指令进行拍摄，其拍摄时机需要用户触发，拍摄视角比较局限，其仅仅能够得到照片数据，无法获取额外信息。

移动应用虽然可以根据照片智能生成主题相册，但其依赖输入的照片信息，同时无法获取拍摄照片时的环境信息，生成的相册功能比较单一。

本发明实施例通过获取基于用户偏好确定的第一目标图像以及用于表征行车过程中目标节点的图像，并根据第一目标图像和第二目标图像对应的人员对话信息和车辆状态信息，得到行程文本描述信息，并将第一目标图像和第二目标图像与行程文本描述信息结合生成行程记录相册，即能够得到用户所偏好的风景图片，又能够得到车辆行驶过程中的驾驶信息，能够提升用户的驾驶体验。

本发明实施例提供的行程记录相册生成方法，通过将第一目标图像和第二目标图像与行程文本描述信息结合生成行程记录相册，能够以图文并茂的方式呈现出车辆行驶过程中的环境信息和驾驶信息，反映的车辆行驶信息更加丰富。

如图2所示，在一些实施例中，上述步骤100、基于原始图像，确定第一目标图像，包括如下步骤110-步骤120。

步骤110、对原始图像进行质量评价得到质量评价结果，基于质量评价结果确定第一备选图像。

可以理解的是，图像质量可以代表图像的清晰度或者分辨率，此处对车载摄像头采集到的每张原始图像都进行质量评价，从而得到每张原始图像的质量评价结果，质量评价结果可以质量评分的形式展现，比如质量评分可以为0-100分，质量评分越高，说明图像的构图丰富程度、内容丰富程度或清晰度越高，可以预设质量评价结果阈值，根据每张原始图像的质量评价结果以及质量评价结果阈值来筛选出第一备选图像，比如质量评价结果阈值为大于90分，则就可以将质量评价结果大于90分的原始图像筛选出来作为第一备选图像。

换言之，从多个原始图像中，根据原始图像的质量评价结果，筛选出部分原始图像作为第一备选图像。

可以将原始图像输入到质量评价模型中，输出质量评价结果，质量评价模型用于对原始图像进行质量评价，得到质量评价结果。

质量评价模型是基于样本图像以及与样本图像对应的样本质量评价结果训练得到的，用于训练的样本图像数量可以很庞大，以提升质量评价模型的训练准确度。质量评价模型可以具有特征提取器，比如CNN的卷积核特征提取器。

步骤120、从所述第一备选图像中基于所述用户偏好特征，确定所述第一目标图像。

可以理解的是，在筛选出多个第一备选图像后，可以根据用户的偏好特征，挑选出第一目标图像，第一目标图像的数量可以比第一备选图像的数量少，此处第一目标图像可以由用户手动挑选，还可以由车载主机根据用户的历史习惯进行自动挑选，本实施例不进行限定。

本实施例通过对原始图像进行质量评价，将质量评价结果较低的原始图像去除，保留了质量评价结果较高的原始图像作为第一备选图像，能够提高第一目标图像的整体质量，提升用户的观赏体验。

如图3所示，在一些实施例中，上述步骤120、基于第一备选图像，确定第一目标图像，包括：如下步骤121-步骤124。

步骤121、接收用户的第一输入。

可以理解的是，车载主机可以连接有触摸显示屏，用户可以在触摸显示屏上操作以给出第一输入，第一输入可以对应于图像类别，图像类别可分为现代建筑、古建筑、草原、天空、沙漠、树林、河流、街道、桥梁和夜景等，可以分别选取若干张上述类别的代表性图像，通过触摸显示屏或者与车载主机连接的移动终端展示给用户，并向用户询问，用户可以从上述代表性图像中挑选出自己偏爱的图像，用户的挑选操作以第一输入的形式被车载主机读取。

步骤122、响应于第一输入，得到用户偏好类别。

车载主机可以根据用户的第一输入进行响应，得到用户偏好类别，比如可以在车载主机中预存用户的第一输入与用户偏好类别的对应关系，从而在获取到第一输入时，直接根据该对应关系，得到用户偏好类别。

步骤123、对第一备选图像进行分类，得到第一备选图像对应的图像类别。

可以理解的是，第一备选图像可以具有对应的图像类别，图像类别可分为现代建筑、古建筑、草原、天空、沙漠、树林、河流、街道、桥梁和夜景等，此处对第一备选图像进行分类，得到第一备选图像对应的图像类别。

可以将第一备选图像输入到类别识别模型中，输出图像类别，类别识别模型用于对第一备选图像进行分类，得到图像类别。

类别识别模型是基于第一备选样本图像以及与第一备选样本图像对应的样本图像类别训练得到的，用于训练的第一备选样本图像数量可以很庞大，以提升类别识别模型的训练准确度。类别识别模型可以具有特征提取器，比如CNN的卷积核特征提取器。

步骤124、基于用户偏好类别以及第一备选图像对应的图像类别，得到第一目标图像。

换言之，可以将每张第一备选图像对应的图像类别和用户偏好类别进行比较，从多张第一备选图像中挑选出图像类别为用户偏好类别的第一备选图像，作为第一目标图像，也就是说，此时第一目标图像是用户偏好的类别对应的图像。

本发明实施例通过根据用户的选择，确定用户偏好类别，并根据用户偏好类别从第一备选图像中得到第一目标图像，能够提高第一目标图像的获取效率，且与用户的实际偏好的相符的更高。

如图4所示，在一些实施例中，上述步骤124、基于用户偏好类别以及第一备选图像对应的图像类别，得到第一目标图像，包括：如下步骤1241-步骤1242。

步骤1241、基于用户偏好类别，从每个用户偏好类别对应的第一备选图像中筛选出一个质量评价结果最高的第一备选图像。

可以理解的是，第一备选图像具有对应的图像类别，此处以用户偏好类别作为标识，每个用户偏好类别对应有多个第一备选图像，可以根据第一备选图像的质量评分结果对第一备选图像进行排序，每个用户偏好类别中确定一个质量评分结构最高的第一备选图像。

步骤1242、基于与质量评价结果最高的第一备选图像的重复程度特征，从用户偏好类别对应的第一备选图像中去除重复程度特征低于预设重复程度阈值的第一备选图像，得到第一目标图像。

可以理解的是，将余下的第一备选图像与质量评价结果最高的第一备选图像计算得到重复程度特征，当然余下的第一备选图像可以与每个用户偏好类别中质量评价结果最高的第一备选图像进行计算，也可以只与对应用户偏好类别中质量评价结果最高的第一备选图像进行计算，重复程度特征用于表征两张图像之间的重复程度。

预设重复程度阈值，将重复程度特征低于重复程度阈值的第一备选图像进行删除，得到第一目标图像，此时的第一目标图像是原始图像经过了质量挑选和去重处理得到的，能够避免重复程度高的图像多次出现，且能够保证相对较高的图像质量。

在一些实施例中，重复程度特征包括：距离特征和/或相似度特征，距离特征用于表征每两张第一备选图像对应的地理位置之间的距离差值，相似度特征用于表征每两张第一备选图像之间的类别相似度。

需要说明的是，在计算重复程度特征时，可以将距离特征和相似度特征中的至少一个作为考虑因素，由于第一备选图像在拍摄时携带有地理位置信息，同一地点拍摄到的图像之间的重复程度较高，能够通过距离特征来得到重复程度特征，每两张第一备选图像之间的类别相似度也可以计算出来，也能够通过相似度特征来得到重复程度特征。

值得一提的是，可以采用以下步骤计算重复程度特征：将每个用户偏好类别中质量评价结果最高的第一备选图像放到一起，作为初始结果集I，将余下的第一备选图像作为剩余图片集R。

将剩余图片集R中的第一备选图像按照质量评价结果pscore从高到低进行排序，基于公式

Score＝Max(1-s(p,m))+Max(dist(p,n)/k*(1-s(p,n)))

计算剩余图片集R中的第一备选图像与初始结果集I中的每个用户偏好类别中质量评价结果最高的第一备选图像之间的重复程度特征Score，其中，m∈I，n∈I，p∈R，k为常数，是控制图像分布在行程上密度的系数，k越大则最终结果集中的第一目标图像越少，k越小则最终结果集中的第一目标图像越多，s(p,m)为p和m之间的相似度特征，dist(p,n)为p和n之间的距离特征，Max表示取最大值。

重复程度特征阈值可以为1，当Score>＝1时，将该第一备选图像作为第一目标图像加入到最终结果集，Score<1时，将该第一备选图像进行删除，不加入到最终结果集中。

通过上述计算，可以快速得到重复程度特征，且能够提升重复程度特征计算的准确度。

如图5所示，在一些实施例中，上述步骤100中的确定第二目标图像，包括：如下步骤101-步骤102。

步骤101、实时检测车辆的行驶状态，得到车辆状态变更的时刻。

可以理解的是，车况监控设备可以实时检测车辆的行驶状态，从而可以得到车辆状态变更的时刻，比如开门、急加速、急刹车、急转弯、碰撞或者爆胎等状态，这些状态属于车辆状态发生了变更的情况，在车辆状态发生变更的时刻出现交通事故的可能性较大。

步骤102、基于车辆状态变更的时刻，从原始图像筛选出第二目标图像。

由于原始图像携带有时间信息，可以找出车辆状态变更时刻对应的原始图像，将这部分原始图像作为第二目标图像，这样得到的第二目标图像能够便于用户查看车辆行车过程中的异常情况，便于为交通事故的定责提供证据。

如图6所示，在一些实施例中，上述步骤200、基于与第一目标图像和第二目标图像在时间上对应的人员对话信息和车辆状态信息，确定与第一目标图像和第二目标图像对应的行程文本描述信息，包括如下步骤210-步骤230。

步骤210、基于人员对话信息，确定第一目标图像和第二目标图像在时间上对应的对话主题。

可以理解的是，可以根据第一目标图像和第二目标图像的拍摄时间，从人员对话信息中确定第一目标图像和第二目标图像对应的对话主题，比如从某个第一目标图像和第二目标图像对应时间点的人员对话信息中提取到“下雨了”，则将“下雨了”作为该第一目标图像和第二目标图像的对话主题。

步骤220、基于人员对话信息和车辆状态信息，确定第一目标图像和第二目标图像的图像主题。

可以理解的是，可以将人员对话信息、车辆状态信息、第一目标图像和第二目标图像输入到主题提取模型中，输出图像主题，主题提取模型用于获取第一目标图像和第二目标图像的图像主题。

主题提取模型是基于人员对话信息样本数据、车辆状态信息样本数据、第一目标图像和第二目标图像样本数据以及与人员对话信息样本数据、车辆状态信息样本数据、第一目标图像和第二目标图像样本数据对应的图像主题样本数据训练得到的。主题提取模型可以具有特征提取器，比如CNN的卷积核特征提取器。

步骤230、基于对话主题和图像主题，确定行程文本描述信息。

可以理解的是，此处可以将多个对话主题和图像主题进行拼接，并且进行文本联想，得到行程文本描述信息，文本联想功能可以通过预先存储的文本联想数据库实现。

在一些实施例中，上述步骤200、基于与第一目标图像和第二目标图像在时间上对应的人员对话信息和车辆状态信息，确定与第一目标图像和第二目标图像对应的行程文本描述信息，还包括：基于人员对话文本以及车辆行驶路线，得到行程主题。

可以理解的是，车辆行驶路线可以为车辆的GPS等设备记录的车辆行驶实际路线，车辆行驶路线可以包括行驶过程中的起点、终点和沿途点信息，可以根据人员对话文本和车辆行驶路线，得到某趟行程的主题，比如：从A地前往B地上班。

对应的，上述步骤230、基于对话主题和图像主题，得到行程文本描述信息，包括：基于对话主题、图像主题和行程主题，得到行程文本描述信息。

可以将对话主题、图像主题和行程主题输入到文本描述生成模型中，输出行程文本描述信息，文本描述生成模型用于获取行程文本描述信息。

文本描述生成模型是基于对话主题样本数据、图像主题样本数据和行程主题样本数据以及与对话主题样本数据、图像主题样本数据和行程主题样本数据对应的行程文本描述信息样本数据训练得到的。文本描述生成模型可以具有特征提取器，比如CNN的卷积核特征提取器。

下面对本发明提供的行程记录相册生成装置进行描述，下文描述的行程记录相册生成装置与上文描述的行程记录相册生成方法可相互对应参照。

如图7所示，本发明实施例还提供一种行程记录相册生成装置，该行程记录相册生成装置包括：第一确定模块710、第二确定模块720和生成模块730。

第一确定模块710，用于基于原始图像，确定第一目标图像，以及确定第二目标图像，第一目标图像为基于用户偏好特征确定的，第二目标图像用于表征车辆行车过程中目标节点的图像。

第二确定模块720，用于基于与第一目标图像和第二目标图像在时间上对应的人员对话信息和车辆状态信息，确定与第一目标图像和第二目标图像对应的行程文本描述信息。

生成模块730，用于基于行程文本描述信息以及对应的第一目标图像和第二目标图像，生成行程记录相册。

在一些实施例中，第一确定模块包括：第一备选图像确定子模块和第一目标图像确定子模块。

第一备选图像确定子模块，用于对所述原始图像进行质量评价得到质量评价结果，基于所述质量评价结果确定第一备选图像。

第一目标图像确定子模块，用于从所述第一备选图像中基于所述用户偏好特征，确定所述第一目标图像。

在一些实施例中，第一确定模块还包括：接收子模块、响应子模块、分类子模块和确定子模块。

接收子模块，用于接收用户的第一输入。

响应子模块，用于响应于所述第一输入，得到用户偏好类别。

分类子模块，用于对所述第一备选图像进行分类，得到所述第一备选图像对应的图像类别。

确定子模块，用于基于所述用户偏好类别以及所述第一备选图像对应的图像类别，确定所述第一目标图像。

在一些实施例中，确定子模块还用于基于所述用户偏好类别，从每个所述用户偏好类别对应的所述第一备选图像中筛选出一个质量评价结果最高的第一备选图像；基于与所述质量评价结果最高的第一备选图像的重复程度特征，从所述用户偏好类别对应的所述第一备选图像中去除所述重复程度特征低于预设重复程度阈值的第一备选图像，确定所述第一目标图像。

在一些实施例中，所述重复程度特征包括：距离特征和/或相似度特征，所述距离特征用于表征每两张所述第一备选图像对应的地理位置之间的距离差值，所述相似度特征用于表征每两张所述第一备选图像之间的类别相似度。

在一些实施例中，第一确定模块还用于实时检测车辆的行驶状态，得到车辆状态变更的时刻；基于所述车辆状态变更的时刻，从所述原始图像筛选出所述第二目标图像。

在一些实施例中，第二确定模块包括：对话主题确定子模块、图像主题确定子模块和行程文本描述信息确定子模块。

对话主题确定子模块，用于基于所述人员对话信息，确定所述第一目标图像和所述第二目标图像在时间上对应的对话主题；

图像主题确定子模块，用于基于所述人员对话信息和所述车辆状态信息，确定所述第一目标图像和所述第二目标图像的图像主题；

行程文本描述信息确定子模块，用于基于所述对话主题和所述图像主题，确定所述行程文本描述信息。

在一些实施例中，第二确定模块还用于基于所述人员对话文本以及车辆行驶路线，得到行程主题；行程文本描述信息确定子模块还用于基于所述对话主题、所述图像主题和所述行程主题，得到所述行程文本描述信息。

本发明实施例提供的行程记录相册生成装置用于执行上述行程记录相册生成方法，其具体的实施方式与方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。

图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行行程记录相册生成方法，该方法包括：基于原始图像，确定第一目标图像，以及确定第二目标图像，所述第一目标图像为基于用户偏好特征确定的，所述第二目标图像用于表征车辆行车过程中目标节点的图像；基于与所述第一目标图像和所述第二目标图像在时间上对应的人员对话信息和车辆状态信息，确定与所述第一目标图像和所述第二目标图像对应的行程文本描述信息；基于行程文本描述信息以及对应的所述第一目标图像和所述第二目标图像，生成行程记录相册。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的行程记录相册生成方法，该方法包括：基于原始图像，确定第一目标图像，以及确定第二目标图像，所述第一目标图像为基于用户偏好特征确定的，所述第二目标图像用于表征车辆行车过程中目标节点的图像；基于与所述第一目标图像和所述第二目标图像在时间上对应的人员对话信息和车辆状态信息，确定与所述第一目标图像和所述第二目标图像对应的行程文本描述信息；基于行程文本描述信息以及对应的所述第一目标图像和所述第二目标图像，生成行程记录相册。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的行程记录相册生成方法，该方法包括：基于原始图像，确定第一目标图像，以及确定第二目标图像，所述第一目标图像为基于用户偏好特征确定的，所述第二目标图像用于表征车辆行车过程中目标节点的图像；基于与所述第一目标图像和所述第二目标图像在时间上对应的人员对话信息和车辆状态信息，确定与所述第一目标图像和所述第二目标图像对应的行程文本描述信息；基于行程文本描述信息以及对应的所述第一目标图像和所述第二目标图像，生成行程记录相册。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。