一种基于车联网大数据的车辆油耗统计方法
阅读说明：本技术 一种基于车联网大数据的车辆油耗统计方法 (Vehicle oil consumption statistical method based on Internet of vehicles big data ) 是由 李皓 徐国强 孔伟伟 邱梅芳 樊佳明 于 2021-01-22 设计创作，主要内容包括：本发明属于汽车制造技术领域,涉及一种基于车联网大数据的车辆油耗统计方法,包括如下步骤：步骤一：通过车载终端获取车辆的油耗累计使用量、数据发生时间,记为第一数据；步骤二：根据预设阈值对第一数据进行过滤,过滤异常数据后的数据,记为第二数据；步骤三：将统计结束时间的油耗累计使用量减去统计开始时间的油耗累计使用量得到车辆油耗结果数据,记为第三数据；步骤四：将第三数据写入数据库,供业务系统调用查询使用。本发明解决了现有车辆油耗统计方法中车载终端会上传海量的工业数据,其中包含了大量的无效、错误数据而导致的计算车辆油耗误差大,计算速度慢的问题。(The invention belongs to the technical field of automobile manufacturing, and relates to a vehicle oil consumption statistical method based on Internet of vehicles big data, which comprises the following steps: the method comprises the following steps: acquiring the accumulated usage amount of oil consumption and the data occurrence time of a vehicle through a vehicle-mounted terminal, and recording as first data; step two: filtering the first data according to a preset threshold, and recording the data after abnormal data filtering as second data; step three: subtracting the oil consumption accumulated usage amount at the starting time from the oil consumption accumulated usage amount at the ending time of the statistics to obtain vehicle oil consumption result data, and recording the vehicle oil consumption result data as third data; step four: and writing the third data into a database for the service system to call and query. The invention solves the problems of large error and low calculation speed of vehicle oil consumption calculation caused by the fact that a vehicle-mounted terminal uploads massive industrial data which contains a large amount of invalid and wrong data in the conventional vehicle oil consumption statistical method.)
技术领域
本发明属于汽车制造技术领域，涉及一种基于车联网大数据的车辆油耗统计方法。
背景技术
企业车队管理、企业物流运输中，由于企业内部人员偷油卖油等各种非正常原因造成的油料异常损耗进而导致油料成本居高不下的情况层出不穷，而油料异常损耗严重则需要企业进行严格的时间、区间性的统计以消除这种油料非正常损耗。现有的车辆油耗统计方法通过采集车辆终端上传的车辆油耗数据进行统计，然而，在车辆行驶过程中，车载终端会上传海量的数据，其中包含了大量的对车辆油耗统计而言无效的、错误的数据。因此，通过采集车辆终端上传的油耗数据进行统计计算车辆油耗会造成重大误差；同时，在海量的数据处理过程中，程序处理速度是影响用户体验的关键技术指标，而大量的处理数据又对处理器造成额外的负担。如何能够在剔除掉多余的、无效的、错误的数据的前提下，能够快速获取高准确率的车辆油耗数据，一直以来是企业车辆油耗统计的一个难题。
发明内容
本发明解决技术问题所采取的技术方案是：一种基于车联网大数据的车辆油耗统计方法，包括如下步骤：步骤一：通过车载终端获取车辆的油耗累计使用量、数据发生时间，记为第一数据；步骤二：根据预设阈值对第一数据进行过滤，过滤异常数据后的数据，记为第二数据；步骤三：在第二数据的基础上，将统计结束时间的油耗累计使用量减去统计开始时间的油耗累计使用量得到车辆油耗结果数据，记为第三数据；步骤四：将第三数据写入数据库，供业务系统调用查询使用。
优选的，所述步骤一中的第一数据使用Hbase数据库按天建表进行存储，其中的Rowkey设计方式为车载终端ID+数据发生时间+数据类型。
优选的，所述步骤二中的过滤方式包括：使用排序过滤、中位数及油耗累计使用量过滤、数据发生时间在可信区间内变化过滤。
更优的，所述步骤二中的过滤流程包括以下步骤：A、获取第一数据中的车辆油耗累计使用量，记为OilList集合；B、取出OilList集合中的中位数标注为可信的油耗累计使用量数据，记为medianOil；C、按照数据发生时间进行排序，记为timeList集合，根据medianOil获取到对应的数据发生时间，记为medianTime；D、如果medianTime在timeList集合中的位置超出预设范围，则从集合中剔除medianOil和medianTime；E、重复步骤A至步骤D，直到获取可信的油耗累计使用量crediOil和可信的数据发生时间crediTime。
优选的，所述步骤三中的第三数据采用离线批处理方式计算统计时间范围内车辆的整天油耗数据；采用在线实时计算的方式处理车辆的非整天油耗数据，然后将车辆整天的油耗数据与非整天的车辆油耗数据进行累加计算出车辆的油耗数据。
更优的，所述离线批处理方式包括使用Map-Reduce计算框架，所述在线实时计算的方式包括使用Flink计算框架。
优选的，所述步骤四中的第三数据写入的数据库包括Oracle数据库。本发明的有益效果是：
1、本发明通过使用排序过滤、中位数及油耗累计使用量过滤、数据发生时间在可信区间内变化过滤等多种过滤方式对车载终端获取车辆的油耗数据进行多次过滤，剔除掉多余的、无效的、错误的非油耗数据然后再进行数据处理，因而本发明比以往的车辆油耗统计方法具有处理数据量小，处理器负荷小的优点，进而油耗统计速度明显提高。
2、本发明通过使用Map-Reduce计算框架对车辆整天油耗数据进行离线批处理，通过使用Flink计算框架对车辆非整天油耗数据进行在线实时计算的方式处理，然后将车辆整天的油耗数据与非整天的车辆油耗数据进行累加计算出车辆的油耗数据；而Map-Reduce计算框架适用于大规模数据集并行运算，适合多日的车辆整天油耗数据；Flink计算框架适用于开源流程处理运算，适合单日的开源的车辆非整天油耗数据，因而，本发明处理速度更快，油耗统计处理性能更强。
附图说明
图1是一种基于车联网大数据的车辆油耗统计方法的步骤图；
图2是过滤流程图；
图3是车辆油耗数据分类处理后累加流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明中的相关技术进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1～3，一种基于车联网大数据的车辆油耗统计方法，包括如下步骤：步骤一：通过车载终端获取车辆的油耗累计使用量、数据发生时间，记为第一数据；步骤二：根据预设阈值对第一数据进行过滤，过滤异常数据后的数据，记为第二数据；步骤三：在第二数据的基础上，将统计结束时间的油耗累计使用量减去统计开始时间的油耗累计使用量得到车辆油耗结果数据，记为第三数据；步骤四：将第三数据写入数据库，供业务系统调用查询使用。
进一步的，所述步骤一中的第一数据使用Hbase数据库按天建表进行存储，其中的Rowkey设计方式为车载终端ID+数据发生时间+数据类型。
进一步的，所述步骤二中的过滤方式包括：使用排序过滤、中位数及油耗累计使用量过滤、数据发生时间在可信区间内变化过滤，通过排序过滤能够过滤掉时间点重复的异常数据，通过中位数及油耗累计使用量过滤能够过滤掉油耗使用量过大或者过小的异常数据。
更进一步的，所述步骤二中的过滤流程包括以下步骤：A、获取第一数据中的车辆油耗累计使用量，记为OilList集合；B、取出OilList集合中的中位数标注为可信的油耗累计使用量数据，记为medianOil；C、按照数据发生时间进行排序，记为timeList集合，根据medianOil获取到对应的数据发生时间，记为medianTime；D、如果medianTime在timeList集合中的位置超出预设范围，则从集合中剔除medianOil和medianTime；E、重复步骤A至步骤D，直到获取可信的油耗累计使用量crediOil和可信的数据发生时间crediTime。
进一步的，所述步骤三中的第三数据采用离线批处理方式计算统计时间范围内车辆的整天油耗数据；采用在线实时计算的方式处理车辆的非整天油耗数据，然后将车辆整天的油耗数据与非整天的车辆油耗数据进行累加计算出车辆的油耗数据。
更进一步的，所述离线批处理方式包括使用Map-Reduce计算框架，所述在线实时计算的方式包括使用Flink计算框架。
进一步的，所述步骤四中的第三数据写入的数据库包括Oracle数据库。
实施例
本实施例中，通过车载终端获取车辆油耗累计使用量、数据发生时间，记为第一数据；第一数据按天建表存储于Hbase数据库，其Rowkey设计方式为车载终端ID+数据发生时间+数据类型；利用HBase的高并发和实时处理数据的特性，从而方便车辆油耗的离线和在线计算。
根据预设阈值对第一数据进行过滤，过滤异常数据后的数据，记为第二数据；使用排序、中位数及油耗累计使用量、数据发生时间在可信区间内变化等逻辑实现异常数据过滤。
具体过滤流程如下，获取第一数据中的车辆油耗累计使用量，记为OilList集合；取出OilList集合中的中位数标注为可信的油耗累计使用量数据，记为medianOil；按照数据发生时间进行排序，记为timeList集合，根据medianOil获取到对应的数据发生时间，记为medianTime；如果medianTime在timeList集合中的位置超出预设范围(即：medianTime的下标大于(timeList.size()/2+阈值)或者medianTime的下标小于(timeList.size()/2-阈值))，则从集合中剔除medianOil和medianTime；重复以上步骤，直到获取可信的油耗累计使用量crediOil和可信的数据发生时间crediTime。
根据可信的数据发生时间crediTime，依次遍历crediTime至统计开始时间内的油耗累计使用量数据，如果(medianOil-当前油耗累计使用量)/(crediTime-当前时间)大于单位时间内油耗变化阈值，则认为是异常值，予以剔除；同理，依次遍历crediTime至统计结束时间内的油耗累计使用量数据，剔除相关的异常数据。
本实施例中，第一数据为一组未经过滤的油耗累计使用量及数据发生时间{(1,12:01),(3,12:01),(1,12:02),(2,12:03),(2,12:04),(50,12:06),(4,12:07),(4,12:08),(5,12:09),(4,12:10)}；，以上述数据作为OilList集合，查找中位数medianOil，首先找到medianOil＝3，对应时间medianTime＝12:01，此处medianTime超出预设范围，将(3,12:01)剔除；继续查找中位数medianOil，直到获取到可信的油耗累计使用量和可信的数据发生时间(2,12:04)；根据可信的crediOil、crediTime依次遍历这组数据时，会剔除(50,12:06)、(4,12:10)两组异常数据。
在第二数据的基础上，将统计结束时间的油耗累计使用量减去统计开始时间的油耗累计使用量得到车辆油耗统计数据，记为第三数据。本实施例中，第二数据为将上面实施例的第一数据中的异常数据剔除后的数据，具体数据如下：{(1,12:01),(1,12:02),(2,12:03),(2,12:04),(4,12:07),(4,12:08),(5,12:09)}，车辆油耗统在12:01至12:10统计时间范围内的油耗是4。
第三数据的统计及累加过程如下：使用Map-Reduce计算框架进行离线批处理计算，使用Flink计算框架进行在线实时计算；统计时间范围内整天的车辆油耗数据从离线计算的车辆油耗数据中获取，非整天的车辆油耗数据通过在线实时计算获取；将获取到的离线计算的车辆油耗数据和实时计算的车辆油耗数据进行累加，作为第三数据。
最终，将第三数据写入数据库，供业务系统调用查询使用。从而实现基于车联网大数据对车辆油耗的统计。
综上所述，本发明提供了一种基于车联网大数据的车辆油耗统计方法，通过使用排序过滤、中位数及油耗累计使用量过滤、数据发生时间在可信区间内变化过滤等多种过滤方式对车载终端获取车辆的油耗数据进行多次过滤，剔除掉多余的、无效的、错误的非油耗数据然后再进行数据处理，然后通过使用Flink计算框架对车辆非整天油耗数据进行在线实时计算的方式处理，然后将车辆整天的油耗数据与非整天的车辆油耗数据进行累加计算出车辆的油耗数据，解决了现有车辆油耗统计方法中车载终端会上传海量的工业数据，其中包含了大量的无效、错误数据而导致的计算车辆油耗误差大，计算速度慢的问题，因此本发明拥有广泛的应用前景。
需要强调的是：以上仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种用于超声波水表的表管及其生产工艺