多种数据库兼容和并存的查询方法、系统、设备及介质

文档序号:1921694 发布日期:2021-12-03 浏览:15次 >En<

阅读说明:本技术 多种数据库兼容和并存的查询方法、系统、设备及介质 (Query method, system, equipment and medium compatible and concurrent with multiple databases ) 是由 贺昌茂 范双萍 聂小玉 于 2021-08-30 设计创作,主要内容包括:本发明提出一种多种数据库兼容和并存的查询方法、系统、设备及介质,通过获取多种数据库的接口信息,接口信息中包括与多种数据库一一对应的访问语法,并将接口信息集成封装形成封装接口,连接各数据库,通过预设的系统接口连接舆情分析平台与封装接口,对用户在舆情分析平台查询入口中输入想要查询的信息语句,提取关键词生成查询关键字段,并根据查询关键字段生成与各数据库对应的查询该查询关键字段的数据库查询语句,获取含有查询关键字段的信息并对这些信息进行排序,生成各数据库的分序表以及整合的总序表,对分序表和总序表进行可视化处理后推送到舆情分析平台,实现同时对多数据库信息进行查询,提高从多种数据库中查询舆情信息的效率。(The invention provides a query method, a system, equipment and a medium compatible and coexisting with various databases, which are characterized in that interface information of various databases is obtained, the interface information comprises access grammars corresponding to the various databases one by one, the interface information is integrated and packaged to form packaging interfaces, the databases are connected, a public sentiment analysis platform and the packaging interfaces are connected through a preset system interface, information sentences to be queried are input into a query inlet of the public sentiment analysis platform by a user, key words are extracted to generate query key fields, database query sentences for querying the query key fields corresponding to the databases are generated according to the query key fields, information containing the query key fields is obtained and sequenced, a sorting table and an integrated general sorting table of the databases are generated, the sorting table and the general sorting table are subjected to visual processing and then pushed to the public sentiment analysis platform, the method and the device realize the inquiry of information of multiple databases at the same time, and improve the efficiency of inquiring public opinion information from multiple databases.)

多种数据库兼容和并存的查询方法、系统、设备及介质

技术领域

本发明涉及一种网络舆情领域,尤其涉及一种多种数据库兼容和并存的查询方法、系统、设备及介质。

背景技术

在时下互联网信息的浪潮下,信息的传播速度十分迅速,而一些负面舆论发酵速度也远超我们的想象,这些负面舆论会激发人们的负面感,甚至影响到人民群众对政府的认同,因此需要实时对全网舆情进行观测分析,帮助提前识别负面信息并采取正确的应对措施,避免造成难以估计的损失,舆情系统的全网观测、实时分析存储都对舆情分析系统的数据库提出了重大挑战。传统的数据集成技术,已无法适应网络舆情分析及时获取更多更新更全面数据的需要,多数据库技术则提供了一种集成多个异构数据源、实现信息共享的有效方法。

当前国内主要的舆情信息来源平台众多,包括微博、微信、各大新闻媒体客户端,这些平台种类众多,使用的数据库也各不相同,这些数据库针对于不同环境、不同需求其访问环境和组织结构存在差异,导致了各平台相关联的舆论数据很难整合在一起;同时各平台数据访问量不断增多,数据量不断扩展,也加大了数据获取的难度。

各平台用户不同,针对领域不同,因此舆情在各平台的发展传播速度也不同,因此即便获取到各平台数据,平台的差异性也给舆情分析增加了不小的难度。

需要说明的是,在上述

背景技术

部分发明的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员己知的现有技术的信息。

发明内容

有鉴于此,本发明提出了一种多种数据库兼容和并存的查询方法、系统、设备及介质,用于解决当前从多种数据库中获取舆情数据时效率不高的问题。因此本发明提出一种多种数据库兼容和并存的查询方法、系统、设备及介质,同时访问多种数据库中,实时获取舆论数据,提高网络舆情数据的获取效率;同时对获取的舆情数据进行初步处理,方便工作人员针对这些数据进行舆情分析,产生应对不同平台舆情发展的处理策略。

本发明的技术方案是这样实现的:

本发明第一方面,公开一种多种数据库兼容和并存的查询方法,所述方法包括:

S1,在舆情分析系统内预设查询入口,预设一系统接口,获取多种数据库的接口信息,并将所述接口信息集成封装,构成封装接口;

S2,通过所述系统接口将所述舆情分析系统与封装接口连接,将多种数据库与所述封装接口连接;

S3,获取用户在所述查询入口内输入的所要查询的信息语句,从语句中提取关键字段,作为查询关键字段,通过所述封装接口形成与多种数据库一一对应的,、用于查询所述查询关键字段的访问查询语句;通过所述访问查询语句,访问多种数据库,获取多种数据库中含有所述查询关键字段的信息;

S4,对获取的信息进行排序,并进行可视化处理,将经过可视化处理的信息推送到所述舆情分析系统的显示界面。

本发明通过系统接口和封装接口,实现舆情分析系统与多种数据库连接,方便同时从多种数据库中获取数据,提高数据获取效率。

在以上技术方案的基础上,优选的,所述步骤S1中,封装接口的接口信息包括:

与所述多种数据库一一对应的访问语法,用于形成查询语句。

本发明通过封装接口,将多个数据库的访问语法统一管理起来,方便后续形成查询语句,提高访问数据库效率,并且若未来有数据库增减变化,可通过直接修改封装接口信息来进行管理维护,大大减少系统开发和人力成本。

在以上技术方案的基础上,优选的,步骤S3包括如下分步骤:

S3-1,识别用户在所述查询入口内输入所要查询的信息语句,对语句进行分词和词性标注处理,并过滤掉停用词,只保留名词、动词、形容词,作为查询关键字段,即所述查询关键字段包括:名词查询关键字段、形容词查询关键字段以及动词查询关键字段;

S3-2,按照名词优先、形容词其次、动词最后的顺序,通过所述封装接口,依次形成与多种数据库一一对应的,以所述名词、形容词、动词为查询关键字段的查询语句;

S3-3,按照形成查询语句的顺序,在所述多种数据库中使用所述查询语句,依次查询并获取多种数据库中含有所述名词查询关键字段、形容词查询关键字段、动词查询关键字段的信息。

本发明通过对用户在所述查询入口内输入所要查询的信息语句对语句进行分词和词性标注处理,并过滤掉停用词,只保留名词、动词、形容词,作为查询关键字段,最大限度地保证能查询到的信息广度,防止信息遗漏,同时提高查询效率;按照名词优先、形容词其次、动词最后的顺序在数据库中查询含有名词查询关键字段、形容词查询关键字段、动词查询关键字段的信息,根据语法习惯优先查询语句中的重要信息,提高了查询效率。

在以上技术方案的基础上,优选的,步骤S4包括如下分步骤:

S4-1,在多种数据库中,分别对各数据库内含有所述查询关键字段的信息进行排序,形成分序表;

S4-2,提取各数据库的分序表,再次进行排序,形成总序表;

S4-3,对分序表和总序表进行可视化处理,以图表形式推送到舆情分析系统,所述图表形式包括但不限于折线图、柱形图、饼状图。

本发明通过对查询到的信息进行排序,最后对分序表和总序表进行可视化处理,以图表形式推送到舆情分析系统,所述图表形式包括但不限于折线图、柱形图、饼状图,对信息进行排序和可视化处理,方便用户了解舆论信息分布和发展情况。

在以上技术方案的基础上,优选的,步骤S4-1包括如下分步骤:

S4-1-1,设定一预设时间段,在多种数据库中,分别根据各数据库内含有所述查询关键字段的信息的数据热度变化,按照热度上升由快到慢的顺序进行排序;

S4-1-2,当出现热度上升速度相同的情况时,按照以下顺序由高到低进行排列:同时含有名词查询关键字段、形容词查询关键字段和动词查询关键字段的信息>同时含有名词查询关键字段和形容词查询关键字段的信息>同时含有名词查询关键字段和动词查询关键字段的信息>同时含有形容词查询关键字段和动词查询关键字段的信息>含有名词查询关键字段的信息>含有形容词查询关键字段的信息>含有动词查询关键字段的信息;

根据以上规则对信息进行排序,形成分序表,分序表中包括信息顺序序号、信息内容、信息发布时间、信息热度以及信息在预设时间段内的热度上升速度。

本发明通过对各数据库内的含有所述查询关键字段的信息,根据预设时间段内的热度上升速度进行排序,反映了各数据库所属平台内信息的热度变化趋势,方便用户了解各平台上同一信息热度的不同变化情况,可以及时根据变化情况针对不同平台做出不同应对方案。

在以上技术方案的基础上,优选的,步骤S4-1-1中的热度:

对于含有所述查询关键字段的信息的评论、点赞、转发量,设定每一个评论、点赞、转发热度均为一,则每一条该含有所述查询关键字段的信息的总热度为对于该条信息的评论、点赞、转发热度之和。

本发明通过设定热度计算方法,方便计算每一条信息的总热度,方根据热度对信息进行排序。

在以上技术方案的基础上,优选的,步骤S4-2包括:

提取各数据库的分序表,按照各数据库所属平台对分序表中信息顺序序号进行加权计算,重新确定信息排序;根据预设规则对平台进行分级,平台日活量大于6亿的为第一层级平台,平台日活量大于4亿且小于6亿的为第一层级平台,平台日活量大于2亿且小于4亿的为第一层级平台,平台日活量小于4亿的为第一层级平台;

若数据库所属平台为第一层级平台,则设置其权重为1,若数据库所属平台为第二层级平台,则设置其权重为0.7,若数据库所属平台为第三层级平台,则设置其权重为0.5,若数据库所属平台为第四层级平台,则设置其权重为0.2;可以设定第一层级平台为微博、抖音等,设定第二层级平台为微信、b站、豆瓣、知乎等,设定第三层级平台为QQ、淘宝、支付宝、百度等,设定第四层级平台为各新闻客户端等。将所述分序表中每一条信息的顺序序号乘以对应权重,得到的数字即为该信息对应的信息重量,并根据信息重量将对应信息由高到低排列,组成总序表;

所述总序表中包括信息内容、信息发布时间、信息热度以及信息在预设时间段内的热度上升速度。

本发明通过对分序表中信息进行再次排序,反映有关用户查询信息的全网舆情热度情况,方便用户掌握舆情主要发展方向,及时进行舆情管理;不同平台舆情发展情况不同,本发明设置的权重计算方法是根据各平台领域及其用户日活量等信息综合考虑得来的;总序表中信息包括信息内容、信息发布时间、信息热度以及信息在预设时间段内的热度上升速度,方便用户对不同平台舆情发展进行垂直比较。

本发明第二方面,公开一种多种数据库兼容和并存的查询系统,系统包括:

集成封装模块,用于获取多种数据库的接口信息,并将所述接口信息集成封装,构成封装接口,预设系统接口,所述封装接口包括与所述多种数据库一一对应的访问语法,用于形成访问查询语句;

连接模块,用于通过所述系统接口将所述舆情分析系统与封装接口连接,将多种数据库与封装接口连接;

识别模块,用于识别用户在所述查询入口内输入所要查询的信息语句,并对语句进行分词和词性标注处理,过滤掉停用词,只保留名词、动词、形容词,作为查询关键字段,即所述查询关键字段包括:名词查询关键字段、形容词查询关键字段以及动词查询关键字段;

信息查询模块,用于通过所述封装接口形成的与多种数据库一一对应的,查询所述查询关键字段的访问查询语句,访问多种数据库,获取多种数据库中含有所述查询关键字段的信息;

数据处理模块,用于对各数据库内获取的信息进行排序,生成分序表,并对所有分序表中的信息进行再次排序,重新确定信息排序,生成总序表;对分序表和总序表进行可视化处理,以图表形式推送到舆情分析系统的显示界面,所述图表形式包括但不限于折线图、柱形图、饼状图。

本发明第三方面,公开一种电子设备,所述设备包括:至少一个处理器、至少一个存储器、通信接口和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述存储器存储有可被所述处理器执行的一种多种数据库兼容和并存的查询方法程序,一种多种数据库兼容和并存的查询方法程序配置为实现如本发明第一方面所述的一种多种数据库兼容和并存的查询方法。

本发明第四方面,公开公开一种计算机可读存储介质,所述存储介质上存储有一种多种数据库兼容和并存的查询方法程序,所述一种多种数据库兼容和并存的查询方法程序被执行时实现如本发明第一方面所述的一种多种数据库兼容和并存的查询方法。

本发明的一种多种数据库兼容和并存的查询方法、系统、设备及介质相对于现有技术具有以下有益效果:

(1)本发明通过设置系统接口和封装接口,实现舆情分析系统与多种数据库连接方便同时从多种数据库中获取数据,提高了从多个数据库中获取舆情信息的效率;封装接口将多个数据库的访问语法统一管理起来,方便后续形成查询语句,提高访问数据库效率,并且若未来有数据库增减变化,可通过直接修改封装接口信息来进行管理维护,大大减少系统开发和人力成本;

(2)本发明通过从各平台的数据库中获取相关联的舆论数据,对各平台的数据进行排序,方便用户横向对比同一信息在不同平台的舆论情况,针对不同平台做出不同应对方案,并通过排序的方式整合在一起,使用户方便地了解到全网舆论发展状况以及通过垂直对比的方式了解当前主要舆论发展情况,及时针对舆论发展大方向进行舆论管理;

(3)本发明通过对用户在所述查询入口内输入所要查询的信息语句对语句进行分词和词性标注处理,并过滤掉停用词,只保留名词、动词、形容词,作为查询关键字段,最大限度地保证能查询到的信息广度,防止信息遗漏,同时按照名词优先、形容词其次、动词最后的顺序在数据库中查询含有名词查询关键字段、形容词查询关键字段、动词查询关键字段的信息,根据语法习惯优先查询语句中的重要信息,提高了查询效率;

(4)本发明通过对查询到的信息进行排序,最后对分序表和总序表进行可视化处理,以图表形式推送到舆情分析系统,所述图表形式包括但不限于折线图、柱形图、饼状图,对信息进行排序和可视化处理,方便用户了解舆论信息分布和发展情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明一种多种数据库兼容和并存的查询方法的工作流程图。

具体实施方式

下面将结合本发明实施方式,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。

实施例

本发明一种多种数据库兼容和并存的查询方法处理流程见图1,处理步骤说明如下:

第一步,集成封装模块获取多种数据库的接口信息,并将所述接口信息集成封装,构成封装接口,封装接口中包括与所述多种数据库一一对应的访问语法,连接模块通过封装接口连接多种数据库,通过预设的系统接口连接舆情分析系统与封装接口,实现舆情分析系统与多种数据库的连接;转第二步。

第二步,用户在舆情分析系统的查询入口输入想要查询的信息的语句,识别模块识别语句,并对语句进行分词和词性标注处理,过滤掉停用词,只保留名词、动词、形容词,作为查询关键字段,即所述查询关键字段包括:名词查询关键字段、形容词查询关键字段以及动词查询关键字段;转第三步。

第三步,封装接口获取用户输入语句以及查询关键字段,通过与多种数据库一一对应的访问语法,形成所有查询数据库中含有查询关键字段的访问查询语句;转第四步。

第四步,信息查询模块通过所有查询语句,查询所有数据库,获取所有数据库中含有所述查询关键字段的信息;转第五步。

第五步,数据处理模块对各数据库内获取的信息进行排序,计算预设时间段内,该数据库中所有信息各自的热度上升速度,设定针对一条信息的每一个评论、点赞、转发热度均为一,则每一条该含有所述查询关键字段的信息的总热度为对于该条信息的评论、点赞、转发热度之和;根据每一条信息的热度上升速度,由高到低进行排列,当出现热度上升速度相同的情况时,按照以下顺序由高到低进行排列:

同时含有名词查询关键字段、形容词查询关键字段和动词查询关键字段的信息>同时含有名词查询关键字段和形容词查询关键字段的信息>同时含有名词查询关键字段和动词查询关键字段的信息>同时含有形容词查询关键字段和动词查询关键字段的信息>含有名词查询关键字段的信息>含有形容词查询关键字段的信息>含有动词查询关键字段的信息;

根据以上规则对信息进行排序,形成分序表;分序表中包括信息顺序序号、信息内容、信息发布时间、信息热度以及信息在预设时间段内的热度上升速度;转第六步。

第六步,数据处理模块提取各数据库的分序表,按照各数据库所属平台对分序表中信息顺序序号进行加权计算,根据预设规则对平台进行分级,平台日活量大于6亿的为第一层级平台,平台日活量大于4亿且小于6亿的为第一层级平台,平台日活量大于2亿且小于4亿的为第一层级平台,平台日活量小于4亿的为第一层级平台;

若数据库所属平台为第一层级平台,则设置其权重为1,若数据库所属平台为第二层级平台,则设置其权重为0.7,若数据库所属平台为第三层级平台,则设置其权重为0.5,若数据库所属平台为第四层级平台,则设置其权重为0.2;可以设定第一层级平台为微博、抖音等,设定第二层级平台为微信、b站、豆瓣、知乎等,设定第三层级平台为QQ、淘宝、支付宝、百度等,设定第四层级平台为各新闻客户端等。将所述分序表中每一条信息的顺序序号乘以对应权重,得到的数字即为该信息对应的信息重量,并根据信息重量将对应信息由高到低排列,组成总序表;总序表中包括信息内容、信息发布时间、信息热度以及信息在预设时间段内的热度上升速度;转第七步。

第七步,数据处理模块对分序表和总序表进行可视化处理,生成分序表和总序表的图表形式,将图表推送到舆情分析系统的显示界面,图表形式包括但不限于折线图、柱形图、饼形图。

以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

11页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:关键词检测方法和装置、电子设备、存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!