具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本发明实施例可以部署在自游助手平台上。

图1为本发明实施例提供的一种景区人机交互方法的流程示意图；图2为本发明实施例提供的一种景区人机交互方法的原理示意图；图3为本发明实施例提供的一种景区人机交互方法中的算法架构示意图，如图1-3所示，所述方法包括：步骤S1：预先建立针对目标景区的知识库，其中，所述知识库中包括：景区的游玩知识、交通知识、美食文化知识、风俗特色知识中的一种或组合。

示例性的，针对旅游行业构建的知识库，包含针对景区的游玩知识、交通知识、美食文化知识、风俗特色知识，充分覆盖游客在游前、游中以及游后的信息咨询需求。

进一步的，还可以针对不同场景构建定制化知识库，包括：

会务知识：针对展会的知识库框架，囊括了展会常见的相关知识；其场景标签为会议场景标签；

研学知识：针对于研学场景的知识框架，包括研学文化、文化内容相关知识；其场景标签为研学场景标签；

酒店知识：针对于酒店、民宿场景的知识库框架，包括酒店服务、餐饮服务以及发票、入住等相关知识；其场景标签为酒店场景标签；

自然百科知识：针对博物馆以及科普性质场景的知识框架，包括自然科学相关常识；其场景标签为自然知识场景标签；

历史文化知识：针对历史文化场馆定制的知识框架，包含各地文化以及历史人文相关知识，其场景标签为历史文化知识场景标签。

S2：获取游客发出的语音取票指令，使用NLP模块分析游客的语音取票指令，其中，所述语音取票指令包括：取票指令；对游客进行鉴权处理，并出票。游客发出取票指令至多功能一体化景区营销装置，例如“我要取票”，多功能一体化景区营销装置通过对游客人脸识别、身份证感应或手机号等方式，自动获取游客票务信息。启动多功能一体化景区营销装置内的打印模块，对游客门票进行制作并打印进而实现对门票的打印功能，并提示游客携带好票据进行检票。或者，游客发出购票指令至多功能一体化景区营销装置，例如“我要购票”，装置接收指令后启动NLP模块及自游助手平台；通过NLP模块实现对自然语言的解析，多功能一体化景区营销装置可以根据游客的购票需求，可以满足扫码支付、刷脸支付等移动支付方式；通过与游客互动，支持纸质门票打印和电子门票生成，方便游客根据自己的喜好选择。另外，语音操作，相对于点击操作需要查找具体的单页或者按键，操作更加简单。

具体的，NLP(Natural Language Processing，自然语言处理)模块研究是一门综合性的学问，它远远不止机器学习算法。相比图像或语音，文本的变化更加复杂，它是计算机科学，人工智能和语言学的交叉领域。目标是让计算机处理或“理解”自然语言，以执行语言翻译和问题回答等任务NLP基础技术分为词法分析、句法分析、语义分析三类。词法分析包括分词和词性标注，分词方法是基于词表匹配和统计模型的方法实现，即会逐字对字符串进行扫描，发现字符串的子串和词表中的词相同就算匹配；以及根据人工标注的词性和统计特征对中文进行建模，通过模型计算各种分词出现的概率，将概率最大的分词结果作为最终结果。词性标注的目的是为句子中的每个词赋予一个特定的类别，即为分词结果中的每个单词标注词性。基于规则的方法和统计模型的方法，兼类词搭配关系和上下文语境建造词类消歧规则；通过模型计算各类词性出现的概率，将概率最大的词性作为最终结果。

句法分析是分析syntactic parsing的主要任务是对输入的文本句子(字符串)进行分析以得到句子句法结构syntactic structure。一方面是nlu(自然语言理解)任务自身的需求，另一方面可以为其他nlu任务提供支持。根据句法结构的不同表示形式，任务分为3类：依存句法分析dependency syntactic parsing，主要任务是识别句子中词汇之间的相互依存关系；短语结构句法分析phrase-structure syntactic parsing，也称作为分句法分析constituent syntactic parsing，主要任务是识别句子中短语结构和短语之间的层次句法关系；深层文法句法分析，主要任务是利用深层文法，对句子进行深层的句法及语义分析，这些深层文法包括词汇化树邻接文法、词汇功能文法、组合范畴文法等。

语义分析指的是自然语言所包含的意义，在计算机科学领域，可以将语义理解为数据对应的现实世界中的事物所代表概念的含义。语义分析semantic analysis，指运用各种机器学习方法，让机器学习与理解一段文本所表示的语义内容。任何对语言的理解都可以归为语义分析的范畴，涉及语言学、计算语言学、人工智能、机器学习，甚至认知语言。语义分析的最终目的是理解句子表达的真实含义。

S201(图中未示出)：对游客输入原始语音信号进行预处理，进行A/D转换。通过采样和量化，把一定的采样率和采样位数将声音连续波形转换为离散的数据点；使用MFCC特征提取，通过一个一阶高通滤波器，使声学模型更好的利用高频共振峰，提高识别准确率；端点检测和分帧加窗，对语音输入数据中有效部分进行提取。本次MFCC中，加窗使用边缘平滑降到0的汉明窗。

S202(图中未示出)：特征处理，使用Mel倒谱系数特征处理。提取MFCC参数、PLCC参数，对状态转移矩阵A，混合高斯分布的权矩阵C，均值矢量Ⅱ和协方差矩阵U这四个参数的训练过程，并进行极大似然值估计，对游客语音输入特征进行处理。

S203(图中未示出)：产生语音训练模板，根据欧式距离，协方差矩阵与贝叶斯距离等失真判决准则进行识别。

S204(图中未示出)：进行模式匹配，使用HMM隐马尔科夫模式匹配，用于确定一个最优的状态转移序列，并计算观察序列对HMM模型的输出概率，或根据S103语音训练模板进行判决。根据此判断游客语音命令的识别结果。

S205(图中未示出)：获取识别结果，使用OpenMP编程实现多核游客语音并行运算，用OpenMP改进二维离散快速傅里叶变换，语音匹配结果为多次运行结果，最后通过FFT算法编程输出自然序，输出游客查询结果。

S3：获取用户发出的语音咨询指令，基于预先建立的知识库进行语音咨询指令匹配，并输出匹配结果。

游客可以根据自己的需求，发出咨询指令至多功能一体化景区营销装置，装置接收指令后启动NLP模块与游客进行交流；通过NLP(Neuro-Linguistic Programming，神经语言程序学)模块实现对自然语言的解析，支持普通话、东北话、粤语、英语等多种语言交流，然后根据解析出的语义与各个场景标签进行匹配，得到匹配程度最高的场景标签，然后针对该场景标签，将解析出的语义与该场景标签中的每一条知识进行匹配，进而得到匹配结果，并将匹配结果展示给用户。

例如：游客需要咨询附近的美食，可以跟装置说“附近有什么美食推荐”，多功能一体化景区营销装置则会列举美食排行榜；当游客需要咨询附近的卫生间，可以跟装置说“附近的卫生间在哪”，装置则会显示地图，并展示目前游客所在位置，并标注附近的卫生间位置，同时也可以让装置带领游客前往附近的卫生间。进一步的，多功能一体化景区营销装置中还可以预设用户轨迹数据库，行为数据库、问答数据库、基础旅游数据库等，并将这些数据输入到游客提问预测模型、咨询推荐算法模型、引导推荐算法模型中，实现对游客行为预测，提高游客体验。

本发明实施例通过NLP智能对答模块，实现售取票环节的人机交互，从语音识别到智能问答，还能够实现对景区的基本知识、基本环境、基础服务等进行解说，增强游客的参与感。让售票环节有温度，提高自助装置的使用率，并实现售取票环节的人机交互；

而且，通过创建强大的知识库，构建数据采集、分析、反馈的闭环，使对客服务质量与效率能够持续迭代提升；数据能够为目的地平台的管理、营销提供支撑，还可进一步用于赋能生态商家。

另外，本发明实施例依托深度学习技术不断提升认知能力。提供多项智能文本处理能力，包括智能分词、实体识别、关键词提取、智能闲聊、文旅知识查询等。可广泛应用于游客答疑、游中功能检索、旅途过程中投诉分析等场景，满足文旅行业内的文本智能需求。

实施例2

图4为本发明实施例提供的一种景区人机交互方法中的VLOG生成算法示意图，如图4所示，基于本发明实施例1，实施例2在实施例1的基础上增加了以下步骤：

S4(图中未示出)：针对每一个游客，利用预先设置的摄像头采集游客的视频数据，将视频数据裁切成若干视频段。

摄像头按需配置进行点位部署；智能边缘一体机本地化部署，数量按摄像头数量配置，一般部署于中心机房，与摄像机局域网数据传输，并通过公网固定IP与VLOG运营云平台对接。VLOG运营平台部署于阿里云，景区管理员可以通过web端登陆管理，消费者可以通过小程序、APP登陆选择制作VLOG并获取。系统自动将游客的视频裁切为若干个视频段，视频段长度一般为3-5秒。

S5(图中未示出)：针对每一个视频段，提取出用户感情特征，并将用户感情特征输出到预先训练的第一神经网络模型中，得到该视频段对应的情感指数，所述感情特征包括：声音、动作、表情中的一种或组合。用户表情可以包括：恐惧、惊喜、感动、尴尬、害羞、高兴等。

可以理解的是，第一神经网络模型的训练方法包括：将该景区中样本游客在游玩过程中产生的声音中的音量数据、语言数据等进行人工识别，进而得到情感指数，然后将情感指数作为声音数据的标签，得到声音样本；根据样本游客的动作中的动作幅度、动作加速度等进行人工识别，识别出样本游客的激动程度，进而得到情感指数，并将情感指数作为样本游客动作数据的标签，进而得到样本游客的动作样本；类似的根据表情的程度，例如样本游客的惊喜程度的高低，样本游客尴尬程度的高低进行量化，得到对应的情感指数，进而得到表情样本；使用声音样本、动作样本以及表情样本训练第一神经网络模型，进而得到训练后的模型。

可以理解的是，游客游玩结束，获取专属游客游玩照片、视频时，需要保证游客隐私性和照片唯一性。

S6(图中未示出)：在所述情感指数高于第一预设阈值时，将所述视频段作为目标视频段。

可以理解的是，情绪深度越深其情感指数对应的数值就越大。例如，游客声音越大，说明其情感指数越高，游客语速越快，说明其情感指数越高。游客表情越尴尬，说明，说明其情感指数越高。

因此，本发明实施例中还可以选择情感指数排名前10％的视频段作为目标视频段；根据排名前10％的分界线作为第一预设阈值。

S7(图中未示出)：将所述目标视频段加入到所述游客的VLOG中。

进一步的，在将游客照片合成专属私人订制VLOG时，还可以利用图像识别算法，识别出图片、视频颜色分布、纹理特征、主要物体形状，利用高斯拉普拉斯算子检测方法(LOG)识别斑点、Harris算法与FAST算法识别角点局部特征，根据不同识别算法对图片不同特征进行分类。游客可根据分类结果选择喜欢的一种类别，或者多种类别。然后使用现有的VLOG生成算法对游客所选择的内容进行重叠合成排列处理，得到排列图片，将排列图片处理称为VLOG。

当游客入园后，VLOG终端设备会抓取游客在景区的精彩瞬间，并将数据信息上传至后端系统平台，当游客需要自己的VLOG专属视频时，可以咨询多功能一体化景区营销装置。例如“帮我生成我的专属微视频”，装置则可以通过对游客的人脸识别，找到对应游客的图片或视频信息，并进行自动剪辑合成，并通过VLOG平台自动生成对应游客的专属微视频。

利用VLOG技术，抓拍游客在景区的精彩图像和视频，合成游客在景区的永久记忆，记录游客在景区的游玩的点点滴滴，增强游客对景区的记忆感，景区可以利用合成视频进行循环播放进行景区宣传，形成景区宣传内容库。

丰富了传统自助售取票机单一功能的售票方式，缓解了人工售票窗口排队购票的压力，提高了售取票的工作效率；增加了与游客互动交流的功能，提供更多的游客咨询问题的途径，能够让游客说出自己的需求，操作更加便捷；记录了游客在景区的精彩瞬间，并生成专属微视频，提高游客满意度；通过景区微视频的流转，从另一方面增加了景区的宣传途径，提高景区的品牌知名度。

实施例3

本发明实施例3在实施例2的基础上增加了以下步骤：

针对各个视频段的每一视频帧，利用预先构建的第二神经网络评估出所述视频帧的美感指数；在所述美感指数高于第二预设阈值时，将所述视频帧作为目标视频帧；将所述目标视频帧加入到所述游客的VLOG中。

系统中存储了大量的视频段或者视频帧，人工从构图、光影配合、人与自然协调性等角度主观视频段或者视频帧的美感；采用多人多次打分求平均值，将平均值作为视频帧或者视频段的美感指数，例如，各个指数的取值范围均为1-10，美感指数也不例外。然后使用打分后的视频帧、视频段训练第二神经网络，然后使用训练后的第二神经网络对游客的视频帧或者视频段进行美感评分，得到对应的美感指数。

应用本发明实施例，可以筛选出美感比较高的图片加入到VLOG中，由于这些图片都是由摄像头拍摄的，一方面可以在不经意间给游客以惊喜，另一方面，本发明使用第二神经网络进行美感图片识别，其更加专业，得到的图片的效果更好，进一步提高了用户体验。

或者，在提取出用户感情特征时，所述方法还包括：

针对各个视频段，提取出视频段中包含的游客图像，利用预先构建的第三神经网络评估出所述游客的颜值指数、身材指数以及穿搭指数；

将颜值指数、身材指数以及穿搭指数中取值大于第三预设阈值的指数作为目标指数；在所述目标指数为颜值指数时，使用近景的视频段和/视频段中包括的近景的视频帧；在所述目标指数为身材指数或者穿搭指数时，将远景的视频段和/视频段中包括的远景的视频帧加入到所述游客的VLOG中；在所述目标指数为颜值指数时，将近景的视频段和/视频段中包括的近景的视频帧加入到所述游客的VLOG中；在所述目标指数为颜值指数、身材指数以及穿搭指数时，将近景的视频段和/视频段中包括的近景的视频帧、远景的视频段和/视频段中包括的远景的视频帧加入到所述游客的VLOG中。

例如，系统根据游客的颜值、身材、穿搭、妆容进行智能推荐。

游客颜值高、身材好、穿搭出彩，则将使用远近景，视频和照片融合的方式生成VLOG。

游客颜值高、身材一般，主要选用远景，或者图像变换处理，智能方式生成VLOG。游客颜值一般、身材好。启动镜头特效、美颜特效，全方面提高游客颜值。智能视频合成主要使用远景生成VLOG。

游客颜值、身材及穿搭均不好时，利用现有的美颜算法对抽取的内容中的游客图像进行美颜处理。

或者，在游客颜值、身材及穿搭均不好时，适当降低标准，如：

针对各个视频段的每一视频帧，将美感指数排名前10％的视频帧作为抽取游客的视频帧；

将各个视频段中美感指数排名前10％的视频段作为抽取游客的视频段。

因此，应用本发明实施例，可以避免游客的视频帧或者视频段不满足普通审美标准的情况下，仍然能筛选出一定数量的视频帧以及视频段，提高游客体验。

实施例4

基于实施例1-3任一项，本发明实施例4提供了一种景区人机交互装置，所述装置包括：

建立模块，用于预先建立针对目标景区的知识库，其中，所述知识库中包括：景区的游玩知识、交通知识、美食文化知识、风俗特色知识中的一种或组合；获取模块，用于获取游客发出的语音取票指令，使用NLP模块分析游客的语音取票指令，其中，所述语音取票指令包括：取票指令；对游客进行鉴权处理，并出票；

获取用户发出的语音咨询指令，基于预先建立的知识库进行语音咨询指令匹配，并输出匹配结果。

实施例5

图5为本发明实施例提供的一种景区人机交互系统的结构示意图，如图5所示，基于实施例1-4任一项，本发明实施例5提供了一种景区人机交互系统，所述系统包括：输入输出控制器，以及与输入输出控制器连接的到位传感器、人体检测传感器、招援按钮、票口指示灯、蜂鸣器；

与输入输出控制器连接的主控制器，所述主控制器用于执行如权力要求1-8任一项所述方法，与主控制器连接的银联卡模块、二维码阅读器、身份证阅读器、摄像头、小票打印机、门票打印机、触摸显示屏、LED滚动屏以及语音模块。装置采用嵌入式工业控制计算机和微处理器设计的I/O控制器，分工明确，功能强大，可靠性高，方便功能扩展；电子线路板的防潮、防霉、防盐雾设计，确保了自助机I/O控制器的长期稳定运行；严格的接地措施和防雷设计，安全性好；标准部件和通用接口，升级维护方便；

表1多功能一体化景区营销装置VLOG模块功能清单

表2多功能一体化景区营销装置参数

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。