课堂对话的评价方法、系统和存储介质

文档序号:1816623 发布日期:2021-11-09 浏览:6次 >En<

阅读说明:本技术 课堂对话的评价方法、系统和存储介质 (Classroom conversation evaluation method, system and storage medium ) 是由 宋宇 雷顺威 于 2021-08-10 设计创作,主要内容包括:本发明公开了一种课堂对话的评价方法、系统和存储介质,可应用于大数据处理技术领域。方法包括以下步骤:获取课堂视频数据或课堂音频数据转换得到的文本信息;获取对所述文本信息进行第一编码标注后的第一数据,以及获取对所述文本信息进行第二编码标注后的第二数据,所述第一编码标注和所述第二编码标注的编码均属于预设编码体系;确定所述第一数据和所述第二数据满足预设要求,采用所述第一数据和所述第二数据对预设编码标注模型进行训练;采用训练后的所述预设编码标注模型对所述文本信息进行编码标注,并根据编码标注结果生成课堂评价结果。本发明能减少人工标注数据的工作量,提高课堂对话的评价效率和评价的准确度。(The invention discloses an evaluation method, an evaluation system and a storage medium for classroom conversation, which can be applied to the technical field of big data processing. The method comprises the following steps: acquiring text information obtained by converting classroom video data or classroom audio data; acquiring first data obtained after first coding labeling is carried out on the text information, and acquiring second data obtained after second coding labeling is carried out on the text information, wherein codes of the first coding labeling and the second coding labeling both belong to a preset coding system; determining that the first data and the second data meet preset requirements, and training a preset coding labeling model by adopting the first data and the second data; and coding and labeling the text information by adopting the trained preset coding and labeling model, and generating a classroom evaluation result according to a coding and labeling result. The invention can reduce the workload of manual data annotation and improve the evaluation efficiency and the evaluation accuracy of classroom conversation.)

课堂对话的评价方法、系统和存储介质

技术领域

本发明涉及大数据处理技术领域,尤其是一种课堂对话的评价方法、系统和存储介质。

背景技术

课堂对话是实施课堂互动交流的核心手段,是引导思考、探究问题的主要抓手,也承载着启发思维的重要功能,因此,发展高质量的课堂教学的本质是要增强课堂对话的有效性。相关技术中,目前对于课堂对话数据处理方式,存在以下缺点:第一,缺乏通用而科学的课堂对话评价体系,不同方式提出了类别各异的评价指标,指标的名称、界定、含义和类别不一致,导致难以实施大规模的课堂对话分析与比较;第二,目前的方式对课堂对话的评价多注重表面的量化行为数据分析,大多关注对话频次、对话主体、对话时间等浅层次的行为数据,而较少关注语言或行为背后体现学习质量的行为数据,对行为数据隐含的认知与思维特征缺乏深入的挖掘和剖析,难以有效对应教育教学的培养目标;第三,目前的课堂对话分析方法主要采用人工方式逐词或逐句标注,但是仅靠人工标注速率较低,每节课课堂对话标注平均用时7-8小时,且由于标注者水平不一容易出现内部信度较低的现象,难以应对大规模课堂教学评价的需求。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种课堂对话的评价方法、系统和存储介质,能够提高课堂对话的评价效率和评价的准确度。

一方面,本发明实施例提供了一种课堂对话的评价方法,包括以下步骤:

获取课堂视频数据或课堂音频数据转换得到的文本信息;

获取对所述文本信息进行第一编码标注后的第一数据,以及获取对所述文本信息进行第二编码标注后的第二数据,所述第一编码标注和所述第二编码标注的编码均属于预设编码体系;

确定所述第一数据和所述第二数据满足预设要求,采用所述第一数据和所述第二数据对预设编码标注模型进行训练;

采用训练后的所述预设编码标注模型对所述文本信息进行编码标注,并根据编码标注结果生成课堂评价结果。

在一些实施例中,所述获取课堂视频数据或课堂音频数据转换得到的文本信息,包括:

获取课堂视频数据或课堂音频数据作为第三数据;

提取所述第三数据内的对话数据;

将所述对话数据转换为文本信息。

在一些实施例中,所述将所述对话数据转换为文本信息,包括:

获取所述对话数据中的说话主体和话语信息;

将所述说话主体和对应的所述话语信息作为第一语料;

变换所述第一语料内的所述说话主体,得到第二语料;

根据所述第一语料和所述第二语料生成文本信息。

在一些实施例中,每一条所述第一语料或所述第二语料的编码个数包括至少一个。

在一些实施例中,所述预设编码体系内的编码包括基础知识、个人信息、分析、归纳、迁移与创新、回应与构建、认同、质疑和指导九大类,十五项一级编码,即提问基础知识、回应基础知识、提问个人信息、回应个人信息、分析式提问、分析式回应、归纳式提问、归纳式回应、迁移与创新提问、迁移与创新回应、认同、质疑、指导,39项二级指标。

在一些实施例中,所述确定所述第一数据和所述第二数据满足预设要求,采用所述第一数据和所述第二数据对预设编码标注模型进行训练,包括:

比较所述第一数据的第一编码标注与所述第二数据的第二编码标注;

确定所有所述第一编码标注与所述第二编码标注的相同度满足预设要求,采用所述第一数据和所述第二数据对预设编码标注模型进行训练。

在一些实施例中,所述预设编码标注模型包括嵌入层、卷积神经网络层、双向长短时记忆神经网络层和输出层;所述采用训练后的所述预设编码标注模型对所述文本信息进行编码标注,包括:

采用所述嵌入层将所述文本信息转换为连续向量;

采用所述卷积神经网络层从所述连续向量中提取局部特征;

采用所述双向长短时记忆神经网络层从所述连续向量中提取全局特征;

根据所述局部特征和所述全局特征对所述文本信息进行编码标注。

在一些实施例中,所述嵌入层包括语言表征模型;所述采用所述嵌入层将所述文本信息转换为连续向量,包括:

采用所述语言表征模型将所述文本信息转换为连续向量。

另一方面,本发明实施例提供了一种课堂对话的评价系统,包括:

至少一个存储器,用于存储程序;

至少一个处理器,用于加载所述程序以执行上述的课堂对话的评价方法。

另一方面,本发明实施例提供了一种存储介质,其中存储有计算机可执行的程序,所述计算机可执行的程序被处理器执行时用于实现上述的课堂对话的评价方法。

本发明实施例提供的一种课堂对话的评价方法,具有如下有益效果:

本实施例通过先获取由课堂视频数据或课堂音频数据转换得到的文本信息,接着获取对文本信息进行第一编码标注后的第一数据,以及对文本信息进行第二编码标注后的第二数据,然后在确定第一数据和第二数据满足预设要求,采用第一数据和第二数据对预设编码标注模型进行训练,再采用训练后的预设编码标注模型对文本信息进行编码标注,并根据编码标注结果生成课堂评价结果,本实施例通过统一的编码标注方式对文本信息进行标注,从而得到应用于大规模的课堂对话分析与比较的前提条件,通过训练后的预设编码标注模型对文本信息进行编码标注,减少人工标注数据的工作量,同时得到体现学习质量的行为数据,从而提高课堂对话的评价效率和评价的准确度。

本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

下面结合附图和实施例对本发明做进一步的说明,其中:

图1为本发明实施例的一种课堂对话的评价方法的流程图;

图2为本发明实施例的课堂对话高频评价指标示意图;

图3为本发明实施例的预设编码标注模型的示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。

在本发明的描述中,若干的含义是一个以上,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中,除非另有明确的限定,设置、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

本发明的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

课堂对话是指教师与学生在课堂中(包括线上课堂和线下课堂)围绕教育教学目标展开的语言交流活动。课堂对话的开展需要具备问题发起方,且至少获得一位他者进行问题回应。发起互动Initiation—作出回应Response—进行反馈或评价Feedback/Evaluation(IRF或IRE)是课堂对话的典型运作模式,即教师或学生以提问的形式发起互动、引导思考问题,随后其它人做出回应,进而教师或学生对回答做出反馈和评估。在对话中,提高发问次数和回应积极性固然值得鼓励,但是对话的质量才是其核心价值,也是增强课堂效能的关键。高质量的课堂对话应具有五大核心属性,即集体性、互惠性、支持性、建构性和目的性。高效能的对话应以开放式问题为起点,以知识建构为旨向,以阐释、分析、推理、归纳、元认知为主要表现形式。社会文化理论是课堂对话研究的重要理论基础,该理论强调认知能力是通过在社会文化环境中的互动而得到发展的,其中,语言是重要的认知发展媒介,是思维发展的载体。在此理论的指导下,大量实证研究成果应运而生,从多角度证实了课堂对话对学生发展的重要作用,课堂对话有助于交流和分享信息,促进多元观点碰撞,达成深度理解;有助于提高批判反思能力,培养逻辑分析、总结归纳、抽象推理等高级思维,有利于增强创新能力和解决问题的能力。目前的对于课堂对话的评价方式存在评价标准不统一、需要人工标注大量的数据等问题。

基于此,本发明实施例提供了一种课堂对话的评价方法、系统和存储介质。其中,本实施例通过统一的编码标注方式对文本信息进行标注,从而得到应用于大规模的课堂对话分析与比较的前提条件,通过训练后的预设编码标注模型对文本信息进行编码标注,减少人工标注数据的工作量,同时得到体现学习质量的行为数据,从而提高课堂对话的评价效率和评价的准确度。

下面结合附图对本发明进行具体的阐述。

参照图1,本发明实施例提供了一种课堂对话的评价方法。本方法应用于预设平台系统,该预设平台系统上预先存储有用于对文本信息进行编码标注的预设编码系统(Coding Instrument for Productive Classroom Dialogue,CI-PCD)、以及用于进行文本自动标注的预设编码标注模型。其中,预设编码系统的编码由基础知识、个人信息、分析、归纳、迁移与创新、回应与构建、认同、质疑和指导这九项组成的评价指标。这些编码可以是采用文献计量法从近20年课堂教学领域的期刊文献和评价模型中提炼相通的指标。文献计量法是以文献体系和文献计量特征为研究对象,采用数学、统计学等计量研究方法,研究文献的分布结构、数量关系、变化规律,并进而探讨相应领域的结构、特征和规律的现代科学研究方法,能够从宏观视角对该领域研究状况提供科学客观的概述。文献选取主要来源于Webof Science(WOS)数据库,WOS是国际研究较为权威的数据库,收录了SSCI和SCI期刊文献,文献质量较高且获得广泛的国际认可。这九项评价指标具有较高频次的出现,且能够体现知识探究和思维进阶的目标,具体如图2所示。图2中的横坐标代表的从以往研究中是筛选出具有较高重要性的课堂对话编码类型,纵坐标代表的是该编码出现的频次,从图2中能够较好证实分析(Analysis)、基础知识(Prior-known information)、回应与建构(uptake)、迁移与创新(speculation,generalization)、个人信息(personal information)这几类编码具有较高重要性,所以纳入本实施例的评价指标中。

具体地,“基础知识”类的功能为帮助学生获得信息、概念、基础知识、事实,学习基本方法和基本规则;“个人信息”类教学的功能为引导学生表达个人的思想、情感、观点和感受;“分析”类对话的功能为引导学生深入分析问题,提升演绎思维能力,加强深度理解;“归纳”类对话的功能为培养学生全面、综合看待问题的能力,提升全局性思维,通过比较、联系而发现事物运行规律;“迁移与创新”类对话的功能为支持学生发展创新思维、提升迁移运用能力;“回应与构建”类对话旨在引导学生倾听他人发言、与人协作,提升自我反思;“认同”类表述能够起到衔接对话、鼓励倾听、促进交流的社会性作用;“质疑”类对话有助于批判性思维的培养,是积极参与课堂学习的体现,是激发探索创新的手段;“指导”类话语是课堂教学过程中教师依据学生的学习进度和认知水平所提供的有针对性的支持和指引。在此基础上,本实施例还进一步区分了对话主体和对话形式,分别为教师和学生两类主体,同时每一类评价指标进一步划分为提问和回应,例如,教师提出分析式问题,学生给出分析式解答。通过结合课堂对话内容、主体和形式三种维度,本实施例能够较好地对标教育教学目标。具体地,预设编码系统CI-PCD的内容如表1所示:

表1

具体地,如图1所示,本实施例在实施例过程中,包括以下步骤:

S11、获取课堂视频数据或课堂音频数据转换得到的文本信息。

在本申请实施例中,获取文本信息具体是先获取课堂视频数据或课堂音频数据作为第三数据,接着提取第三数据内的对话数据,并将对话数据转换为文本信息。具体地,将对话数据转换为文本信息时,可以是先获取对话数据中的说话主体和话语信息,然后将说话主体和对应的话语信息作为第一语料,并变换第一语料内的说话主体,得到第二语料,接着根据第一语料和第二语料生成文本信息。例如,将课堂对话按照教师、学生说话主体进行文本排布,每一个主体所说的话语为一条语料,变换主体形成新的语料,将得到的所有语料作为文本信息。

S12、获取对文本信息进行第一编码标注后的第一数据,以及获取对文本信息进行第二编码标注后的第二数据。其中,第一编码标注和第二编码标注的编码均属于预设编码体系。

在本申请实施例中,在得到文本信息后,逐句依据CI-PCD编码体系进行标注,再标出该句子属于表1中的哪个编码。每条语料中可以选择多类编码,当一条语料中涉及多个编码内容时,则可选择多个编码。例如一条语料为“同学们,请你们用我们刚才所学的知识解释一下为什么借助A和B条件能够得出C的结论呢?”,该语料将编码为“基础知识式提问”和“分析式提问”。其中,编码标注过程可以是通过人工在平台中选择相应编码按钮,即可完成标注。例如,选择两位专家在平台中对相同的文本信息选择相应编码按钮进行编码,则第一数据对应于第一位专家进行编码标注后的数据,第二数据对应于第二位专家进行编码标注后的数据。

S13、确定第一数据和第二数据满足预设要求,采用第一数据和第二数据对预设编码标注模型进行训练。

在本申请实施例中,在得到待编码标注信息的第一数据和第二数据后,将两个数据的编码进行比对,当比较的一致性达到0.9以上,并对不一致内容进行校验,校验后的编码语料方可发送给机器进行学习。即比较第一数据的第一编码标注与第二数据的第二编码标注,确定所有第一编码标注与第二编码标注的相同度满足预设要求,采用第一数据和所述第二数据对预设编码标注模型进行训练。

S14、采用训练后的预设编码标注模型对文本信息进行编码标注,并根据编码标注结果生成课堂评价结果。

在本申请实施例中,如图3所示,预设编码标注模型包括嵌入层、卷积神经网络层、双向长短时记忆神经网络层和输出层;其中,嵌入层包括BERT语言表征模型。步骤采用训练后的所述预设编码标注模型对所述文本信息进行编码标注,通过以下方式实现:

采用嵌入层内的语言表征模型将文本信息转换为连续向量;采用卷积神经网络层从连续向量中提取局部特征;采用双向长短时记忆神经网络层从连续向量中提取全局特征;根据局部特征和全局特征对文本信息进行编码标注。其中,语言表征模型Bidirectional Encoder Representations from Transformers(BERT)能够对文本进行预处理,其被视为一个在大型文本语料库上训练的通用语言理解模型,可以有效地将课堂对话文本表示为连续向量,并将其应用于神经网络的下游计算任务,适合深度学习模式的输入格式。随后进行模型训练,神经网络在分类任务中广泛应用于文本数据的深层信息学习,将数据集随机分成训练集和测试集两个子集,用于模型训练和模型评价,采用卷积神经网络与双向长短期记忆网络相结合的混合神经网络模型CNN-BiLSTM,该混合模型可以模拟人类记忆系统,用于从训练数据集中获取局部特征和全局特征,进而挖掘对话文本中隐藏的语义信息,卷积神经网络提取对话局部特征,双向长短记忆神经网络(BiLSTM)序列化有利于提取全局特征,进而根据提取到的局部特征和全局特征评价课堂对话质量。

例如,将上述实施例应用于具体的测试过程,其具体为:采用600节中小学阶段的真实课堂教学实录进行实验,包括语文、数学、科学三门科目。其中,80%的课堂对话语料(11101条)作为训练语料,20%(2776条)的课堂对话语料作为测试语料。其具体语料实验数据如表2所示:

表2

编码大类 训练数据集 测试数据集 总和
基础知识 3996 999 4995
个人观点表达 2151 537 2688
分析阐述 2012 503 2515
总结归纳 817 204 1021
迁移创新 862 215 1077
回应建构 710 177 887
其它类(认同质疑指导) 589 105 694

将上述实验数据应用于本实施例提出的方式以及现有的方式,得到如表3所示的结果:

表3

从表3可知,采用的CNN+BiLSTM的参数最高,训练效果最好。经过训练,本实施例所采用的机器自动标注文本的精确率、召回率和F1评分均已达到0.7以上,精确率Precision为0.8842,召回率为0.8782,F1分数为0.7531。这三类参数被广泛用于评价分类模型的性能,这表示机器标注具有较高的可靠性和有效性,机器自动标注每节课(40分钟)平均用时15秒,极大地提高了分析标注速度和精度,达到大规模应用和分析课堂对话的水平。

由此可知,将本实施例应用于实际课堂评价时,为开展大规模的课堂教学比较研究以及挖掘课堂对话规律奠定重要基础,能够打破各地区间和校际间数学教学壁垒,破除数据孤岛效应,为课堂教学水平的比较和评价提供相对统一的依据。将提升数学教师培训、教研活动的有效性,目前教师培训和教研活动往往基于专家教师或教研员的主观经验,具有随机性和分散性,本实施例将为教研活动和培训活动提供科学性、前瞻性的指导和支持,有助于推进课堂教学转型,发展互动式、启发式和探究式教学,有利于培养创新型实践型人才。

本发明实施例提供了一种课堂对话的评价系统,包括:

至少一个存储器,用于存储程序;

至少一个处理器,用于加载所述程序以执行图1的课堂对话的评价方法。

本发明方法实施例的内容均适用于本系统实施例,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法达到的有益效果也相同。

本发明实施例提供了一种存储介质,其中存储有计算机可执行的程序,所述计算机可执行的程序被处理器执行时用于实现图1所示的课堂对话的评价方法。

本申请实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图1所示的方法。

上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。此外,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。

15页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:基于语言相似性的迁移学习平行句对抽取方法及装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!