具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。

为了解决目前无法高效地对视频通话质量进行评估的问题，本发明实施例提供了一种无参考的视频通话质量评估方法，可以在不参考原始视频序列的情况下，对视频通话业务进行质量评估，并且评估结果可以很好的拟合用户主观体验。该无参考是指仅使用接收端的音视频参数和其他网络传输参数，计算传输后的视频通话质量。该视频通话质量评估方法中，可以首先收集视频通话主观测试结果，作为客观评估模型的训练和验证数据集，在数据集的建立过程中将单向模拟视频通话和双向视频通话两种方式结合起来，然后建立客观评估模型，此客观评估模型包括多个子评估模型，每个子评估模型分别使用不同类型的数据集进行训练，最后基于训练好的客观评估模型进行视频通话质量评估，即评估得出视频通话质量评分，并基于该视频通话质量评分确定相应视频通话的质量。

其中，对于单向模拟视频通话，可以由单一用户观看事先录制好的视频文件，给出主观评分。这种通话方式易于开展，当基于单向模拟视频通话来收集用于训练评估模型的数据集时，可以收集到大量数据，便于模型训练及验证。对于双向视频通话，在通话结束后由参与通话的用户分别给出主观评分。这种方式考虑了视频通话业务中的交互体验给用户带来的影响，与基于单向模拟视频通话得到的数据集相比，使用基于双向视频通话得到的数据集训练的评估模型，可以使得评估结果更好的拟合用户主观体验。但是这种双向视频通话方式的开展比较复杂，不便收集到大量数据。

由此，本发明实施例在模型建立及训练过程中，综合考虑了数据集样本量及视频通话过程中用户交互体验带来的影响，因此得到的客观评估模型能够更好地拟合视频通话过程中的主观用户体验，从而基于此客观评估模型可以高效地对视频通话质量进行评估。

请参见图1，图1是本发明实施例提供的一种视频通话质量评估方法的流程图，该方法应用于电子设备，如图1所示，该方法包括如下步骤：

步骤101：获取当前视频通话的音视频相关参数。

本实施例中，音视频相关参数不依赖视频通话的原始视频。音视频相关参数可以包括但不限于：1)与音视频质量因素相关的参数，比如视频编码方式、音频编码方式、视频码率、音频码率、视频帧率、视频分辨率等；2)与终端因素相关的参数，比如终端类型、终端分辨率等；该终端类型比如为个人计算机(Personal Computer，PC)、电视机TV、手机等；3)与网络传输损伤因素相关的参数，比如视频时延、音频时延、视频丢包率、音频丢包率等。

步骤102：将所述音视频相关参数中的第一类型参数输入到预先训练的第一评估模型中，得到当前视频通话的第一评分。

本实施例中，所述第一评估模型是利用第一训练数据集训练得到，所述第一训练数据集中的训练参数是基于单向模拟视频通话收集得到。由此，基于单向模拟视频通话来收集第一训练数据集，可以收集到大量数据，从而保证第一训练数据集中训练参数的数据量，便于模型训练及验证。

可理解的，上述音视频相关参数中的第一类型参数与第一训练数据集中的模型输入训练参数的类型相同。

步骤103：将所述音视频相关参数中的第二类型参数输入到预先训练的第二评估模型中，得到当前视频通话的第二评分。

本实施例中，所述第二评估模型是利用第二训练数据集训练得到，所述第二训练数据集中的训练参数是基于双向视频通话收集得到。由此，基于双向视频通话来收集第二训练数据集，可以考虑到视频通话业务中的交互体验给用户带来的影响，从而使得利用第二训练数据集训练的第二评估模型的评估结果更好的拟合用户主观体验。

可理解的，上述音视频相关参数中的第二类型参数与第二训练数据集中的模型输入训练参数的类型相同。

步骤104：根据所述第一评分和所述第二评分，确定当前视频通话的质量。

可选的，在得到第一评分和第二评分后，可以基于预设规则(比如加权平均方式等)计算得到当前视频通话的整体质量评分，并基于此整体质量评分确定当前视频通话的质量。比如，如果整体质量评分低于预设阈值(如0.4、0.45等)，则可确定当前视频通话的质量不好；或者如果整体质量评分高于或者等于预设阈值，则可确定当前视频通话的质量好。

本发明实施例中的视频通话质量评估方法，可以基于预先训练的第一评估模型和第二评估模型，对当前视频通话进行评分，以确定当前视频通话的质量，该第一评估模型是利用基于单向模拟视频通话收集的第一训练数据集训练得到，该第二评估模型是利用基于双向视频通话收集的第二训练数据集训练得到。由此，由于在模型建立及训练过程中综合考虑了数据集样本量及视频通话过程中用户交互体验带来的影响，可以使得模型输出结果很好的拟合用户主观体验，从而高效地对视频通话质量进行评估。

本发明实施例中，考虑到开展视频通话主观测试的复杂性和模型训练需要大量样本数据的情况，以及不同类型参数对用户视频通话过程中的影响不同，上述的第一评估模型和第二评估模型可以包括多个评估模型，每个评估模型分别使用不同类型的数据集来进行训练得到。这样，可以在更方便开展数据集收集、模型训练的前提下，更好的提升模型准确性，从而更好地对视频通话质量进行评估。

可选的，所述第一评估模型可以包括音频质量评估模型、视频质量评估模型、音视频质量评估模型。所述第一类型参数可以包括音频参数、视频参数和终端参数。上述步骤102中得到当前视频通话的第一评分的过程可以包括：

将所述音频参数输入到所述音频质量评估模型中，得到所述当前视频通话的音频质量评分；

将所述视频参数和终端参数(比如终端类型、终端分辨率)输入到所述视频质量评估模型中，得到所述当前视频通话的视频质量评分；

将所述音频质量评分和所述视频质量评分输入到所述音视频质量评估模型中，得到所述第一评分。

这样，借助将第一评估模型分为音频质量评估模型、视频质量评估模型和音视频质量评估模型，可以针对不同的评估模型分别使用不同的数据集进行训练，从而提升模型准确性，从而更好地对视频通话质量进行评估。

可选的，所述音频参数可以包括以下至少一项：音频编码方式、音频码率、音频丢包率等。所述视频参数可以包括以下至少一项：视频编码方式、视频码率、视频帧率、视频丢包率等。所述终端参数可以包括以下至少一项：终端类型、终端分辨率等。

可选的，所述第二评估模型可以包括音视频交互时延评估模型和音视频交互同步评估模型。所述第二评分包括音视频交互时延评分和音视频交互同步评分。所述第二类型参数包括音频时延和视频时延。上述步骤103中得到当前视频通话的第二评分的过程可以包括：

将所述音频时延和所述视频时延输入到所述音视频交互时延评估模型中，得到所述当前视频通话的音视频交互时延评分；

将所述音频时延和所述视频时延输入到所述音视频交互同步评估模型中，得到所述当前视频通话的音视频交互同步评分。

这样，借助将第二评估模型分为音视频交互时延评估模型和音视频交互同步评估模型，可以针对不同的评估模型分别进行训练，从而提升模型准确性，从而更好地对视频通话质量进行评估。

可选的，上述步骤104中确定当前视频通话的质量的过程可包括：将所述第一评分和所述第二评分输入到预先训练的视频通话质量评估模块中，得到当前视频通话的质量评分；根据所述当前视频通话的质量评分，确定当前视频通话的质量。这样借助预先训练的视频通话质量评估模块来得到当前视频通话的质量评分，可以准确对视频通话进行质量评分。

下面结合图2，对本发明具体实例中视频通话质量评估过程进行说明。

本发明具体实例中，如图2所示，由于视频通话过程中，影响用户体验的因素主要包括视频/音频质量因素、终端相关因素和网络传输损伤因素，因此在不依赖视频通话原始视频的情况下，可将整体的评估模型按照这些因素分为几个评估模型：

1)音频质量评估模型：根据视频通话的音频编码方式、音频码率、音频丢包率，计算得出该视频通话的音频质量评分，如下所示：

SQuality_a＝f(音频编码，音频码率，音频丢包率)

2)视频质量评估模型：根据视频通话的视频编码方式、视频码率、视频帧率、视频丢包率、终端类型和终端分辨率，计算得出该视频通话的视频质量评分，如下所示：

SQuality_v＝

f(视频编码，视频码率，视频帧率，视频丢包率，终端类型，终端分辨率)

3)音视频质量评估模型：根据视频通话的音频质量评分和视频质量评分，综合计算该视频通话的音视频质量评分，如下所示：

SQuality＝f(SQuality_a,SQuality_v)

4)音视频交互时延评估模型：根据视频通话的音频时延和视频时延，计算得出该视频通话的音视频交互时延评分，如下所示：

SDelay＝f(音频时延，视频时延)

5)音视频交互同步评估模型：根据视频通话的音频时延和视频时延，计算得出该视频通话的音视频交互同步评分，如下所示：

SSync＝f(音频时延，视频时延)

6)视频通话质量评估模型：根据视频通话的音视频质量评分、音视频交互时延评分和音视频交互同步评分，综合计算得出该视频通话的整体质量评分，如下所示：

S_MOS＝f(SQuality,SDelay,SSync)

具体的，根据上述1)至6)中不同评估模型的特点，本实施例中可以选用不同的数据集对其进行训练。视频、音频质量因素及终端因素对用户视频通话体验的影响与用户观看视频流体验的影响相近，因此可以使用单向模拟视频通话方式收集主观测试数据集。用户在进行视频通话时，因为涉及到双方的交互，对于网络造成的音视频时延及音视频同步会更加敏感，所以需要开展双向视频通话收集主观测试数据集。

可选的，在基于单向模拟视频通话方式收集数据集时，可以使用不同分辨率、不同帧率的视频序列，使用不同的视频编码格式、音频编码格式按照设定的码率对其进行编率，通过丢包工具进行丢包处理，由用户在不同的终端设备上进行观看视频、收听音频、或同时观看视频和收听音频的操作，分别记录音频、视频、音视频三个主观评分。进一步的，可将上述方式中使用的视频编码方式、视频码率、视频帧率、视频分辨率、视频丢包率、终端类型、终端分辨率整理成视频数据集，用户给出的主观评分作为对应的标签，用来训练视频质量评估模型；将使用的音频分辨率、音频码率、音频编码格式、音频丢包率整理成音频数据集，用户给出的主观评分作为对应的标签，用来训练音频质量评估模型；将音频评分、视频评分作为输入，用户对于音视频质量的主观评分作为标签，训练音视频质量评估模块。

可选的，在基于双向视频通话方式收集数据集时，可以使用不同的音频参数、视频参数、终端类型、网络丢包率，设置不同的音视频时延(包含音频时延相同或不同的情况，和/或包含视频时延相同或不同的情况)，由用户进行视频通话，通话结束后参与的用户分别给出关于时延、音视频同步(在音频时延和视频时延不同的情况下)、整体通话质量的主观评分。由于音视频质量模型使用基于单向模拟视频通话收集的数据集进行训练，因此双向视频通话开展时主要包含不同的音频时延、视频时延组合即可，这样减少了主观测试开展的复杂程度，便于数据收集。进一步的，将上述方式中收集到的视频时延、音频时延和用户主观评分整理成数据集，分别用来训练音视频交互时延模块、音视频交互同步模块、视频通话质量评估模块。

本实施例中提出的视频通话质量评估模型，各个评估模型函数可根据训练数据集通过人工智能(Artificial Intelligence，AI)或者拟合方法获得，也可以通过建模获得。通过本方案提出的方法训练得到的视频通话质量评估模型，综合考虑了音视频因素、终端因素、网络传输因素对用户体验的影响，尤其考虑了音视频时延和同步对视频通话业务的影响，且可在实际视频通话业务中评估用户的体验，不需要原始视频源及视频帧信息。

一种实施方式中，如图2所示，在对某视频通话进行质量评估时，基于音频质量评估模型得到的音频质量评分可为0.21，基于视频质量评估模型得到的视频质量评分可为0.22，进一步的将该音频质量评分0.21和视频质量评分0.22输入到音视频质量评估模型中，得到的音视频质量评分为0.35；此外，基于音视频交互时延评估模型得到的音视频交互时延评分可为0.23，基于音视频交互同步评估模型得到的音视频交互同步评分可为0.24，进一步将此音视频质量评分0.35、音视频交互时延评分0.23和音视频交互同步评分0.24输入到视频通话质量评估模型中，得到的该视频通话的质量评分(即整体质量评分)为0.46。进一步的，若预设的评分阈值为0.4，则由于0.46大于0.4，可确定该视频通话的质量佳。

请参见图3，图3是本发明实施例提供的一种视频通话质量评估装置的结构示意图，该装置应用于电子设备，如图3所示，该视频通话质量评估装置30可以包括：

获取模块31，用于获取当前视频通话的音视频相关参数；

第一评估模块32，用于将所述音视频相关参数中的第一类型参数输入到预先训练的第一评估模型中，得到所述当前视频通话的第一评分；

第二评估模块33，用于将所述音视频相关参数中的第二类型参数输入到预先训练的第二评估模型中，得到所述当前视频通话的第二评分；

确定模块34，用于根据所述第一评分和所述第二评分，确定所述当前视频通话的质量；

其中，所述第一评估模型是利用第一训练数据集训练得到，所述第一训练数据集中的训练参数是基于单向模拟视频通话收集得到；所述第二评估模型是利用第二训练数据集训练得到，所述第二训练数据集中的训练参数是基于双向视频通话收集得到。

可选的，所述第一评估模型包括音频质量评估模型、视频质量评估模型、音视频质量评估模型；所述第一类型参数包括音频参数、视频参数和终端参数；

所述第一评估模块32包括：

第一评估单元，用于将所述音频参数输入到所述音频质量评估模型中，得到所述当前视频通话的音频质量评分；

第二评估单元，用于将所述视频参数和所述终端参数输入到所述视频质量评估模型中，得到所述当前视频通话的视频质量评分；

第三评估单元，用于将所述音频质量评分和所述视频质量评分输入到所述音视频质量评估模型中，得到所述第一评分。

可选的，所述音频参数包括以下至少一项：音频编码方式、音频码率、音频丢包率；

和/或，所述视频参数包括以下至少一项：视频编码方式、视频码率、视频帧率、视频丢包率；

和/或，所述终端参数包括以下至少一项：终端类型、终端分辨率。

可选的，所述第二评估模型包括音视频交互时延评估模型和音视频交互同步评估模型；所述第二评分包括音视频交互时延评分和音视频交互同步评分；

所述第二类型参数包括音频时延和视频时延；

所述第二评估模块33包括：

第四评估单元，用于将所述音频时延和所述视频时延输入到所述音视频交互时延评估模型中，得到所述当前视频通话的音视频交互时延评分；

第五评估单元，用于将所述音频时延和所述视频时延输入到所述音视频交互同步评估模型中，得到所述当前视频通话的音视频交互同步评分。

可选的，所述确定模块34包括：

第六评估单元，用于将所述第一评分和所述第二评分输入到预先训练的视频通话质量评估模块中，得到所述当前视频通话的质量评分；

确定单元，用于根据所述当前视频通话的质量评分，确定所述当前视频通话的质量。

可理解的，本发明实施例的视频通话质量评估装置30，可以实现上述图1所示的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

此外，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时可以实现上述图1所示方法实施例的各个过程且能达到相同的技术效果，为避免重复，这里不再赘述。

请参见图4所示，本发明实施例还提供了一种电子设备40，包括总线41、收发机42、天线43、总线接口44、处理器45和存储器46。

在本发明实施例中，电子设备40还包括：存储在存储器46上并可在处理器45上运行的计算机程序。可选的，所述计算机程序被处理器45执行时可实现如下步骤：

获取当前视频通话的音视频相关参数；

将所述音视频相关参数中的第一类型参数输入到预先训练的第一评估模型中，得到所述当前视频通话的第一评分；所述第一评估模型是利用第一训练数据集训练得到，所述第一训练数据集中的训练参数是基于单向模拟视频通话收集得到；

将所述音视频相关参数中的第二类型参数输入到预先训练的第二评估模型中，得到所述当前视频通话的第二评分；所述第二评估模型是利用第二训练数据集训练得到，所述第二训练数据集中的训练参数是基于双向视频通话收集得到；

根据所述第一评分和所述第二评分，确定所述当前视频通话的质量；

可理解的，所述计算机程序被处理器45执行时可实现上述图1所示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

在图4中，总线架构(用总线41来代表)，总线41可以包括任意数量的互联的总线和桥，总线41将包括由处理器45代表的一个或多个处理器和存储器46代表的存储器的各种电路链接在一起。总线41还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口44在总线41和收发机42之间提供接口。收发机42可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器45处理的数据通过天线43在无线介质上进行传输，进一步，天线43还接收数据并将数据传送给处理器45。

处理器45负责管理总线41和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器46可以被用于存储处理器45在执行操作时所使用的数据。

可选的，处理器45可以是CPU、ASIC、FPGA或CPLD。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可实现上述图1所示方法实施例的各个过程且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台服务分类设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。