具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种图像变焦方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种携带双目摄像头的设备，该设备包括但不限于是智能手机、个人计算机、笔记本电脑、平板电脑和便携式可穿戴设备。本实施例中，该方法包括以下步骤：

步骤S101，获取第一拍摄图像和第二拍摄图像；第一拍摄图像的拍摄焦距小于所述第二拍摄图像。

其中，第一拍摄图像是指终端上第一摄像头拍摄的图像，第二拍摄图像是指终端上第二摄像头拍摄的图像。

其中，第一摄像头的镜头焦段小于第二摄像头，第一摄像头、第二摄像头分别可以是具有4K分辨率（3840*2160）的短焦摄像头和长焦摄像头。

具体地，终端响应用户触发的拍摄操作，获取第一摄像头采集的第一拍摄图像，获取用户触发的当前变焦倍数，若当前变焦倍数在变焦切换区间内，则获取第二摄像头采集的第二拍摄图像，然后将第一拍摄图像和第二拍摄图像发送至终端的处理器。由此，服务器在获取到第一拍摄图像和第二拍摄图像之后，将第一拍摄图像和第二拍摄图像作为处理对象执行后续的图像变焦步骤。

步骤S102，对第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像。

其中，仿射变换图像是指第一拍摄图像进行线性变换、平移等仿射变换处理后生成的图像，仿射变换图像与第一拍摄图像的相对位置关系没有改变。

具体地，终端根据获取的当前变焦倍数，计算得到在当前变焦倍数下，变焦后的仿射变换矩阵的参数，然后进行相机标定，获取第一摄像头的相关参数和矩阵，然后根据获得的相关参数和矩阵，对第一拍摄图像进行仿射变换处理，最终得到第一拍摄图像对应的仿射变换图像。

需要说明的是，仿射变换矩阵可以用如下公式进行表示：

其中，x和y为输入图像坐标，和为输出图像坐标，即该仿射变换矩阵表示根据 输出坐标计算得到输入坐标。m0、m1、m3、m4分别表示图像的缩放尺度和旋转量；m2表示图像 在水平方向上的位移；m5表示图像在垂直方向上的位移；m6、m7表示图像在水平和垂直方向 上的形变量；m8为权重因子，在归一化条件下，m8恒为1。

步骤S103，对仿射变换图像和第二拍摄图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像。

其中，像素对齐图像是指像素级上与第二拍摄图像对齐的图像。

具体地，将仿射变换图像和第二拍摄图像进行降采样，然后对降采样后的仿射变换图像进行坐标x轴和y轴方向上的梯度检验，得到降采样后的仿射变换图像的多个特征点，根据降采样后的仿射变换图像、降采样后的第二拍摄图像和多个特征点，对仿射变换图像进行光流偏移计算，得到光流偏移图像，对光流偏移图像进行图像插值，得到对应的像素对齐图像。

步骤S104，将像素对齐图像和第二拍摄图像进行融合处理，得到第一拍摄图像的目标变焦图像。

其中，目标变焦图像是指终端获取的拍摄图像，在当前变焦倍数下进行变焦后的图像。

具体地，将当前变焦倍数、像素对齐图像和第二拍摄图像输入到融合模型中进行线性融合，融合模型输出目标变焦图像作为融合结果，处理器执行完融合处理得到目标变焦图像后，将目标变焦图像在显示屏上进行展示，供用户在终端上查看触发变焦操作后的目标变焦图像。

上述图像变焦方法中，通过获取第一拍摄图像和第二拍摄图像，然后对第一拍摄图像进行仿射变换处理，从而得到对应的仿射变换图像，接着对仿射变换图像和第二拍摄图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像，最后对像素对齐图像和第二拍摄图像进行融合处理，进而得到第一拍摄图像的目标变焦图像。采用本方法，无需依赖双目摄像头的硬件模组性能，通过结合数码变焦和仿射变换来优化处理图像的过程，降低了图像处理的计算复杂度，使得图像变焦处理速度大大加快，同时，还通过将像素对齐处理与线性融合方法相结合来进行图像变焦，实现了图像的平滑变焦，从而双目摄像头在4K分辨率下达到实时接力变焦的效果，进而极大提升了终端设备原有的变焦效果。

需要说明的是，实时接力变焦是指双目摄像头在使用过程中，从一个焦段切换到另一个焦段时，画面将从原来的摄像头切换到另一个摄像头，切换过程中，画质保持一致性，焦段平滑切换，人眼无法察觉画面的跳变，图像没有进行平移、旋转操作，也没有闪烁卡顿的现象。

在一个实施例中，对仿射变换图像和第二拍摄图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像，具体包括如下内容：分别对仿射变换图像和第二拍摄图像进行降采样处理，得到降采样后的仿射变换图像和降采样后的第二拍摄图像；根据降采样后的仿射变换图像和降采样后的第二拍摄图像，对仿射变换图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像。

具体地，仿射变换图像和第二拍摄图像的分辨率为4K（3840*2160），终端调用降采样指令，对仿射变换图像和第二拍摄图像进行降采样，得到分辨率变低的降采样后的仿射变换图像和第二拍摄图像，然后调用像素对齐指令，对仿射变换图像进行梯度检测和光流计算，并通过图像插值提升图像的质量，最终得到像素对齐图像，此时的像素对齐图像与第二拍摄图像像素对齐，也就是说，像素对齐图像是变焦后放大的图像。

例如，仿射变换图像和第二拍摄图像的分辨率为4K（3840*2160），终端调用降采样算法程序，对仿射变换图像和第二拍摄图像进行降采样，得到分辨率为960*540的降采样后的仿射变换图像和降采样后的第二拍摄图像。

在本实施例中，对仿射变换图像和第二拍摄图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像，采用本方法，无需依双目摄像头的硬件模组性能，通过得到的像素对齐图像与第二拍摄图像进行线性融合，使得双目摄像头在4K分辨率下进行焦距切换时，实现图像的平滑变焦，从而提升了终端设备原有的变焦效果。

在一个实施例中，如图2所示，根据降采样后的仿射变换图像和降采样后的第二拍摄图像，对仿射变换图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像，具体包括如下步骤：

步骤S201，对降采样后的仿射变换图像进行梯度检验处理，得到降采样后的仿射变换图像的特征点。

步骤S202，根据降采样后的仿射变换图像和降采样后的第二拍摄图像，对特征点进行光流处理，得到对应的光流矩阵。

步骤S203，根据光流矩阵，对仿射变换图像中的每个图像块进行插值处理，得到像素对齐图像。

其中，光流矩阵是指通过光流法计算图像在时间域、相邻帧之间的运动信息时输出的矩阵，光流矩阵中的每一个元素表示图像在x轴方向和y方向上的偏移量；根据光流法的不同，光流矩阵可分为稠密光流矩阵和稀疏光流矩阵。

具体地，终端获取梯度检验的梯度阈值和数量阈值，根据梯度阈值和阈值，终端使用梯度算子对降采样后的仿射变换图像进行x轴方向和y方向上的梯度检验，得到降采样后的仿射变换图像的多个特征点，然后将降采样后的仿射变换图像和采样后的第二拍摄图像作为两帧图像，对多个特征点进行两帧差分的稀疏光流计算和稠密光流计算，得到对应的多个稀疏光流和稠密光流，稀疏光流、稠密光流的数量与特征点数量相等，使用最近邻算法，将该多个稠密光流扩展为预设分辨率的稠密光流矩阵，进而将3840*2160分辨率的仿射变换图像按照预设尺寸进行分块，仿射变换图像的每一个图像块都与稠密光流矩阵的一个光流值对应，根据每一个光流值，对仿射变换图像中对应的图像块的偏移量进行分析，得到光流处理后的图像，然后使用双线性插值算法，对光流处理后的图像进行图像插值，来恢复仿射变换图像变成光流处理后的图像过程中丢失的信息，最终得到像素对齐图像。

需要说明的是，梯度阈值和数量阈值可以是预先设置的阈值，也可以是通过自适应阈值调整算法得到的阈值，还可以根据实际的图像变焦任务进行调整；特征点的数量可以是100、200、500等，当然也可以根据实际情况进行调整；预设分辨率包括120*68；预设尺寸包括32*32。

在本实施例中，通过对降采样后的仿射变换图像进行梯度检验，得到降采样后的仿射变换图像的图像边缘特征点，然后根据降采样后的仿射变换图像和降采样后的第二拍摄图像，对特征点进行光流处理，得到对应的光流矩阵；根据光流矩阵，对仿射变换图像中的每个图像块进行插值处理，得到像素对齐图像。采用本方法，通过光流处理和双线性插值得到像素对齐图像，再结合线性融合方法进行图像变焦，实现了图像的平滑变焦，从而提升了终端设备原有的变焦效果。

在一个实施例中，获取第一拍摄图像和第二拍摄图像，包括：获取第一拍摄图像和第一拍摄图像的当前变焦倍数；当前变焦倍数在变焦切换区间范围内时，则获取第二拍摄图像。

其中，变焦切换区间为（z1，z2），z1和z2都是浮点数，z1表示在第一摄像头和第二摄像头进行相机标定后得到最佳切换变焦倍数，z2的取值为z1+0.4，0.4表示这个区间内会对图像进行像素对齐处理和融合处理。变焦倍数的初始值为1.0，代表第一拍摄图像的初始变焦倍数。变焦倍数进行改变后，会自动将当前变焦倍数发送至终端的变焦算法内。

具体地，终端以第一拍摄图像的初始变焦倍数进行图像拍摄，获取第一摄像头采集的第一拍摄图像，当用户触发变焦倍数的变更操作后，终端获取当前变焦倍数，并判断当前变焦倍数是否在变焦切换区间内，若当前变焦倍数在变焦切换区间范围内，则终端获取第二摄像头采集的第二拍摄图像。

在本实施例中，终端获取第一拍摄图像和当前变焦倍数，在变焦倍数处于变焦切换区间时，获取第二摄像头采集的第二拍摄图像，进而根据第一拍摄图像、当前变焦倍数和第二拍摄图像进行图像变焦处理，无需依赖双目摄像头的硬件模组性能，通过终端内部的变焦算法，使得双目摄像头在4K分辨率下达到实时接力变焦的效果，进而提升了终端设备原有的变焦效果。

在一个实施例中，对第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像，包括：根据获取到的单应矩阵，对第一拍摄图像进行仿射变换处理，得到仿射变换图像；仿射变换图像的焦距大于所述第一拍摄图像。

其中，单应矩阵是描述两幅图像之间的单应性的矩阵，由用于定位观察的物理平面的物理变换和摄像头内参数矩阵的投影组成。图像单应性指的是在世界坐标系和像素坐标系之间的位置映射关系。

具体地，根据获取的单应矩阵，对第一拍摄图像进行平移、旋转、缩放、形变等仿射变换，得到初步仿射变换图像，由于初步仿射变换图像的坐标存在非整数，所以需要通过插值处理来进行图像重映射，通过双线性插值算法计算得到初步仿射变换图像上的像素值，进而得到像素质量更高的仿射变换图像，仿射变换图像的焦距大于第一拍摄图像。在本实施例中，根据单应矩阵，对第一拍摄图像进行仿射变换处理，得到初步仿射变换图像，再通过双线性插值算法对初步仿射变换图像进行平滑，得到仿射变换图像，恢复了图像变焦过程中丢失的信息，通过结合数码变焦和仿射变换来优化处理图像的过程，降低了图像处理的计算复杂度，使得图像变焦处理速度大大加快，并且人眼无法察觉摄像头的切换过程，实现了双目摄像头在4K分辨率下的实时变焦效果，从而提升了终端设备原有的变焦效果。

在一个实施例中，在对第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像之前，还包括：根据当前变焦倍数，计算得到第一拍摄图像的变焦图像的变焦坐标点；对变焦坐标点进行逆变换处理，得到第一拍摄图像的坐标点；对变焦坐标点和坐标点进行透视变换处理，得到单应矩阵。

其中，变焦坐标点是指第一拍摄图像的变焦图像的定点坐标，变焦坐标点的数量可以是1、2、3、4个等，当然也可以根据实际情况进行调整，在此不进行具体限定。坐标点的数量与变焦坐标点的数量相等。

具体地，根据当前变焦倍数，计算得到第一拍摄图像的变焦图像，并计算得到该变焦图像的变焦坐标点，然后根据得到的仿射变换矩阵，对变焦坐标点进行逆变换计算，得到变焦坐标点在第一拍摄图像上对应的坐标点，然后将坐标点和第一拍摄图像的四个顶点坐标进行透视变换矩阵计算，得到第一拍摄图像和第一拍摄图像的变焦图像的单应矩阵。

在本实施例中，通过数码变焦的变焦倍数计算仿射变换矩阵，在对第一拍摄图像进行仿射变换处理，得到仿射变换图像。采用本方法，通过结合数码变焦和仿射变换来优化处理图像的过程，降低了图像处理的计算复杂度，使得图像变焦处理速度大大加快，并且人眼无法察觉摄像头的切换过程，实现了双目摄像头在4K分辨率下的实时变焦效果，从而提升了终端设备原有的变焦效果。

在一个实施例中，将像素对齐图像和第二拍摄图像进行融合处理，得到目标变焦图像，包括：根据当前变焦倍数和变焦切换区间，计算得到变焦权重；根据变焦权重，对像素对齐图像和第二拍摄图像进行融合处理，得到目标变焦图像。

具体地，根据当前变焦倍数和变焦切换区间，计算得到第二拍摄图像的变焦权重，根据第二拍摄图像的变焦权重，计算得到像素对齐图像的权重，将第二拍摄图像、像素对齐图像、第二拍摄图像的变焦权重和像素对齐图像的权重输入融合模型中进行计算，得到融合后的目标变焦图像，将目标变焦图像展示在终端的显示屏上供用户查看。

例如，假设当前变焦倍数为w，变焦切换区间为（z1，z2），根据如下公式计算得到第二拍摄图像的变焦权重w1。

则像素对齐图像的权重为1-w1，对第二拍摄图像和像素对齐图像按照如下公式进行加权求和，得到目标变焦图像。

在本实施例中，通过将像素对齐处理与线性融合方法相结合来进行图像变焦，从而双目摄像头在4K分辨率下实现了图像的平滑变焦，从而提升了终端设备原有的变焦效果。

在一个实施例中，如图3所示，提供了另一种图像变焦方法，以该方法应用于终端为例进行说明，包括以下步骤：

步骤S301，获取第一拍摄图像和第一拍摄图像的当前变焦倍数；当当前变焦倍数在变焦切换区间范围内时，则获取第二拍摄图像。

步骤S302，根据当前变焦倍数，计算得到第一拍摄图像的变焦图像的变焦坐标点；对变焦坐标点进行逆变换处理，得到第一拍摄图像的坐标点。

步骤S303，对变焦坐标点和坐标点进行透视变换处理，得到单应矩阵。

步骤S304，根据获取到的单应矩阵，对第一拍摄图像进行仿射变换处理，得到仿射变换图像；仿射变换图像的焦距大于第一拍摄图像。

步骤S305，分别对仿射变换图像和第二拍摄图像进行降采样处理，得到降采样后的仿射变换图像和降采样后的第二拍摄图像。

步骤S306，对降采样后的仿射变换图像进行梯度检验处理，得到降采样后的仿射变换图像的特征点。

步骤S307，根据降采样后的仿射变换图像和降采样后的第二拍摄图像，对特征点进行光流处理，得到对应的光流矩阵。

步骤S308，根据光流矩阵，对仿射变换图像中的每个图像块进行插值处理，得到像素对齐图像。

步骤S309，根据当前变焦倍数和变焦切换区间，计算得到变焦权重；根据变焦权重，对像素对齐图像和第二拍摄图像进行融合处理，得到目标变焦图像。

上述图像变焦方法中，无需依赖双目摄像头的硬件模组性能，通过结合数码变焦和仿射变换来优化处理图像的过程，降低了图像处理的计算复杂度，使得图像变焦处理速度大大加快，同时，还通过将像素对齐处理与线性融合方法相结合来进行图像变焦，实现了图像的平滑变焦，从而双目摄像头在4K分辨率下达到实时接力变焦的效果，进而极大提升了终端设备原有的变焦效果。

为了更清晰阐明本公开实施例提供的图像变焦方法，以下以一个具体的实施例对该图像变焦方法进行具体说明。在一个实施例中，如图4所示，本公开还提供了一种图像变焦方法，具体包括以下内容：

步骤S401，输入短焦图像、变焦倍数和长焦图像；具体包括以下内容：输入短焦图像：获取短焦摄像头输入的第一拍摄图像P1；输入变焦倍数：获取当前变焦倍数w；输入长焦图像：当前变焦倍数w若处于变焦切换区间，则同时获取长焦摄像头输入的第二拍摄图像P2。

步骤S402，仿射变换参数计算模块，用于计算当前变焦倍数w下，P1变焦到P2的仿 射变换矩阵的8个参数，得到仿射变换矩阵H；根据当前变焦倍数w，计算得到P1的变焦图像 的四个顶点坐标p1、p2、p3、p4；根据3*3的仿射变换矩阵H，对四个顶点坐标p1、p2、p3、p4进 行逆变换计算，得到P1上对应的四个坐标点；将与P1的4K（3840*2160）图像的四个顶点坐标进行透视变换矩阵计算，得到3*3的单应矩阵； 根据单应矩阵，对P1进行仿射变换处理。

步骤S403，仿射变换模块，用于对步骤S402中进行仿射变换处理后的P1进行图像插值，得到仿射变换后的短焦图像P3。

步骤S404，像素局部对齐模块，用于对P3和P2进行降采样处理，得到960*540分辨 率的和图像；获取梯度检验的梯度阈值和数量阈值，根据梯度阈值和阈值，使用梯 度算子对图像进行x轴方向和y方向上的梯度检验，得到的500个特征点；将和作为两帧图像，对500个特征点进行两帧差分的稀疏光流计算和稠密光流计算，得到对 应的500个稀疏光流和稠密光流；使用最近邻算法，将500个稠密光流扩展为120*68分辨率 的稠密光流矩阵F，进而将3840*2160分辨率的P3图像按照32*32进行分块，P3的每一块都与 稠密光流矩阵F的一个光流值对应，根据每一个光流值，对P3中的对应块的偏移量进行分 析，得到光流处理后的图像，然后使用双线性插值算法，对光流处理后的图像进行图像插 值，得到像素对齐图像P4。

步骤S405，融合模块：根据当前变焦倍数w，变焦切换区间为（z1，z2），根据如下计算得到第二拍摄图像的变焦权重w1。

则像素对齐图像的权重为1-w1，对第二拍摄图像P2和像素对齐图像P4按照如下公式进行加权求和，得到目标变焦图像，将目标变焦图像作为结果图像，并输出结果图像。

在本实施例中，通过仿射变换算法和像素对齐算法，实现了在4K（3840*2160）分辨率下，双目摄像头实时接力变焦的效果，并且镜头切换平滑，人眼无法察觉摄像头切换的过程，同时，还降低了对硬件性能的要求，减少了图像变焦对镜头模组的依赖，使得在镜头模组性能较低的终端上采用本方法，也能极大的提升该终端原有的变焦效果。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入设备。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像变焦方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入设备可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。