具体实施方式

为使本领域技术人员能够更好的理解本发明，下面将结合附图对本发明技术方案做进一步的说明。

一种基于计算机视觉的苹果线上线下采摘交互系统，包括线上子系统和线下基地系统，线上子系统包括用户管理模块、机器学习模块、苹果数字化采摘模块及购物车模块，线上子系统为终端系统，是用户直接可以使用的系统；线下基地系统包括苹果种植基地、拍照设备、唯一标识码及配送模块，拍照设备、唯一标识码及配送模块均位于苹果种植基地内且拍照设备及配送模块与线上子系统通过网络连接通讯。

用户管理模块用于会员用户的注册，会员用户注册时填报的基础信息包括昵称、姓名、住址、联系方式、收货地址等信息，当用户从本交互系统终端内即通过苹果数字化采摘模块选购完苹果后，线下基地系统的配送模块获取上述用户的基础信息并准确发货。

机器学习模块，内设机器学习识别算法，通过标注唯一标识码数据集，获得并识别对应苹果的数字标识码，将识别后的数字标识码提供给数字化采摘模块及配送模块。机器学习模块的工作原理如图1所示。

苹果数字化采摘模块，通过在苹果基地布设全景摄像机，利用三维建模技术，形成线上的基地数字模型并存储在苹果数字化采摘模块中，实现与用户的交互，用户可通过该模块进行基地漫游，选择果树，采用交互操作选择果树上的苹果，再利用机器学习模块识别出苹果上对应的唯一标识码，将唯一标识码对应的苹果放入购物车模块中。

购物车模块，包括采摘篮，用于临时存放用户选好的虚拟苹果，本实施例中，每个采摘篮限定盛放20个苹果，便于线下基地系统的整箱发货，当采摘苹果数量接近限额时系统会自动推送提示信息。

苹果数字化采摘模块实时响应用户采摘结果，当用户将所选择的苹果存入采摘篮后，苹果数字化采摘模块内相对应的苹果图像会自动消失，同时唯一标识码也会消失，否则会造成重复采摘而无法线下发货。

苹果种植基地，苹果种植基地中为果树高不超过2.5米，树间距不超2米，成方连片的的苹果基地，更加有序，便于拍摄和拍摄结果的机器识别。

拍照设备，拍照设备为高清全景摄像机，能够全景拍摄和局部拍摄。

唯一标识码，唯一标识码包括苹果标识牌及苹果标识牌上的数字标识码，要求苹果标识牌和数字标识码的颜色形成明显色差，这样被拍摄的数字标识码在图像上更清晰明显，更便于机器学习识别，本实施例中，苹果标识牌为黑色，数字标识码为白色。数字标识码包括苹果的基地号、地块号、树号及果号，标记方式为基地号-地块号-树号-果号，共8位阿拉伯数字，通过数字标识码能够更好的定位对应的苹果位置，且更方便线下采摘人员的找寻。由于成熟苹果之间差异较小，通过机器学习直接识别苹果难度较大，出错率较高，而通过识别苹果对应的唯一标识码来识别苹果难度更小，准确率较高。

配送模块，当用户在苹果数字化采摘模块中将虚拟的苹果放入到采摘篮后，苹果数字化采摘模块与配送模块通讯，配送模块能够自动打印数字标识码及截取数字标识码所对应苹果图片作为附件，连接打印机进行打印，并生成订单。

配送模块能够与苹果数字化采摘模块进行实时通讯，数字化采摘模块内的系统中设置有多种包装规格，用户可自行选择包装规格和包装箱款式，不同包装规格明码标价，计入配送费。

配送模块自动获取用户管理模块中的收货地址，根据距离自动计算配送费。配送费由系统根据收货地址、距离和人工成本进行核算，如需特定包装，还应加上包装费。

采摘费用=（苹果数量*苹果单价）-优惠费+ 配送费。系统在线上发起支付申请，用户线上支付完成后，即可生成订单。生成订单后，系统自动打印用户所采摘苹果的整个种植周期的浇水、用肥、用药、剪枝、萌芽、开花、疏花、坐果、套袋、摘袋等图像资料连同数字标识码及所对应苹果图片随订单进行配送。

订单信息发送给基地的管理人员，管理人员根据订单中的数字标识码进行采摘、选择对应规格及包装箱进行打包及发货。配送模块中的订单系统对接物流系统，用户可实时在系统中查看配送进度。

一种基于计算机视觉的苹果线上线下采摘方法，采用上述的交互系统，包括如下步骤：

a. 对处于采摘期的苹果基地内的每个苹果制作唯一标识码，所述唯一标识码悬挂于对应的苹果一侧；

b. 通过全景摄像机对所述苹果基地进行360立体三维建模，并将立体三维模型发布到苹果数字化采摘模块；

c. 苹果数字化采摘模块识别立体三维模型中的苹果并对苹果图像进行图像分割划块处理；

d．接收用户对某个分割后的苹果图像的输入信息，并通过机器学习识别出该苹果图像对应的唯一标识码；

e. 对用户选择的苹果进行结算，同时线下获取用户的信息，将对应唯一标识码的苹果人工打包发货。

步骤a中，通过机器识别唯一标识码的图像进而识别对应苹果，相比于直接识别苹果图像准确率更高。

步骤b中，通过全景摄像机对苹果基地进行360立体三维建模，并将立体三维模型发布到苹果数字化采摘模块，这样用户在交互系统终端就能够进行基地漫游，查看整个基地、放大或缩小查看每棵树及每棵树上的苹果。上述技术为现有技术，如网上全景看房系统、车内全景图片等。

步骤c中，苹果数字化采摘模块识别立体三维模型中的苹果并对苹果图像进行图像分割划块处理，当用户点击到被分割出来的苹果图像块时才会触发机器学习模块来识别苹果图像块旁的唯一识别码，唯一识别码可设置为对用户可见或不可见，本实施例中设置为可见模式，用户在选择对应苹果时看到唯一标识码更放心，更真实。图像分割技术也为较成熟的现有技术，在此不再赘述。

步骤d中，用户通过登录系统后在苹果数字化采摘模块进行采摘操作，采摘时通过鼠标移动选择要采摘的苹果，确认采摘后该苹果通过机器学习模块快速定位到苹果及唯一标识码，并识别出该苹果对应的唯一标识码，机器学习识别的大致步骤如图1所示，即：先采集到用户选中苹果对应的唯一标识码图像，输入到识别模型中；标注唯一标识码数据集，包括对苹果标识牌及苹果标识牌上的数字标识码进行标注；获取唯一标识码识别模型，这里采用faster RCNN作为检测模型，训练并获取苹果识别模型；判断并识别唯一标识码，拍照设备采集拍照唯一标识码，标记牌号所在位置并识别苹果标识牌上的数字标识码。

更进一步的，对上述机器学习识别获取数字标识码的算法进行细化后步骤如下，如图2所示：

S1：使用Lableme标注工具对收集到的唯一标识码图像进行标注，标注唯一标识码的号码牌作为1类，唯一标识码上的数字标识作为2类，得到数据集样本。

S2：将S1中的号码牌和数字标识作为标注数据，把其中数据集的75%作为训练数据，25%作为测试数据。

S3：构造faster RCNN图像检测网络包括，以深度卷积神经网络作为特征提取层，生成候选框的区域提取网络，收集候选框的感兴趣区域池化层，分类和回归网络判断目标图像和回归检测框。

S4：faster RCNN首先使用一组基础的卷积层、relu激活函数、pooling池化层提取图像的特征图（feature maps），该feature maps用于后续的候选框提取网络（RegionProposal Networks）和全连接层。

S5：候选框提取网络用于生成候选框（region proposals）。

S6：通过softmax判别锚点框（anchors）属于正样本或者负样本，并修正当前anchors，感兴趣区域池化层（ROI Pooling）。

S7：通过整合的feature maps和proposals，作为后续判别目标类别。

S8：后经过分类和回归网络判断目标图像和回归检测框。

S9：依据以上S1-S8步骤，训练苹果识别模型。

S10：模型后处理，判断模型检测到的号码牌以及数字标识，如果号码牌内不存在数字标识则删除；如果数字标识不在号码牌中则删除。

S1中，对唯一标识码的号码牌和数字标识分两类进行标注，即后续训练识别时先在输入的图像中识别出号码牌（即苹果标识牌），然后再进一步识别出数字标识（即数字标识码）。

通过上述算法实现对用户选中的苹果对应的唯一标识码的识别，整个过程类似车牌号的识别，但是算法不同。

S10中模型后处理是一种防错机制，判断模型检测到的号码牌以及数字标识，如果号码牌内不存在数字标识则删除；如果数字标识不在号码牌中则删除。如果号码牌和数字标识任一一个没有识别出来或者识别错误，则在苹果数字化采摘模块的中将该苹果图像删除，以防用户选择后不发货或者发的苹果与选择的不对应。

用户在苹果数字化采摘模块中系统漫游能够查看苹果基地各项信息，包括基地实景模型、基地农事操作记录、苹果长势数据、气象数据及其它物联网监测数据，当鼠标箭头移到某颗果树或苹果时，通过单击或右击选择后，上述信息就能够显现出来，更加方便用户对所选苹果的了解，让用户更加放心购买。

用户包括会员用户和游客用户，会员用户在线上完成人机交互采摘后线下同步采摘发货；游客用户线上采摘为体验采摘不发货。通过让游客用户体验感受这种全新的网购方式来吸引更多的游客用户进行会员注册，提高销量进而提高经济效益。

进一步的，为了更好的吸引用户体验这种线上线下采摘交互模式，游客用户通过点击苹果图像有一定几率偷摘到苹果，偷摘到的苹果无需支付，累积达到一定数量即可直接进入线下采摘和配送环节。通过这种让游客用户占“小便宜”的方式吸引更多人参与体验，趣味性更好，提高用户的体验和购买欲望，进而提高经济效益。

会员用户能够与其他会员用户之间进行会话、采摘邀请及苹果转赠，增加会员用户之间的互动性，进一步通过提高趣味性来吸引回头客。

本发明的描述中，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了描述本发明而不是要求本发明必须以特定的方位构造或操作，因此不能理解为对本发明的限制。本发明中的“相连”“连接”应作广义理解，例如，可以是连接，也可以是可拆卸连接；可以是直接连接，也可以是通过中间部件间接连接，对于本领域的普通技术人员而言，可以具体情况理解上述术语的具体含义。

以上所述为本发明的优选实施方式，具体实施例的说明仅用于更好的理解本发明的思想。对于本技术领域的普通技术人员来说，依照本发明原理还可以做出若干改进或者同等替换，这些改进或同等替换也视为落在本发明的保护范围。