基于视觉感知的毫米波/太赫兹通信方法、装置和系统
阅读说明：本技术 基于视觉感知的毫米波/太赫兹通信方法、装置和系统 (Millimeter wave/terahertz communication method, device and system based on visual perception ) 是由 高飞飞 张腾宇 张�浩 王鸣锦 于 2021-06-23 设计创作，主要内容包括：本发明提供一种基于视觉感知的毫米波/太赫兹通信方法、装置和系统,其中通信方法包括：利用相机实时采集图像信息以及移动端的深度信息；利用所述智能反射面根据所述图像信息识别出移动端在图像中的位置；基于所述移动端的深度信息,将移动端在图像中的位置转化为移动端的三维坐标；基于所述移动端的三维坐标所计算出的移动端所在实时位置的俯仰角和方位角,控制智能反射面的天线将信号波束指向移动端方向。本发明可以快速识别移动端并确定目标位置,并控制智能反射面的相控阵天线产生对应方向的俯仰角和方位角,可以使波束更快指向对应目标,提高识别移动端位置的能力,降低时延,实现实时波束跟踪。(The invention provides a millimeter wave/terahertz communication method, device and system based on visual perception, wherein the communication method comprises the following steps: acquiring image information and depth information of a mobile terminal in real time by using a camera; identifying the position of the mobile terminal in the image according to the image information by using the intelligent reflecting surface; converting the position of the mobile terminal in the image into a three-dimensional coordinate of the mobile terminal based on the depth information of the mobile terminal; and controlling an antenna of the intelligent reflecting surface to point the signal beam to the direction of the mobile terminal based on the pitch angle and the azimuth angle of the real-time position of the mobile terminal calculated by the three-dimensional coordinate of the mobile terminal. The invention can quickly identify the moving end and determine the position of the target, and control the phased array antenna of the intelligent reflecting surface to generate the pitch angle and the azimuth angle in the corresponding direction, so that the beam can be more quickly pointed to the corresponding target, the capacity of identifying the position of the moving end is improved, the time delay is reduced, and the real-time beam tracking is realized.)
技术领域
本发明涉及通信技术领域，尤其涉及一种基于视觉感知的毫米波/太赫兹通信方法、装置和系统。
背景技术
通信技术行业自诞生以来一直遵循着“十年一换代”的“摩尔定律”，从1980年开始的第一代移动通信(1G)的模拟通信方式，到1990左右以TDMA为核心技术的2G，再到本世纪初以CDMA为核心技术的3G时代，再到2010年左右以OFDM技术为核心的4G移动通信网络的大规模商用，移动通信整体在朝着越来越快、越来越稳定、越来越安全的方向发展。2020年因为第五代移动通信技术(5G)的问世而被称为“5G元年”，其在增强的移动带宽通信(eMBB)、超可靠低时延通信(URLLC)、大规模机器类型通信(mMTC)等场景有着很好的表现。
目前，传统的高频通信领域的智能反射面的波束赋形与跟踪基本采用如下方式：先使用导频扫描和遍历智能反射面方向上的所有相位，以确定移动端的方向。当移动端移动时，传统方法需要不断发送导频扫描移动端方向附近的信噪比，移动端需要通过上行信道将信噪比的值反馈给智能反射面，随后智能反射面选取最大的方向的信噪比为反射波束的方向；在雷达相控阵领域，主要采用的是将信道分为通信信道和信标信道，依赖差功分网络对信标信道的信道值进行波达算法分析，由此判断信号来源方向。
上述系统对智能反射面的硬件依赖程度较大，当扫描信号能量较弱或信标信号能量难以检测时，不便确定移动端方向。并且导频占用了较多的信道资源。当移动端数较多的时候，计算复杂度也急剧上升，时延较大。
发明内容
本发明提供一种基于视觉感知的毫米波/太赫兹通信方法、装置和系统，用以解决现有技术中存在的技术缺陷，以实现使用光谱判断目标位置，并跟踪目标，节约了导频所占用的信道资源；当移动端数目较多时，计算复杂度并未改变，时延较小。
本发明提供一种基于视觉感知的毫米波/太赫兹通信方法，包括：
利用相机实时采集图像信息以及移动端的深度信息；所述相机设置在智能反射面上；
利用所述智能反射面根据所述图像信息识别出移动端在图像中的位置；
基于所述移动端的深度信息，将移动端在图像中的位置转化为移动端的三维坐标；
基于所述移动端的三维坐标所计算出的移动端所在实时位置的俯仰角和方位角，控制智能反射面的天线将信号波束指向移动端方向。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述相机坐标原点在相机表面的几何中心处，所述智能反射面的坐标原点近似地和相机坐标原点相同；
所述移动端在相机坐标系中的坐标为：
(XOQ,YOQ,ZOQ)
所述移动端在智能反射面坐标系中的坐标为：
所述移动端在相机坐标系中以及在智能反射面坐标系中的坐标的转换公式为：
所述移动端的俯仰角θ由下式求得：
所述移动端的方位角由下式求得：
所述方法还包括：按照下式计算出所述智能反射面的每根天线对应的反射波束的相角
上式中，j为虚数单位，e为自然对数的底，M为矩阵行数，N为矩阵列数，λ为电磁波波长，d为天线间距。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述方法还包括：
利用所述智能反射面根据所述图像信息识别出基站端在图像中的位置；
基于所述基站端的深度信息，将基站端在图像中的位置转化为基站端的三维坐标；
基于所述基站端的三维坐标所计算出的基站端所在实时位置的俯仰角和方位角，对所述智能反射面的天线进行入射角补偿。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述基于所述基站端的三维坐标所计算出的基站端所在实时位置的俯仰角和方位角，包括：
按照下式计算出所述智能反射面的每根天线对应的入射角：
上式中，为基站端俯仰角，θ0为基站端的方位角。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述控制智能反射面的天线将信号波束指向移动端方向之前，通过下式得到所述智能反射面的天线的移相相位
其中，·表示点乘，即两个维度相同的矩阵对应位置的元素相乘。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述方法还包括：
利用相机所采集的图像识别移动端与智能反射面的位置；当基站端与移动端之间的直射径可达的情况下，基站端根据相机采集的图像判断移动端的位置，再控制阵列天线将波束指向移动端的位置，所输入的相角矩阵为当直射径被遮挡时，基站端根据相机采集的图像判断智能反射面的位置，再控制阵列天线将波束指向智能反射面的位置，所输入的相角矩阵为
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述方法还包括：
利用相机采集的图像识别基站端与智能反射面的位置，当基站端与移动端之间的直射径可达的情况下，移动端根据其相机采集的图像判断基站端位置，再控制阵列天线将波束指向基站端的位置，所输入的相角矩阵为当直射径被遮挡时，移动端根据其相机采集的图像判断智能反射面的位置，再控制阵列天线将波束指向智能反射面的位置，所输入的相角矩阵为
本发明还提供了一种基于视觉感知的毫米波/太赫兹通信装置，包括：相机、基站端、智能反射面、移动端；
所述相机用于实时采集图像信息以及移动端的深度信息；所述相机设置在智能反射面上；
所述智能反射面根据所述图像信息识别出移动端在图像中的位置；所述相机还用于基于所述移动端的深度信息，将移动端在图像中的位置转化为移动端的三维坐标；
所述智能反射面还用于基于所述移动端的三维坐标所计算出的移动端所在实时位置的俯仰角和方位角，控制智能反射面的天线将信号波束指向移动端方向。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述智能反射面根据所述图像信息识别出基站端在图像中的位置；所述相机还用于基于所述基站端的深度信息，将基站端在图像中的位置转化为基站端的三维坐标；
所述智能反射面还用于基于所述基站端的三维坐标所计算出的基站端所在实时位置的俯仰角和方位角，对所述智能反射面的天线进行入射角补偿。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述智能反射面的天线采用无源相控阵天线，和/或，所述相机具有计算物体左右距离及深度的功能，和/或，所述相机为双目相机。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述相机坐标原点在相机表面的几何中心处，所述智能反射面的坐标原点近似地和相机坐标原点相同。
本发明还提供了一种基于视觉感知的毫米波/太赫兹通信系统，包括所述的基于视觉感知的毫米波/太赫兹通信装置。
本发明提供的基于视觉感知的毫米波/太赫兹通信方法、装置和系统，使用相机作为视觉辅助，可以快速识别移动端并确定目标位置，并控制智能反射面的相控阵天线产生对应方向的俯仰角和方位角，可以使波束更快指向对应目标，提高识别移动端位置的能力，降低时延。当移动端运动时，能够计算出移动端实时位置，控制智能反射面随之改变反射方向，实现实时波束跟踪。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于视觉感知的毫米波/太赫兹通信方法的流程示意图；
图2是本发明提供的相机获取的图片转化成的空间三维坐标的示意图；
图3是本发明提供的智能反射面设定俯仰角与方位角时参考的坐标系的示意图。
图4是本发明提供的基于视觉感知的毫米波/太赫兹通信装置之三的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于视觉感知的毫米波/太赫兹通信方法，参见图1，该方法包括：
S1、利用相机10实时采集图像信息以及移动端的深度信息；
所述相机10可以设置在基站端20、智能反射面30或移动端40上，也可以是两个相机10分别设置在基站端20、智能反射面30、移动端40中的其中两端，或是三个相机10分别设置在基站端20、智能反射面30以及移动端40上，以上几种情况皆可实现，所述相机10用于实时采集图像信息；
S2、利用所述智能反射面30根据所述图像信息识别出移动端40在图像中的位置；
根据图片识别移动端40在图像中的位置既可以通过基于HSV成像原理的传统图像处理技术，也可以通过深度神经网络的人工智能技术。此时，相机10设置在智能反射面30上。
S3、基于所述移动端的深度信息，将移动端40在图像中的位置转化为移动端40的三维坐标；
S4、基于所述移动端40的三维坐标所计算出的移动端40所在实时位置的俯仰角和方位角，控制智能反射面30的天线将信号波束指向移动端40方向。
所述智能反射面30的天线采用无源相控阵天线。
所述基于视觉感知的毫米波/太赫兹通信方法中需要使用的硬件部分包括相机10、多核服务器、由PXIe机箱、FPGA协处理器、时钟处理模块和软件定义无线电等设备构成的基站端20、连接基站的智能反射面30、智能反射面30和由无人小车、PC机以及连接PC机的软件定义无线电模块等设备构成的移动端40。所述相机10是指相机10及其上位机，相机10位于智能反射面30上，会实时采集图像信息。相机10连接的上位机根据图像，使用传统图像处理算法或深度学习算法识别出移动端40(或基站端20)在图像中的位置，再根据相机10获取移动端40的深度信息，使用相机10的内参矩阵将图像中的二维位置转化为空间中的三维坐标。相机10的上位机根据三维坐标计算出移动端40所在位置的俯仰角和方位角，将角度信息发送给智能反射面30，使波束指向该方向。当移动端40运动时，相机10及其上位机器能够计算出移动端40实时位置，控制智能反射面30随之改变反射方向，实现实时波束跟踪。
上述基站与移动端40的通信可以遵循4G-LTE、5G-NR协议或其它，软件可以使用LabVIEW、LabVIEW NXG或其它，频段可以选择任意毫米波和太赫兹等高频频段。相机10可以为双目相机10或其它，基站端20与移动端40的硬件组成可以上述硬件或其它，本方案不做限制。可以根据实际情况或需要进行合理配置。
本发明提供的基于视觉感知的毫米波/太赫兹通信方法，使用相机10作为视觉辅助，可以快速识别移动端40并确定目标位置，并控制智能反射面30的相控阵天线产生对应方向的俯仰角和方位角，可以使波束更快指向对应目标，提高识别移动端40位置的能力，降低时延。当移动端40运动时，能够计算出移动端40实时位置，控制智能反射面30随之改变反射方向，实现实时波束跟踪。
上述智能反射面30设定俯仰角与方位角时参考的坐标系如图3所示。当站在智能反射面30后方看去，原点在智能反射面30的右上角顶点所在的位置，X轴向下，Y轴向左，Z轴向前。
在此坐标系下，θ为移动端40与原点的连线OQ与Z轴正向的夹角，为移动端40在XOY平面的投影点与原点的连线OS与X轴正向的夹角。其中在X轴左半边为正，在右半边为负。为便于描述与计算，规定以下几个主要的问题：
相机10坐标原点在相机10表面的几何中心处；
智能反射面30的坐标原点近似地和相机10坐标原点相同；
坐标系都是右手系，且X/Y/Z坐标都是自带正负性的。移动端40不论在哪个坐标系中，Z坐标都大于0，而X坐标与Y坐标的正负性没有限制。
上述上位机将相机10拍摄的图片转化成的空间三维坐标如图2。当站在相机10后方看去，原点在相机10的右眼所在的位置，X轴向右，Y轴向下，Z轴向前。这是由相机10原始设定的，在此坐标系下得到移动端40位置的三维坐标。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述相机10坐标原点在相机10表面的几何中心处，所述智能反射面30的坐标原点近似地和相机10坐标原点相同；
所述移动端40在相机10坐标系中的坐标为：
(XOQ,YOQ,ZOQ)
所述移动端40在智能反射面30坐标系中的坐标为：
所述移动端40在相机10坐标系中以及在智能反射面30坐标系中的坐标的转换公式为：
为了避免不必要的计算，简化算法，下面所有的公式都只使用(XOQ,YOQ,ZOQ)作为已知量进行表示。
所述移动端40的俯仰角θ由下式求得：
所述移动端40的方位角由下式求得：
相机10的上位机按照以上公式求出θ与然后，所述方法还包括：按照下式计算出所述智能反射面30的每根天线对应的反射波束的相角
上式中，j为虚数单位，e为自然对数的底，M为矩阵行数，N为矩阵列数，λ为电磁波波长，d为天线间距。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述方法还包括：
利用所述智能反射面30根据所述图像信息识别出基站端20在图像中的位置；
基于所述基站端的深度信息，将基站端20在图像中的位置转化为基站端20的三维坐标；
基于所述基站端20的三维坐标所计算出的基站端20所在实时位置的俯仰角和方位角，对所述智能反射面30的天线进行入射角补偿。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述基于所述基站端20的三维坐标所计算出的基站端20所在实时位置的俯仰角和方位角，包括：
按照下式计算出所述智能反射面30的每根天线对应的入射角：
上式中，为基站端20俯仰角，θ0为基站端20的方位角，同上所述，M为矩阵行数，N为矩阵列数，λ为电磁波波长，d为天线间距。
在本实施例中，M＝N＝8，设中心频段为f＝30GHz，则λ＝10mm,d＝40mm。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述控制智能反射面30的天线将信号波束指向移动端40方向之前，通过下式得到所述智能反射面30的天线的移相相位
其中，·表示点乘，即两个维度相同的矩阵对应位置的元素相乘，结果仍然为相同维度的矩阵。移相相位的每个元素即为天线阵列上对应位置天线需要相位移相的相位。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述方法还包括：
利用相机10所采集的图像识别移动端与智能反射面30的位置，此时相机10设置在基站端20；当基站端20与移动端40之间的直射径可达的情况下，基站端20根据相机10采集的图像判断移动端40的位置，再控制阵列天线将波束指向移动端40的位置，所输入的相角矩阵为当直射径被遮挡时，基站端20根据相机10采集的图像判断智能反射面30的位置，再控制阵列天线将波束指向智能反射面30的位置，所输入的相角矩阵为
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述方法还包括：
利用相机10采集的图像识别基站端20与智能反射面30的位置，此时相机10设置在移动端40，当基站端20与移动端40之间的直射径可达的情况下，移动端40根据其相机10采集的图像判断基站端20位置，再控制阵列天线将波束指向基站端20的位置，所输入的相角矩阵为当直射径被遮挡时，移动端40根据其相机采集的图像判断智能反射面30的位置，再控制阵列天线将波束指向智能反射面30的位置，所输入的相角矩阵为
本发明还提供了一种基于视觉感知的毫米波/太赫兹通信装置，包括：相机10、基站端20、智能反射面30、移动端40；
所述相机10用于实时采集图像信息以及移动端的深度信息；
此时，所述相机10设置在智能反射面30上；
所述智能反射面30根据所述图像信息识别出移动端40在图像中的位置；所述相机10还用于基于所述移动端的深度信息，将移动端40在图像中的位置转化为移动端40的三维坐标；
所述智能反射面30还用于基于所述移动端40的三维坐标所计算出的移动端40所在实时位置的俯仰角和方位角，控制智能反射面30的天线将信号波束指向移动端40方向。
参见图4，当所述相机10位于智能反射面30上时，所述智能反射面30根据所述图像信息识别出移动端40的实时位置、控制智能反射面30的天线将第二信号波束指向移动端40方向。
本发明提供的基于视觉感知的毫米波/太赫兹通信装置，使用相机10作为视觉辅助，可以快速识别移动端40并确定目标位置，并控制智能反射面30的相控阵天线产生对应方向的俯仰角和方位角，可以使波束更快指向对应目标，提高识别移动端40位置的能力，降低时延。整个方案是感知通信一体化的具体实现和创新型应用。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述智能反射面30根据所述图像信息识别出基站端20在图像中的位置；所述相机10还用于基于所述基站端的深度信息，将基站端20在图像中的位置转化为基站端20的三维坐标；
所述智能反射面30还用于基于所述基站端20的三维坐标所计算出的基站端20所在实时位置的俯仰角和方位角，对所述智能反射面30的天线进行入射角补偿。
需要指出，智能反射面30的入射角一般情况下是固定的，也可以通过手动测量后输入至智能反射面30，或者使用相机10识别基站端20并判断其位置，进而计算出入射角。参见图4，当所述相机10位于智能反射面30上时，所述智能反射面30根据所述图像信息识别出基站端20的实时位置，对所述智能反射面30的天线进行入射角补偿。
相机10需要将基站端20发射至智能反射面30的波束的入射角补偿后，再将反射至移动端40的反射角度写入。相机10的上位机按照写入智能反射面30。
本方案在通信领域的波束成形与跟踪方向上比传统方法的应用场景更加广泛、时延更低，是感知通信一体化的具体实现与应用。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述智能反射面30的天线采用无源相控阵天线，和/或，所述相机10具有计算物体左右距离及深度的功能，和/或，所述相机10为双目相机10。相机10也可以是其他具有计算物体左右距离及深度的功能的相机，作为优选，相机10拍照不受频段限制，因此该装置适用于任意毫米波和太赫兹等高频频段。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述相机10坐标原点在相机10表面的几何中心处，所述智能反射面30的坐标原点近似地和相机10坐标原点相同。近似地和相机10坐标原点相同表示基本接近相同状态，因为很难达到完全相同，因此达到基本相同的程度即可。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述移动端40的天线为全向天线或喇叭天线。
本发明还提供了一种基于视觉感知的毫米波/太赫兹通信系统，包括所述的基于视觉感知的毫米波/太赫兹通信装置，所述基于视觉感知的毫米波/太赫兹通信装置，包括：相机10、基站端20、智能反射面30、移动端40；
所述相机10用于实时采集图像信息以及移动端的深度信息；
此时，所述相机10设置在智能反射面30上；
所述智能反射面30根据所述图像信息识别出移动端40在图像中的位置；所述相机10还用于基于所述移动端的深度信息，将移动端40在图像中的位置转化为移动端40的三维坐标；
所述智能反射面30还用于基于所述移动端40的三维坐标所计算出的移动端40所在实时位置的俯仰角和方位角，控制智能反射面30的天线将信号波束指向移动端40方向。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。