一种机器人化的斑马鱼主静脉显微注射方法
阅读说明：本技术 一种机器人化的斑马鱼主静脉显微注射方法 (Robotized zebra fish main vein microinjection method ) 是由 孙明竹 李璐 赵新 姚亚彤 王一雯 龚慧颖 于 2021-01-25 设计创作，主要内容包括：本发明涉及一种机器人化的斑马鱼主静脉显微注射方法,包括以下步骤：S1,建立斑马鱼放置空间坐标系X-Y-Z；S2,通过光流法进行斑马鱼主静脉检测,以斑马鱼前主静脉与后主静脉的交点为目标注射点Q-t,确定目标注射点的空间坐标；S3,通过椭圆拟合的方式获取斑马鱼卵黄囊的长度L,并计算斑马鱼的脊柱厚度D；S4,设定注射针以目标注射点斜上方45°刺入,计算刺入点Q-p的空间坐标；S5,设定注射针的运动轨迹,完成斑马鱼主静脉注射。本发明所述机器人化的斑马鱼主静脉显微注射方法可以有效克服了人工显微注射方法中,存在的操作难度大以及易对斑马鱼造成伤害等问题。(The invention relates to a motorized zebra fish main vein microinjection method, which comprises the following steps: s1, establishing a zebra fish placing space coordinate system X-Y-Z; s2, detecting the main vein of the zebra fish by an optical flow method, and taking the intersection point of the front main vein and the rear main vein of the zebra fish as a target injection point Q t Determining the space coordinate of the target injection point; s3, obtaining the length L of the zebra fish yolk sac in an ellipse fitting mode, and calculating the thickness D of the spinal column of the zebra fish; s4, setting the injection needle to penetrate at 45 degrees obliquely above the target injection point, and calculating the penetration point Q p The spatial coordinates of (a); and S5, setting the motion track of the injection needle, and finishing the main vein injection of the zebra fish. The invention relates to a robot zebra fish ownerThe intravenous microinjection method can effectively solve the problems of great operation difficulty, easy damage to zebra fish and the like in the manual microinjection method.)
技术领域
本发明涉及显微注射领域，具体涉及一种机器人化的斑马鱼主静脉显微注射方法。
背景技术
斑马鱼由于其基因与人类基因有高度的相似性，因此具有类似哺乳动物的复杂循环系统，且个体小，发育迅速，现已成为研究血管生物学、转基因技术，以及研究某些疾病的发病机制的重要模式生物。
目前，将外源物质导入斑马鱼体内的方式主要为将斑马鱼暴露于添加外源物质的溶液中，通过显微注射技术直接将外源物质注射到斑马鱼体内等。显微注射由于其快速、高效，并且可以对斑马鱼产生直接影响，因而广泛应用于肿瘤异种移植、药物研究等方向。在斑马鱼的显微注射中，以血管注射最为高效。注射物能够直接参与血液循环，进而快速影响斑马鱼本身的发育进程。其中，主静脉注射能够同时满足对鱼的最小伤害和最高效率的要求。但是由于注射部位靠近斑马鱼头部，需要高精度注射，因此，手工操作难度较高，花费时间长，注射成功率低，很大程度上限制了该技术的应用。因此，亟需开发一种机器人化的斑马鱼主静脉显微注射方法以克服人工显微注射过程中，操作难度大以及对斑马鱼造成的伤害。
发明内容
基于现有采用手动操作方式进行斑马鱼主静脉显微注射时，存在的上述缺陷，本发明提供了一种机器人化的斑马鱼主静脉显微注射方法，该方法结合运动分析和斑马鱼脊柱厚度的标定，对注射针在穿刺过程中的关键位置进行在线三维定位，在注射前自动化进行注射针针尖的三维路径规划，实现了机器人化的斑马鱼主静脉注射。
本发明解决上述技术问题所采用的技术方案是：一种机器人化的斑马鱼主静脉显微注射方法，包括以下步骤：
S1，将斑马鱼以侧卧姿态放置于覆盖琼脂糖的培养皿中，建立斑马鱼放置空间坐标系X-Y-Z，以鱼身为X方向，鱼尾指向为X正方向；
S2，通过光流法进行斑马鱼主静脉检测，以斑马鱼前主静脉与后主静脉的交点为目标注射点Qt，设定目标注射点Qt的平面位置与空间坐标系原点的平面位置一致，目标注射点Qt在空间坐标系内的垂直位置通过测定斑马鱼脊柱中心的高度h确定，所述目标注射点的空间坐标为Qt＝[0 0 h]T；
S3，通过椭圆拟合的方式获取斑马鱼卵黄囊的长度L，并根据标定实验得到的斑马鱼卵黄囊长度L与脊柱厚度D的比例关系，确定斑马鱼的脊柱厚度D；
S4，设定注射针以目标注射点斜上方45°刺入，注射针与斑马鱼接触的位置为刺入点Qp，刺入点的空间坐标Qp＝[d 0 h+d]T，其中，d为斑马鱼的脊柱厚度D的一半；
S5，设定注射针的运动轨迹，使注射针针尖由初始位置到达刺入点Qp，再由刺入点Qp运动至目标注射点Qt，完成斑马鱼主静脉注射。
进一步地，步骤S2中，所述斑马鱼脊柱中心的高度h与斑马鱼侧卧显微视野中斑马鱼脊柱边缘高度相同，通过能量梯度函数对斑马鱼脊柱边缘及注射针进行自动聚焦，使斑马鱼的脊柱边缘与注射针位于同一高度，通过获取注射针的高度信息，得到斑马鱼脊柱边缘高度；其中，能量梯度函数计算公式为：
I(x，y)为(x，y)处的像素强度，I(x，+1，y)和I(x，y+1)分别为右下角相邻像素的强度。
进一步地，步骤S3中，所述斑马鱼卵黄囊长度L与脊柱厚度D的比例关系由标定实验计算得到，计算公式为：
其中：n为标定的斑马鱼数量，R为对n条斑马鱼的卵黄囊长度L与脊柱厚度D的比值求和后计算得到的平均值。
进一步地，所述标定实验的具体方法为：使斑马鱼保持仰卧位，通过椭圆拟合的方式获得斑马鱼的卵黄囊长度L，所述卵黄囊长度L为拟合得到的椭圆长轴长度；通过直线拟合的方式获得斑马鱼的两条脊柱边缘，通过标定两条脊柱边缘之间间距，获得斑马鱼的脊柱厚度D。
进一步地，步骤S5中，注射针的运动轨迹设置如下：
(1)调整注射针针尖至初始位置；该位置与目标注射点QtX、Z坐标相同，Y方向距目标注射点相距w，坐标记为P0＝[0 -w h]T；
(2)同时沿X轴和Z轴正方向移动距离d，注射针针尖位置为P1＝[d -w h+d]T；
(3)沿Y轴正方向移动w，到达刺入点Qp，针尖位置为Qp＝[d 0 h+d]T；
(4)高速向X轴和Z轴负方向移动距离d，刺穿至总主静脉，到达目标注射点Qt＝[00 h]T；
(5)注射并撤针。
本发明同现有技术相比具有以下优点及效果：
1、本发明所述机器人化的斑马鱼主静脉显微注射方法通过注射前的标定实验获得斑马鱼卵黄囊长度L与脊柱厚度D的比例关系，在注射过程中，通过测量待注射斑马鱼黄囊长度L，即可得到斑马鱼的脊柱厚度D。这一操作方法一方面解决了在注射过程中，斑马鱼侧卧脊柱厚度无法通过视觉检测方法直接得到的问题；另一方面：避免了注射时，需要以斑马鱼保持仰卧位测量脊柱厚度D这一耗时，繁琐的操作过程，有效缩短了注射时间，提高了注射效率。
2、本发明所述机器人化的斑马鱼主静脉显微注射方法在多视角图像中，通过运动分析和脊柱厚度的标定，估计目标注射点和刺入点等关键点的三维位置，将刺入位置定量化，减少了对操作人员的依赖。
3、本发明通过控制微操作臂进行斑马鱼主静脉注射，将该过程机器人化，减小了手工操作对斑马鱼的伤害，提高了斑马鱼主静脉注射的高效性和可重复性。
4、本发明实现了斑马鱼血管注射过程中，注射针的在线视觉检测和路径规划，减少了注射时间，进一步提高了注射效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述机器人化的斑马鱼主静脉显微注射方法的步骤流程图。
图2为斑马鱼放置空间坐标系X-Y-Z和图像坐标系Xc-Yc-Zc。
图3为基于光流法的主静脉平面位置检测流程示意图。
图4为斑马鱼卵黄囊长度L及脊柱厚度D的标定示意图；图4(a)为标定实验中预先拍摄的斑马鱼仰卧视角图标定卵黄囊长度L和脊椎厚度D的比例关系；图4(b)为在斑马鱼侧卧图中通过椭圆拟合得到卵黄囊长度L。
图5为以聚焦于斑马鱼脊柱边缘确定斑马鱼主静脉高度位置原理解释图及检测示意图；图5(a)为斑马鱼处于侧卧位的显微图像；图5(b)为斑马鱼的脊柱解剖横向截面图；图5(c)调焦过程中的能量梯度函数；图5(d)为脊柱边缘ROI区域最清晰的图像，也是注射针与脊柱边缘位于同一高度的聚焦图像；图5(e)为脊柱边缘ROI区域模糊的图像。
图6为斑马鱼主静脉注射目标注射点和刺入点在正视图(a)和侧式图(b)中的位置。
图7是本发明中注射针刺入过程的运动轨迹。
图8是本发明注射结果图，其中(a)是刚注射完成的斑马鱼，(b)是注射12小时后的斑马鱼。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例1：标定实验：斑马鱼卵黄囊长度L和脊柱厚度D比例关系R的标定
如图6所示，为得到目标注射点Qt(图中星形标记)与刺入点Qp(图中圆点标记)的相对距离d，需获取斑马鱼的脊柱厚度D。但是在注射过程中，斑马鱼侧卧，脊柱厚度D无法通过视觉检测方法直接得到。而同一品种、相同发育程度的斑马鱼身体构造完全相同，身体各个部位的尺寸虽然存在细微差别，但是各部位尺寸的比例关系是基本一致的。因此，通过预先拍摄的多条斑马鱼仰卧视角图标定卵黄囊长度L和脊椎厚度D的比例关系R。(如图4(a)所示)。
在标定过程中，通过椭圆拟合的方式获得斑马鱼的卵黄囊长度L，所述卵黄囊长度L取拟合得到的椭圆长轴长度；通过直线拟合的方式获得斑马鱼的两条脊柱边缘，通过标定两条脊柱边缘之间间距，获得斑马鱼的脊柱厚度D。
R是根据n(n＝10)条野生型斑马鱼的卵黄囊长度L和脊柱厚度D的比例关系计算得到的，其表达式为：
R为对n条斑马鱼的卵黄囊长度L与脊柱厚度D的比值求和后计算得到的平均值，实验中取值为0.29。
实施例2：如图1所示，一种机器人化的斑马鱼主静脉显微注射方法，具体包括如下步骤：
S1，将斑马鱼以侧卧姿态放置于覆盖琼脂糖的培养皿中，建立斑马鱼放置空间坐标系X-Y-Z，以鱼身为X方向，鱼尾指向为X正方向；
S2，通过光流法进行斑马鱼主静脉检测，以斑马鱼前主静脉与后主静脉的交点为目标注射点Qt，设定目标注射点Qt的平面位置与空间坐标系原点的平面位置一致，目标注射点Qt在空间坐标系内的垂直位置通过测定斑马鱼脊柱中心的高度h确定，所述目标注射点的空间坐标为Qt＝[0 0 h]T；
S3，通过椭圆拟合的方式获取斑马鱼卵黄囊的长度L，根据实施例1中的计算公式：确定斑马鱼的脊柱厚度D；
S4，设定注射针以目标注射点斜上方45°刺入，注射针与斑马鱼接触的位置为刺入点Qp，刺入点的空间坐标Qp＝[d 0 h+d]T，其中，d为斑马鱼的脊柱厚度D的一半；
S5，设定注射针的运动轨迹，使注射针针尖由初始位置到达刺入点Qp，再由刺入点Qp运动至目标注射点Qt，完成斑马鱼主静脉注射。
其中，本发明实施例1、2中使用的是野生AB型品种的斑马鱼。
本实施例2中，斑马鱼被饲养在温度为28℃，白天14小时，夜间10小时循环的水中。通过自然产卵获得胚胎，在28℃的E4培养基中饲养至所需胚期。实验采用受精后48小时的胚胎进行注射。
具体地，如图2所示，在步骤S1中，斑马鱼在空间坐标系X-Y-Z中的放置情况如左侧图2所示，斑马鱼脊柱靠前，卵黄囊靠后，侧躺于培养皿中，鱼身沿X方向。斑马鱼主静脉分布情况如右侧图2坐标系Xc-Yc所示，前主静脉和后主静脉汇合成总主静脉。
如图3所示，在步骤S2中，在10倍镜下进行基于光流法的主静脉检测。图3(a)-图3(i)为主静脉检测的过程。具体地，图3(a)为斑马鱼在10倍镜下的显微图像，图3(b)为图像序列中的下一幅图像，图3(c)为光流检测结果；图3(d)为图像序列的光流融合结果；图3(e)为采用OTSU阈值法将图像二值化的结果；图3(f)为用形态学开运算平滑后的图像；图3(g)为静脉骨架提取结果；图3(h)为基于Hough变换的静脉骨架直线拟合结果；图3(i)为两条拟合直线的交点，即为目标注射点Qt在X-Y平面内的位置。本实施例中，设定目标注射点Qt的平面位置与空间坐标系原点的平面位置一致。
进一步地，步骤S2中，如图4(a)所示，目标注射点设定为两条静脉血管的交点，在斑马鱼在仰卧视角下，可以通过血流判断注射点的位置，即图中标星位置为目标注射点，通过观察及验证分析，目标注射点与斑马鱼的脊柱中心位置一致。但是，在实际注射时，斑马鱼需保持侧卧位(如图5(a)所示)。在显微视野中，由于斑马鱼鱼身有一定厚度，组织发生重叠，斑马鱼脊柱中心位置(即目标注射点Qt的高度)无法通过视觉检测方法得到。另一方面，由斑马鱼的脊柱解剖截面图(图5(b))可知，当显微镜聚焦于脊柱边缘时，即相当于同时聚焦于脊柱中心(图5(b)中箭头位置)，由此可间接获得目标注射点的高度。具体操作方法如下：
图5(c-d)所示，通过能量梯度函数对斑马鱼脊柱边缘及注射针进行自动聚焦，使斑马鱼的脊柱边缘与注射针位于同一高度，通过获取注射针的高度信息，得到斑马鱼脊柱边缘高度；其中，能量梯度函数通过计算图像的水平梯度和垂直梯度变化，可以实时评价图像的清晰度，计算公式为：
I(x，y)为(x，y)处的像素强度，I(x+1，y)和I(x，y+1)分别为右下角相邻像素的强度。
进一步地，如图4(b)所示，在步骤S3中，通过椭圆拟合得到卵黄囊长度L，本实施例2中，检测到其中一只待注射斑马鱼的卵黄囊长度L为579μm，计算斑马鱼的脊柱厚度D为168μm。
如图6所示，在步骤S4中，图中星形是目标注射点Qt，圆点是刺入点Qp。刺入点为刺入开始的位置，注射针与水平面夹角为45°。刺入过程中沿着45°方向斜向下进针，刺入点Qp在目标注射点的X和Z的正方向上距离d的位置。根据几何关系，可以确定目标注射点与刺入点之间的相对距离d为斑马鱼脊柱厚度D的一半，本实施例步骤S2中，计算得到当斑马鱼的脊柱厚度D为168μm，d为84μm。
如图7所示，在步骤S5中，注射针的运动轨迹设计原理如下：
为使注射针准确刺入斑马鱼，设定注射针针尖的初始位置P0与目标注射点Qt的平面位置关系为：X轴、Z轴位置相同，Y轴相距w距离；为了减少注射针在鱼体摩擦对斑马鱼造成伤害，同时方便后续进针，将针从初始位置P0斜向上移动距离d到达P1＝[d -w h+d]T；之后向Y轴正方向移动距离w，到达刺入点Qp＝[d 0 h+d]T；最后在X-Z平面斜向下45°快速刺入，到达目标注射点Qt。
综上，在斑马鱼主静脉显微注射过程中，斑马鱼幼鱼体长约3毫米，厚度约为580微米，其厚度远超倒置显微镜的景深范围，目标注射点的高度无法通过视觉检测方法得到，也就无法确定注射针刺入点的位置，给注射造成了很大困难。本发明提出了一种机器人化的斑马鱼主静脉显微注射方法，该方法通过注射针的三维运动，根据斑马鱼脊柱边缘与目标注射点的相对位置关系调整注射针位置，确保注射针针尖从刺入点刺入斑马鱼身体，最终到达设定的目标注射点。
实施例3：验证分析：
本发明实施例2中，向斑马鱼主静脉中注射了1-2nL的含有直径为1μm荧光微粒的蒸馏水，共注射了20只斑马鱼，17只成功注射，注射成功的16只在12小时后依然存活，实验结果证明了该方法的高效性和可重复性。
注射结果如图8所示，图8(a)是刚注射完成的斑马鱼，图中可以明显看到荧光微粒已经进入血液循环；图8(b)是注射12小时后的斑马鱼，在12小时内，斑马鱼依然存活。
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。