1.本发明涉及图像识别技术领域，尤其涉及一种医疗器械自主识别定位方法、系统及介质。

背景技术：

2.机器人辅助控制内窥镜在外科手术中的应用得到了广泛关注和快速发展，相较于传统的内窥镜微创手术，其可以有效缓解手动操作期间显示屏图像不稳定和不准确等问题。多年研究表明，利用计算机辅助机器人实现内窥镜的自动调整，可以减少医生互动过程中注意力分散的问题。而使用计算机辅助机器人的关键问题之一是手术器械的识别和定位。随着图像相关技术的迅速发展，基于视觉的手术器械识别和定位方法得到了广泛的关注。基于图像的识别方法，通常是在手术器械上添加合作标志，通过识别合作标志间接获得医疗器械的参考点。基于合作标志的识别方法虽然可以快速地实现手术器械的识别和定位，但是器械上的标志容易受到血液等的污染和干扰，导致识别和定位不够准确。深度学习在图像检测识别有着优异的表现，它对光线、阴影的干扰表现出优异的鲁棒性，因此逐渐成为内窥镜手术器械识别的最有效方法。利用深度学习对医疗器械的各种表达方式中，通过包围盒实现对器械标注，并利用其中心来近似等效器械的位置，并未全面对器械的信息进行准确表达。利用图像分割方法实现像素级别的分类虽然可以充分表达器械，但是并不能满足临床上的实时性要求。

技术实现要素：

3.有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种医疗器械自主识别定位方法、系统及介质，能够实现多种医疗器械的快速准确识别，并实时准确地给出器械的位置和角度等关键信息，提高医疗器械自动识别的准确性和实时性。4.为实现上述目的，本发明提供了一种医疗器械自主识别定位方法，包括以下步骤：5.获取图片，然后进行数据预处理，对标注的数据进行数据增强，然后将数据划分成训练集、验证集和测试集；其中，数据增强包括反转、裁剪和拼接；6.对预处理后的数据通过优化训练算法进行优化训练，通过优化误差表达和调整误差权重，加快箭头包围盒的训练收敛速度；优化训练得到的最佳权重用于实时预测，实时预测的输出通过输出约束模型保证箭头落在包围盒内部；7.根据所述输出约束模型，通过箭头包围盒生成算法以坐标转换方式生成对应的箭头包围盒；8.通过器械数目判断选择对应的焦点生成区域算法，根据所述箭头包围盒生成对应的跟踪区域，实现器械定位，为器械跟踪提供指导。9.进一步的，所述优化训练算法采用arrow obb-yolo网络结构。10.进一步的，所述输出约束模型将网络输出的箭头坐标通过σ(x)限制在[0，1]之间，约定其为相对于包围盒左上角的坐标，其中：[0011][0012]并通过以下的公式转换成相对于照片左上角的相对坐标，即：[0013][0014][0015][0016][0017]其中，bax1,bay1是箭头尾部的相对坐标，bax2,bay2是箭头头部的相对坐标，tx1,ty1是网络预测结果中箭头尾部对应的输出，tx2,ty2是网络预测结果中箭头头部对应的输出，bx,by是预测的包围盒中心的像素坐标，bw,bh是预测的包围盒的宽和高，w,h代表图片的宽和高。[0018]基于以上的坐标转换，将箭头约束在包围盒之内，利用神经网络实现了带箭头的包围盒预测。[0019]进一步的，所述通过器械数目判断选择对应的焦点生成区域算法，根据所述箭头包围盒生成对应的跟踪区域，实现器械定位，为器械跟踪提供指导，具体为：[0020]利用焦点与图像中心的偏差生成方向向量，利用目标区域在图像中的位置占比，调整内窥镜的深度，将多器械分成了三类：第一类是单个器械，第二类是2个器械，第三类是3个以及3个以上的器械。假设oi,ri表示第i种情况下跟踪区域的圆心和半径，cx,cy分别表示圆心的横纵坐标，bjax1,bjay1表示第j个箭头的尾部坐标，bjax2,bjay2表示第j个箭头的尾部坐标[0021]对于单个器械，直接利用箭头的尖端作为视野焦点，同时利用该焦点作为圆心，箭头的长度作为半径生成目标区域，即有：[0022][0023]对于两个器械，利用两个箭头尖端的连线的中点作为焦点，同时以该焦点作为圆心，两个箭头末端离中心较远的距离作为半径生成目标区域，即：[0024][0025]其中，l1＝(cx-b1ax1)2+(cy-b1ay1)2,l2＝(cx-b2ax1)2+(cy-b2ay1)2，max(l1,l2)表示去两者的最大值.[0026]对于三个以及三个以上的器械，通过选择三个主要器械，将问题都转换成三个器械的问题，利用三个器械的箭头尖端的外接圆的圆心作为焦点，以该焦点为圆心，箭头末端离该焦点最远距离作为半径，生成目标区域，即：[0027][0028]其中，l1,l2的计算和前文一样，且l3＝(cx-b3ax1)2+(cy-b3ay1)2，o3＝(cx,cy)是三个箭头头部点的外接圆，他们之间的数学关系可表示为：[0029][0030]根据式，可得外接圆中心的坐标为：[0031][0032]其中，[0033]进一步的，所述arrow obb-yolo网络结构添加了箭头坐标的预测，所述箭头坐标是由两个坐标的矢量组成，定义箭头的尾部和头部的像素坐标分别为(bax1,bay1),(bax2,bay2)，网络的输出定义为tx1,ty1,tx2,ty2，tx1,ty1是网络预测结果中箭头尾部对应的输出，tx2,ty2是网络预测结果中箭头头部对应的输出，网络的输出维度为ngx·ngy·na·(ncls+5+4)，其中，ngx，ngy表示划分网格的个数，na表示预设锚盒个数，ncls代表预测类别的个数。[0034]本发明还提供一种医疗器械自主识别定位系统，包括，图像获取模块、模型训练模块、包围盒生成模块和跟踪区域生成模块，其中：[0035]图像获取模块是用于获取模型训练需要的图像以及实时检测的图像；[0036]模型训练模块主要是根据图像和标签，利用优化算法对深度模型进行训练，得到最佳的权重用于实时检测；[0037]包围盒生成模块用于对实时获取的图像进行医疗器械的检测，根据算法生成箭头包围盒；[0038]跟踪区域生成模块用于根据器械的识别结果生成相应的跟踪区域，实现器械定位，指导器械跟踪。[0039]本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。[0040]本发明的有益效果是：[0041]本发明能够实现多种医疗器械的快速准确识别，并实时准确地给出器械的位置和角度等关键信息，提高医疗器械自动识别的准确性和实时性。[0042]以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。附图说明[0043]图1是传统手术过程与计算机辅助过程的对比图。[0044]图2是本发明基于arrow obb网络预测的识别定位方法总流程图。[0045]图3是本发明的箭头包围盒模型图。[0046]图4是本发明包围盒的输出模型示意图。[0047]图5是本发明arrow obb-yolo网络结构图。[0048]图6是本发明箭头计算示意图。[0049]图7是本发明分步训练优化算法流程图。具体实施方式[0050]如图1所示，在传统的外科手术中，医生需要根据器械在内窥镜显示画面中的位置，判断器械是否偏离图像中心。之后根据以往的经验，对内窥镜进行微调，从而实现内窥镜对手术器械的跟踪。而对于自动追踪系统而言，则将器械的识别、定位、判断和追踪都交给计算机自主完成。从人工判断变成由计算机自动完成这一替代过程中，对手术器械进行精准的识别定位是最为关键的一环，也是实现器械自动追踪的前提。[0051]为了提高器械识别定位的准确性和实时性，本发明提出医疗器械自主识别定位方法与系统总框架。它主要由图像获取模块、模型训练模块、“箭头包围盒”预测模块和跟踪区域生成模块组成。图像获取模块是用于获取模型训练需要的图像以及实时检测的图像。模型训练模块主要是根据图像和标签，利用优化算法对深度模型进行训练，得到最佳的权重用于实时检测。包围盒生成模块用于对实时获取的图像进行医疗器械的检测，根据算法生成箭头包围盒。跟踪区域生成模块用于根据器械的识别结果生成相应的跟踪区域，实现器械定位，指导器械跟踪。[0052]医疗器械自主识别与定位系统的算法主要包括：数据预处理、优化训练算法、“箭头包围盒”生成算法、器械数目判断和焦点区域生成算法。数据预处理是获取数据后的第一步，主要是对标注的数据进行数据增强(反转、裁剪和拼接)，然后将数据划分成训练集、验证集和测试集。优化训练算法是通过优化误差表达和调整误差权重，加快箭头包围盒的训练收敛速度。优化训练得到的最佳权重会用于实时预测，实时预测的输出通过输出约束保证箭头落在包围盒内部。“箭头包围盒”生成算法利用约束后的模型输出，利用坐标转换生成对应的“箭头包围盒”。然后，通过器械数目判断选择对应的焦点生成区域算法，根据“箭头包围盒”生成对应的跟踪区域，实现器械定位，为器械跟踪提供指导。[0053]对于输出层的特征图，我们预先设定了a个锚盒，并将该特征图划分成wf×hf个网格，所以特征图会预测一共个包围盒。对于n个类别的识别，每个包围盒的具体定义为其中，代表预测包围盒的中心坐标，代表其宽和高，代表该包围盒的置信度，代表每一个类别的概率。我们将真正的包围盒定义为其中是一个one-hot矩阵，对应的类别为1，其他类别的值为0。[0054]基于上述分析，我们可以将包围盒的定位误差定义为：[0055]lloc＝θi，jl(bi，gj)ꢀꢀꢀ(1)[0056]其中，只有当预测的包围盒与目标包围盒在同一个区域且giou值最大时，θi，j＝1，其他情况都为0。而l(bi，gi)＝1-giou(bi，gi)。[0057]同样地，将包围盒的置信度误差和类别误差分别定义为：[0058][0059][0060]其中，lbce(x，y)＝{li...n}，x，y∈r1×n，li＝-wi(yiogσ(xi)+(1-yi)log(1-σ(xi)))。[0061]因此，对于上述包围盒模型，我们将多重参数影响的误差模型定义为l(w)＝lloc+lobj+lcls，这里w是模型的参数。[0062]在利用包围盒对器械关键部位进行标识的基础上，我们用两个点表示医疗器械关键部位的中心，尖端这两个重要信息，同时两点连线，由中心指向尖端的箭头表示了该器械的角度方向信息，示意图如图3所示。[0063]基于上述模型，将预测的ith箭头辅助的包围盒定义为其中箭头坐标将实际的jth箭头辅助包围盒定义为其中箭头坐标[0064]在该假设下，包围盒的其他误差定义与以往的包围盒相同，除此之外，我们额外定义了箭头的预测误差，给出优化目标，即：[0065][0066]在计算箭头误差时，考虑对应点坐标的距离误差，即：[0067][0068]进一步地，箭头辅助的包围盒模型总误差可写为：[0069]l(w)＝lloc+lobj+lcls+laꢀꢀꢀ(6)[0070]因此，我们的目标函数为：[0071][0072]本发明提出的基于改进型arrow obb-yolo网络结构如图5所示。arrowobb-yolo借鉴了yolo系列网络统一预测的特点，利用网络直接一次性预测出带箭头的包围盒。与yolov3网络相似，是基于对draknet53网络的修改，关键是对其输出的修改。[0073]yolo每一个预测层输出的大小分别为ngx·ngy·na·(ncls+5)，ngx·ngy代表网格的个数，na代表预设锚盒的个数。每一个yolo层分别预测了ngx·ngy·na个包围盒，预测的每个包围盒有ncls+5个参数，分别是包围盒的位置预测tx，ty，tw，th，包围盒的置信度预测tobj，以及ncls个0，1之间的数代表类别概率。在yolov3中，通过以下公式将网络输出转换成预测结果，cx，cy是指该网格相对于左上角的偏移，pw，ph预先设定锚盒的宽和高，即有：[0074]bx＝σ(tx)+cxꢀꢀꢀ(8)[0075]by＝σ(ty)+cyꢀꢀꢀ(9)[0076][0077][0078]图4为包围盒的输出模型示意图，arrow-yolo在yolo的基础上，添加了箭头坐标的预测。从前文的箭头包围盒建模过程可知，我们得箭头坐标是由两个坐标的矢量组成。我们定义箭头的起点和终点的像素坐标分别为(bax1，bay1)，(bax2，bay2)，网络的输出定义为tx1，ty1，tx2，ty2，所以网络的输出维度变成了ngx·ngy·na·(ncls+5+4)。[0079]在箭头的预测过程中，如果直接对箭头的像素坐标进行预测，会出现箭头落在包围盒之外的情况，因此，我们利用坐标变换对箭头的坐标进行约束。于是，本发明将网络输出的箭头坐标通过σ(x)限制在[0，1]之间，我们约定其为相对于包围盒左上角的坐标，并通过以下的公式转换成相对于照片左上角的相对坐标，即：[0080][0081][0082][0083][0084]其中，bax1，bay1是箭头尾部的相对坐标，bax2，bay2是箭头头部的相对坐标，tx1，ty1是网络预测结果中箭头尾部对应的输出，tx2，ty2是网络预测结果中箭头头部对应的输出，bx，by是预测的包围盒中心的像素坐标，bw，bh是预测的包围盒的宽和高，w，h代表图片的宽和高。[0085]基于以上的坐标转换，我们成功地将箭头约束在包围盒之内，利用神经网络实现了带箭头的包围盒预测。[0086]在实际的计算过程中，坐标误差并不能将箭头的差异较好地表达出来。如图6所示，箭头a1与箭头a2的误差[0087]箭头a1与箭头a3的误差为从图中我们可以看到，蓝色箭头和绿色箭头的端点落在相同的圆上，所以ld(a1，a2)＝ld(a1，a3)，但是根据箭头的长度与角度信息，显然蓝色的箭头更相似于红色箭头，所以误差的计算需要考虑箭头的长度与角度信息。[0088]定义箭头之间的长度误差为：[0089][0090]同样地，我们定义箭头之间的角度误差为：[0091][0092][0093]由于多次求解atan()会出现梯度爆炸等问题，所以我们对该误差模型进行变换，定义角度误差为：[0094][0095]其中，通过三角函数的变换，使得误差的转换更便捷，即：[0096][0097]结合坐标误差，长度误差以及角度误差，箭头误差最终可定义为：[0098][0099]虽然上述模型成功地实现了“箭头包围盒”的预测输出，但是模型的收敛效果和稳定性都不好。在箭头误差的计算过程中，如果只是利用相对于包围盒的坐标并不能反映预测效果，而用相对于整张图片的坐标，却出现箭头预测与包围盒相耦合的问题。这是因为我们将箭头限制在包围盒内部，在包围盒没有准确预测之前，箭头的误差会很大，而且没有明确的收敛方向。[0100]针对上述问题，我们提出一种分步训练方法，其流程如图7所示。基于上述分析，我们知道箭头误差不稳定的原因是包围盒预测还未收敛造成的。所以我们最开始将箭头误差的权重设为w，使模型的误差计算只考虑包围盒的误差。更新并记录模型在验证集上的map，判断模型在包围盒的预测效果达到要求并且稳定之后，再通过修改权重引入箭头的误差。[0101]基于上述的“箭头包围盒”模型，我们提出一种焦点区域模型，利用焦点与图像中心的偏差生成方向向量，利用目标区域在图像中的位置占比，调整内窥镜的深度。这里的“视野焦点区域”的生成方法将多器械分成了三类：第一类是单个器械，第二类是2个器械，第三类是3个以及3个以上的器械。[0102]对于单个器械，直接利用箭头的尖端作为视野焦点，同时利用该焦点作为圆心，箭头的长度作为半径生成目标区域，即有：[0103][0104]对于两个器械，利用两个箭头尖端的连线的中点作为焦点，同时以该焦点作为圆心，两个箭头末端离中心较远的距离作为半径生成目标区域，即：[0105][0106]其中，l1＝(cx-b1ax1)2+(cy-b1ay1)2,l2＝(cx-b2ax1)2+(cy-b2ay1)2.[0107]对于三个以及三个以上的器械，通过选择三个主要器械，将问题都转换成三个器械的问题。利用三个器械的箭头尖端的外接圆的圆心作为焦点。以该焦点为圆心，箭头末端离该焦点最远距离作为半径，生成目标区域，即：[0108][0109]其中，l1,l2的计算和前文一样，且l3＝(cx-b3ax1)2+(cy-b3ay1)2。o3＝(cx,cy)是三个箭头头部点的外接圆。他们之间的数学关系可表示为：[0110][0111]根据式(25)，可得外接圆中心的坐标为：[0112][0113]其中，[0114]本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。[0115]以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。