颅骨孔洞姿态估计方法、装置、电子设备及存储介质.pdf

《颅骨孔洞姿态估计方法、装置、电子设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《颅骨孔洞姿态估计方法、装置、电子设备及存储介质.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202211176909.3 (22)申请日 2022.09.26 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 王啸峰张大朋秦方博王欣刚 梁文亮 (74)专利代理机构 北京路浩知识产权代理有限 公司 11002 专利代理师 任少瑞 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/33(2017.01) G06T 7/60(2017.01) (54)发明名称 颅骨孔洞姿态估计方法、 装置、 电子设备及 存。

2、储介质 (57)摘要 本发明提供一种颅骨孔洞姿态估计方法、 装 置、 电子设备及存储介质， 其中颅骨孔洞姿态估 计方法， 包括： 获取双目颅骨孔洞图像中多个孔 洞的多组目标双目二维圆心坐标； 基于多组目标 双目二维圆心坐标， 确定双目颅骨孔洞图像中多 个不共线的目标孔洞的多个目标三维圆心坐标； 基于多个目标三维圆心坐标， 确定双目颅骨孔洞 图像中多个孔洞的法向姿态角估计值。 本发明能 够实现简化估计颅骨孔洞姿态的过程， 减少人工 干预， 提高估计颅骨孔洞姿态的自动化性能， 同 时针对场景的变换也具有更强的鲁棒性。 权利要求书2页 说明书12页 附图2页 CN 115661035 A 2023.。

3、01.31 CN 115661035 A 1.一种颅骨孔洞姿态估计方法， 其特征在于， 包括： 获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标； 基于所述多组目标双目二维圆心坐标， 确定所述双目颅骨孔洞图像中多个不共线的目 标孔洞的多个目标三维圆心坐标； 基于所述多个目标三维圆心坐标， 确定所述双目颅骨孔洞图像中所述多个孔洞的法向 姿态角估计值。 2.根据权利要求1所述的颅骨孔洞姿态估计方法， 其特征在于， 所述获取双目颅骨孔洞 图像中多个孔洞的多组目标双目二维圆心坐标， 包括： 将双目颅骨孔洞图像输入到预设HoleNet网络模型中， 得到所述预设HoleNet网络模型 输出的多个孔。

4、洞的多组预测双目二维圆心坐标； 对所述多组预测双目二维圆心坐标进行几何过滤， 确定初匹配的多组双目二维圆心坐 标； 对所述初匹配的多组双目二维圆心坐标进行图像特征过滤， 确定所述双目颅骨孔洞图 像中多个孔洞的多组目标双目二维圆心坐标； 其中， 所述预设HoleNet网络模型用于提取所述双目颅骨孔洞图像的底层图像特征， 并 对所述底层图像特征进行学习和预测， 基于学习所得的每个孔洞的圆心局部特征和预测所 得的每个孔洞内含的圆心坐标， 确定所述多个孔洞的多组预测双目二维圆心坐标。 3.根据权利要求2所述的颅骨孔洞姿态估计方法， 其特征在于， 所述多组预测双目二维 圆心坐标包括左目颅骨孔洞图像的多个。

5、孔洞中分布的多个预测左目二维圆心坐标和右目 颅骨孔洞图像的多个孔洞中分布的多个预测右目二维圆心坐标， 所述对所述多组预测双目 二维圆心坐标进行几何过滤， 确定初匹配的多组双目二维圆心坐标， 包括： 确定所述多个预测左目二维圆心坐标中预测左目二维圆心坐标对应所述右目颅骨孔 洞图像中的第一极线； 将所述多个预测右目二维圆心坐标中与所述第一极线之间的距离超过第一预设距离 阈值的预测右目二维圆心坐标删除， 确定多个目标预测右目二维圆心坐标； 确定所述多个目标预测右目二维圆心坐标中目标预测右目二维圆心坐标对应所述左 目颅骨孔洞图像中的第二极线； 将所述多个预测左目二维圆心坐标中与所述第二极线之间的距离超。

6、过第二预设距离 阈值的预测左目二维圆心坐标删除， 确定多个目标预测左目二维圆心坐标； 基于所述多个目标预测右目二维圆心坐标和所述多个目标预测左目二维圆心坐标， 确 定初匹配的多组双目二维圆心坐标。 4.根据权利要求2所述的颅骨孔洞姿态估计方法， 其特征在于， 所述对所述初匹配的多 组双目二维圆心坐标进行图像特征过滤， 确定所述双目颅骨孔洞图像中多个孔洞的多组目 标双目二维圆心坐标， 包括： 基于所述初匹配的多组双目二维圆心坐标对所述底层图像特征进行特征采集， 确定多 组图像特征； 确定每组图像特征的余弦相似度； 基于所述余弦相似度与预设余弦相似度阈值的比较结果， 对所述初匹配的多组双目二 维圆。

7、心坐标进行精细过滤， 确定所述双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆 权利要求书 1/2 页 2 CN 115661035 A 2 心坐标。 5.根据权利要求2所述的颅骨孔洞姿态估计方法， 其特征在于， 所述预设HoleNet网络 模型的训练过程， 包括： 确定样本颅骨孔洞图像以及初始HoleNet网络模型， 所述初始HoleNet网络模型具备底 层特征提取功能、 颅骨孔洞特征学习功能和颅骨孔洞圆心坐标预测功能； 使用所述样本颅骨孔洞图像对所述初始HoleNet网络模型进行训练， 确定预设HoleNet 网络模型。 6.根据权利要求1至5任一项所述的颅骨孔洞姿态估计方法， 其特征在于，。

8、 所述基于所 述多组目标双目二维圆心坐标， 确定所述双目颅骨孔洞图像中多个不共线的目标孔洞的多 个目标三维圆心坐标， 包括： 获取双目相机的相机内外参数； 基于所述相机内外参数和所述多组目标双目二维圆心坐标， 确定所述双目颅骨孔洞图 像中多个不共线的目标孔洞的多个目标三维圆心坐标。 7.根据权利要求1至5任一项所述的颅骨孔洞姿态估计方法， 其特征在于， 所述基于所 述多个目标三维圆心坐标， 确定所述双目颅骨孔洞图像中所述多个孔洞的法向姿态角估计 值， 包括： 基于所述多个目标三维圆心坐标， 确定所述双目颅骨孔洞图像中多个不共线的目标孔 洞所在平面的目标平面方程； 确定所述目标平面方程的法线向量。

9、； 基于所述法线向量， 确定所述双目颅骨孔洞图像中所述多个孔洞的法向姿态角估计 值。 8.一种颅骨孔洞姿态估计装置， 其特征在于， 包括： 获取模块， 用于获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标； 确定模块， 用于基于所述多组目标双目二维圆心坐标， 确定所述双目颅骨孔洞图像中 多个不共线的目标孔洞的多个目标三维圆心坐标； 姿态估计模块， 用于基于所述多个目标三维圆心坐标， 确定所述双目颅骨孔洞图像中 所述多个孔洞的法向姿态角估计值。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如。

10、权利要求1至7任一项所 述颅骨孔洞姿态估计方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至7任一项所述颅骨孔洞姿态估计方法。 权利要求书 2/2 页 3 CN 115661035 A 3 颅骨孔洞姿态估计方法、 装置、 电子设备及存储介质 技术领域 0001 本发明涉及图像处理技术领域， 尤其涉及一种颅骨孔洞姿态估计方法、 装置、 电子 设备及存储介质。 背景技术 0002 众所周知， 脑机接口是指人或动物与外部设备之间创建的直接连接， 实现脑与外 部设备的信息交换， 并且， 当脑机接口应用于脑部时可以估计颅骨。

11、孔洞姿态， 以便于基于估 计的颅骨孔洞姿态为颅底骨折的诊断及颅脑创伤的综合判断及治疗提供理论依据。 0003 相关技术中， 针对颅骨孔洞姿态， 通常先利用双目相机拍摄颅骨孔洞图像， 并通过 调整高斯模糊核、 Canny算法阈值的方式提取颅骨孔洞边缘， 再针对提取的颅骨孔洞边缘拟 合椭圆方程， 并将椭圆方程的圆平面的法向量确定为颅骨孔洞的法向姿态角。 0004 然而， 由于调整高斯模糊核和Canny算法阈值需要人为手动调整参数， 并且手动调 整参数至提取的颅骨孔洞边缘足够准确时才能成功拟合椭圆方程， 不仅调整过程耗时费 力， 而且调整后的参数也只适用于当前场景， 从而导致颅骨孔洞姿态估计的效率低。

12、且适用 范围受限。 发明内容 0005 本发明提供一种颅骨孔洞姿态估计方法、 装置、 电子设备及存储介质， 用以解决现 有技术中依赖于手动调整参数至颅骨孔洞边缘足够准确才能针对当前场景进行颅骨孔洞 姿态估计所导致的颅骨孔洞姿态估计的效率低且适用范围受限的缺陷， 实现简化估计颅骨 孔洞姿态的过程， 减少人工干预， 提高估计颅骨孔洞姿态的自动化性能， 同时针对场景的变 换也具有更强的鲁棒性。 0006 本发明提供一种颅骨孔洞姿态估计方法， 包括： 0007 获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标； 0008 基于所述多组目标双目二维圆心坐标， 确定所述双目颅骨孔洞图像中多个不共线。

13、 的目标孔洞的多个目标三维圆心坐标； 0009 基于所述多个目标三维圆心坐标， 确定所述双目颅骨孔洞图像中所述多个孔洞的 法向姿态角估计值。 0010 根据本发明提供的一种颅骨孔洞姿态估计方法， 所述获取双目颅骨孔洞图像中多 个孔洞的多组目标双目二维圆心坐标， 包括： 0011 将双目颅骨孔洞图像输入到预设HoleNet网络模型中， 得到所述预设HoleNet网络 模型输出的多个孔洞的多组预测双目二维圆心坐标； 0012 对所述多组预测双目二维圆心坐标进行几何过滤， 确定初匹配的多组双目二维圆 心坐标； 0013 对所述初匹配的多组双目二维圆心坐标进行图像特征过滤， 确定所述双目颅骨孔 洞图像。

14、中多个孔洞的多组目标双目二维圆心坐标； 说明书 1/12 页 4 CN 115661035 A 4 0014 其中， 所述预设HoleNet网络模型用于提取所述双目颅骨孔洞图像的底层图像特 征， 并对所述底层图像特征进行学习和预测， 基于学习所得的每个孔洞的圆心局部特征和 预测所得的每个孔洞内含的圆心坐标， 确定所述多个孔洞的多组预测双目二维圆心坐标。 0015 根据本发明提供的一种颅骨孔洞姿态估计方法， 所述多组预测双目二维圆心坐标 包括左目颅骨孔洞图像的多个孔洞中分布的多个预测左目二维圆心坐标和右目颅骨孔洞 图像的多个孔洞中分布的多个预测右目二维圆心坐标， 所述对所述多组预测双目二维圆心 。

15、坐标进行几何过滤， 确定初匹配的多组双目二维圆心坐标， 包括： 0016 确定所述多个预测左目二维圆心坐标中预测左目二维圆心坐标对应所述右目颅 骨孔洞图像中的第一极线； 0017 将所述多个预测右目二维圆心坐标中与所述第一极线之间的距离超过第一预设 距离阈值的预测右目二维圆心坐标删除， 确定多个目标预测右目二维圆心坐标； 0018 确定所述多个目标预测右目二维圆心坐标中目标预测右目二维圆心坐标对应所 述左目颅骨孔洞图像中的第二极线； 0019 将所述多个预测左目二维圆心坐标中与所述第二极线之间的距离超过第二预设 距离阈值的预测左目二维圆心坐标删除， 确定多个目标预测左目二维圆心坐标； 0020。

16、 基于所述多个目标预测右目二维圆心坐标和所述多个目标预测左目二维圆心坐 标， 确定初匹配的多组双目二维圆心坐标。 0021 根据本发明提供的一种颅骨孔洞姿态估计方法， 所述对所述初匹配的多组双目二 维圆心坐标进行图像特征过滤， 确定所述双目颅骨孔洞图像中多个孔洞的多组目标双目二 维圆心坐标， 包括： 0022 基于所述初匹配的多组双目二维圆心坐标对所述底层图像特征进行特征采集， 确 定多组图像特征； 0023 确定每组图像特征的余弦相似度； 0024 基于所述余弦相似度与预设余弦相似度阈值的比较结果， 对所述初匹配的多组双 目二维圆心坐标进行精细过滤， 确定所述双目颅骨孔洞图像中多个孔洞的多组。

17、目标双目二 维圆心坐标。 0025 根据本发明提供的一种颅骨孔洞姿态估计方法， 所述预设HoleNet网络模型的训 练过程， 包括： 0026 确定样本颅骨孔洞图像以及初始HoleNet网络模型， 所述初始HoleNet网络模型具 备底层特征提取功能、 颅骨孔洞特征学习功能和颅骨孔洞圆心坐标预测功能； 0027 使用所述样本颅骨孔洞图像对所述初始HoleNet网络模型进行训练， 确定预设 HoleNet网络模型。 0028 根据本发明提供的一种颅骨孔洞姿态估计方法， 所述基于所述多组目标双目二维 圆心坐标， 确定所述双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐 标， 包括： 00。

18、29 获取双目相机的相机内外参数； 0030 基于所述相机内外参数和所述多组目标双目二维圆心坐标， 确定所述双目颅骨孔 洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标。 0031 根据本发明提供的一种颅骨孔洞姿态估计方法， 所述基于所述多个目标三维圆心 说明书 2/12 页 5 CN 115661035 A 5 坐标， 确定所述双目颅骨孔洞图像中所述多个孔洞的法向姿态角估计值， 包括： 0032 基于所述多个目标三维圆心坐标， 确定所述双目颅骨孔洞图像中多个不共线的目 标孔洞所在平面的目标平面方程； 0033 确定所述目标平面方程的法线向量； 0034 基于所述法线向量， 确定所述双目颅骨。

19、孔洞图像中所述多个孔洞的法向姿态角估 计值。 0035 本发明还提供一种颅骨孔洞姿态估计装置， 包括： 0036 本发明还提供一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理 器上运行的计算机程序， 所述处理器执行所述程序时实现如上述任一种所述颅骨孔洞姿态 估计方法。 0037 本发明还提供一种非暂态计算机可读存储介质， 其上存储有计算机程序， 该计算 机程序被处理器执行时实现如上述任一种所述颅骨孔洞姿态估计方法。 0038 本发明提供的颅骨孔洞姿态估计方法、 装置、 电子设备及存储介质， 其中颅骨孔洞 姿态估计方法， 终端设备先获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆。

20、心坐 标、 再确定双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标、 后确定 双目颅骨孔洞图像中多个孔洞的法向姿态角估计值， 不仅简化了估计颅骨孔洞姿态的过 程， 减少了人工干预， 而且也能提高估计颅骨孔洞姿态的自动化性能， 从而大幅提高了颅骨 孔洞姿态估计的效率， 同时针对场景的变换也具有更强的鲁棒性。 附图说明 0039 为了更清楚地说明本发明或现有技术中的技术方案， 下面将对实施例或现有技术 描述中所需要使用的附图作一简单地介绍， 显而易见地， 下面描述中的附图是本发明的一 些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些 附图获得其他的。

21、附图。 0040 图1是本发明提供的颅骨孔洞姿态估计方法的流程示意图； 0041 图2是本发明提供的颅骨孔洞姿态估计装置的结构示意图； 0042 图3是本发明提供的电子设备的结构示意图。 具体实施方式 0043 为使本发明的目的、 技术方案和优点更加清楚， 下面将结合本发明中的附图， 对本 发明中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例， 都属于本发明保护的范围。 0044 下面结合图1图3描述本发明的颅骨孔洞姿态估计方法、 装置、 电子设。

22、备及存储介 质， 其中颅骨孔洞姿态估计方法的执行主体可以为终端设备， 也可以为服务器； 服务器可以 是指一台服务器， 也可以是由多台服务器构成的服务器集群、 云计算中心等等； 终端设备可 以为个人计算机(Personal Computer， PC)、 便携式设备、 笔记本电脑、 智能手机、 平板电脑 和便携式可穿戴设备等其它电子设备。 服务器或终端设备至少具备数据获取功能、 数据存 储功能和数据处理功能。 本发明对服务器或终端设备的具体形式不做限定。 下述方法实施 说明书 3/12 页 6 CN 115661035 A 6 例以执行主体为终端设备为例进行说明。 0045 参照图1， 为本发明实。

23、施例提供的颅骨孔洞姿态估计方法的流程示意图， 如图1所 示， 该颅骨孔洞姿态估计方法， 包括以下步骤： 0046 步骤110、 获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标。 0047 其中， 双目颅骨孔洞图像可以为使用双目相机的左右两个摄像头拍摄颅骨的孔洞 后生成的图像且可以包括左目颅骨孔洞图像和右目颅骨孔洞图像， 双目相机所拍摄颅骨的 孔洞数量可以至少为3个， 颅骨的孔洞可以是待测对象头部上的骨架的孔洞， 待测对象可以 为人或动物； 左目颅骨孔洞图像和右目颅骨孔洞图像中分布的孔洞数量相同且一一对应， 左目颅骨孔洞图像和右目颅骨孔洞图像存在一定视差。 并且， 多组目标双目二维圆心。

24、坐标 中每组目标双目二维圆心坐标对应一个孔洞且包括至少一个目标左目二维圆心坐标和至 少一个目标右目二维圆心坐标， 也即， 左目颅骨孔洞图像中的每个孔洞分布有至少一个目 标左目二维圆心坐标， 右目颅骨孔洞图像中的每个孔洞中分布有至少一个目标右目二维圆 心坐标， 每个目标左目二维圆心坐标可以均为不含噪声的左目二维圆心坐标且分别为左目 颅骨孔洞图像中对应孔洞中的关键圆心点， 每个目标右目二维圆心坐标也可以均为不含噪 声的右目二维圆心坐标且分别为右目颅骨孔洞图像中对应孔洞中的关键圆心点。 0048 具体的， 终端设备获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐 标， 可以是终端设备检测到自身。

25、通过脑机接口与待测对象连接时， 获取针对待测对象的颅 骨的双目颅骨孔洞图像以及双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标， 终端设备可以从预先存储的图像集中直接选取待测对象的颅骨的双目颅骨孔洞图像， 也可 以通过先启动双目摄像功能、 后拍摄待测对象的颅骨的方式获取待测对象的颅骨的双目颅 骨孔洞图像。 并且， 针对获取的双目颅骨孔洞图像， 终端设备可以进一步针对左目颅骨孔洞 图像中的多个孔洞和右目颅骨孔洞图像中的多个孔洞， 通过先获取孔洞中圆心二维坐标、 后进行去噪的方式， 获取多组目标双目二维圆心坐标； 终端设备也可以将待测对象的颅骨 的双目颅骨孔洞图像发送至用户终端， 并指示用户终。

26、端对应用户反馈双目颅骨孔洞图像中 多个孔洞的多组目标双目二维圆心坐标， 以此获取多组目标双目二维圆心坐标。 此处对获 取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标的方式不作具体限定。 0049 步骤120、 基于多组目标双目二维圆心坐标， 确定双目颅骨孔洞图像中多个不共线 的目标孔洞的多个目标三维圆心坐标。 0050 具体的， 由于脑机接口任务中， 颅骨的孔洞直径约为300微米， 相邻孔洞之间的距 离约为1000微米， 因此可以考虑将双目颅骨孔洞图像中多个孔洞所在区域为平面， 通过估 计3个及3个以上不共线的孔洞的3维圆心坐标， 即可拟合多个孔洞所在区域的平面方程的 方式估计颅骨孔洞。

27、姿态。 基于此， 终端设备针对双目颅骨孔洞图像中多个孔洞的多组目标 双目二维圆心坐标， 可以利用三角化方法确定多个孔洞的多个目标三维圆心坐标， 再从多 个孔洞的多个目标三维圆心坐标中确定多个不共线的目标孔洞的多个目标三维圆心坐标。 0051 步骤130、 基于多个目标三维圆心坐标， 确定双目颅骨孔洞图像中多个孔洞的法向 姿态角估计值。 0052 具体的， 终端设备针对双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三 维圆心坐标， 可以基于预先存储的平面方程构建算法计算多个目标孔洞所在区域的目标平 面方程， 从而确定目标平面方程的法线向量即为双目颅骨孔洞图像中多个孔洞的法向姿态 说明书 4/1。

28、2 页 7 CN 115661035 A 7 角估计值。 0053 本发明实施例提供的颅骨孔洞姿态估计方法， 终端设备先获取双目颅骨孔洞图像 中多个孔洞的多组目标双目二维圆心坐标、 再确定双目颅骨孔洞图像中多个不共线的目标 孔洞的多个目标三维圆心坐标、 后确定双目颅骨孔洞图像中多个孔洞的法向姿态角估计 值， 不仅简化了估计颅骨孔洞姿态的过程， 减少了人工干预， 而且也能提高估计颅骨孔洞姿 态的自动化性能， 从而大幅提高了颅骨孔洞姿态估计的效率， 同时针对场景的变换也具有 更强的鲁棒性。 0054 可选的， 步骤110的具体实现过程可以包括： 0055 首先， 将双目颅骨孔洞图像输入到预设Hol。

29、eNet网络模型中， 得到预设HoleNet网 络模型输出的多个孔洞的多组预测双目二维圆心坐标； 再进一步对多组预测双目二维圆心 坐标进行几何过滤， 确定初匹配的多组双目二维圆心坐标； 然后， 对初匹配的多组双目二维 圆心坐标进行图像特征过滤， 确定双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心 坐标。 0056 其中， 预设HoleNet网络模型用于提取双目颅骨孔洞图像的底层图像特征， 并对底 层图像特征进行学习和预测， 基于学习所得的每个孔洞的圆心局部特征和预测所得的每个 孔洞内含的圆心坐标， 确定多个孔洞的多组预测双目二维圆心坐标。 0057 具体的， 由于双目颅骨孔洞图像包括左目颅骨。

30、孔洞图像和右目颅骨孔洞图像， 并 且左目颅骨孔洞图像和右目颅骨孔洞图像中分布的孔洞数量相同且一一对应， 因此为了提 高颅骨孔洞姿态估计的准确性， 本发明可以使用预先训练所得的预设HoleNet网络模型精 准预测双目颅骨孔洞图像中每个孔洞所含圆心点的二维坐标， 从而输出多个孔洞的多组预 测双目二维圆心坐标， 多组预测双目二维圆心坐标中每组预测双目二维圆心坐标对应一个 孔洞且包括至少一个预测左目二维圆心坐标和至少一个预测右目二维圆心坐标， 也即左目 颅骨孔洞图像中的每个孔洞至少分布一个预测左目二维圆心坐标并且右目颅骨孔洞图像 中的每个孔洞至少分布一个预测右目二维圆心坐标。 0058 此外， 预设H。

31、oleNet网络模型中含有训练好的ResNet网络、 训练好的圆心卷积核和 训练好的head1网络的网络模型， 当双目颅骨孔洞图像输入至预设HoleNet网络模型中时， 使用训练好的ResNet网络提取双目颅骨孔洞图像的底层图像特征， 使用训练好的圆心卷积 核对底层图像特征进行学习且学习结果为每个孔洞的圆心局部特征， 使用训练好的head1 网络对圆心局部特征进行颅骨孔洞边框圆心预测且预测结果为每个孔洞边框的预测圆心 坐标， 然后基于圆心局部特征和预设的偏移量计算方法确定圆心偏移量， 并将预测圆心坐 标和圆心偏移量相加所得结果， 确定为对应孔洞的一组预测二维圆心坐标。 以此得到多个 孔洞的多组。

32、预测双目二维圆心坐标。 0059 由于经过预设HoleNet网络模型的学习和预测处理， 虽然可以提高处理速率和精 确度， 但是学习和预测处理过程中也不可避免的会受到噪声干扰， 因此针对预设HoleNet网 络模型输出的多个孔洞的多组预测双目二维圆心坐标， 首先使用几何过滤器进行几何过 滤， 将左目颅骨孔洞图像和右目颅骨孔洞图像中每个孔洞含有的噪声圆心点均过滤掉， 以 此实现对双目颅骨孔洞图像中多个孔洞所含的圆心点进行初步匹配的目的， 从而确定初匹 配的多组双目二维圆心坐标； 再通过使用图像特征过滤器， 对初匹配的多组双目二维圆心 坐标再次进行图像特征过滤， 也即对初匹配的多组双目二维圆心坐标中。

33、每个二维圆心坐标 说明书 5/12 页 8 CN 115661035 A 8 的特征相似度， 并将初匹配的多组双目二维圆心坐标中特征相似度达到预设相似度要求的 双目二维圆心坐标确定为双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标， 以 此实现对初匹配的多组双目二维圆心坐标进行精细匹配的目的。 0060 需要说明的是， 当经过几何过滤和图像特征过滤后保留的目标双目二维圆心坐标 的数量少于2个， 则可以通过轻微移动双目相机位姿的方式， 实现改变视野寻找到更多的孔 洞或者从更好的视角拍摄孔洞的目的， 检索计算误差； 也可以改变光源亮度的方式增强检 测孔洞的能力， 从而实现增加目标双目二维圆心坐。

34、标为至少3个的目的。 0061 本发明实施例提供的颅骨孔洞姿态估计方法， 终端设备针对双目颅骨孔洞图像， 通过使用预设HoleNet网络模型、 几何过滤器和图像特征过滤器的方式， 确定双目颅骨孔洞 图像中多个孔洞的多组目标双目二维圆心坐标双目本， 以此结合网络模型学习预测以及不 同过滤方式提高了获取多组目标双目二维圆心坐标的准确性和可靠性。 0062 可选的， 在多组预测双目二维圆心坐标包括左目颅骨孔洞图像的多个孔洞中分布 的多个预测左目二维圆心坐标和右目颅骨孔洞图像的多个孔洞中分布的多个预测右目二 维圆心坐标的情况下， 对多组预测双目二维圆心坐标进行几何过滤， 确定初匹配的多组双 目二维圆心。

35、坐标， 其实现过程可以包括： 0063 首先， 确定多个预测左目二维圆心坐标中预测左目二维圆心坐标对应右目颅骨孔 洞图像中的第一极线； 再将多个预测右目二维圆心坐标中与第一极线之间的距离超过第一 预设距离阈值的预测右目二维圆心坐标删除， 确定多个目标预测右目二维圆心坐标； 然后， 确定多个目标预测右目二维圆心坐标中目标预测右目二维圆心坐标对应所述左目颅骨孔 洞图像中的第二极线； 再进一步将多个预测左目二维圆心坐标中与第二极线之间的距离超 过第二预设距离阈值的预测左目二维圆心坐标删除， 确定多个目标预测左目二维圆心坐 标； 最后， 基于多个目标预测右目二维圆心坐标和多个目标预测左目二维圆心坐标，。

36、 确定初 匹配的多组双目二维圆心坐标。 0064 具体的， 基于张正友标定法， 可以确定多个预测左目二维圆心坐标中预测左目二 维圆心坐标的齐次坐标对应右目颅骨孔洞图像中的第一极线， 第一极线也可以认为是预测 左目二维圆心坐标的投影在右目颅骨孔洞图像中形成的一条线， 然后判断每个预测右目二 维圆心坐标与第一极线之间的距离是否超过第一预设距离阈值， 并将多个预测右目二维圆 心坐标中超过第一预设距离阈值的预测右目二维圆心坐标过滤掉， 保留并确定未超过第一 预设距离阈值的剩余预测右目二维圆心坐标为多个目标预测右目二维圆心坐标； 同样的， 也可以确定多个目标预测右目二维圆心坐标中目标预测右目二维圆心坐标。

37、的齐次坐标对 应左目颅骨孔洞图像中的第二极线， 然后判断每个预测左目二维圆心坐标与第二极线之间 的距离是否超过第二预设距离阈值， 并将多个预测左目二维圆心坐标中超过第二预设距离 阈值的预测左目二维圆心坐标过滤掉， 保留并确定未超过第二预设距离阈值的剩余预测左 目二维圆心坐标为多个目标预测左目二维圆心坐标， 然后确定多个目标预测左目二维圆心 坐标和多个目标预测右目二维圆心坐标为针对多组预测双目二维圆心坐标进行几何过滤 后所得的初匹配的多组双目二维圆心坐标， 也即对多组预测双目二维圆心坐标进行了初次 匹配。 可选的， 第一预设距离阈值和第二预设距离阈值可以均为0.5。 0065 本发明实施例提供的。

38、颅骨孔洞姿态估计方法， 终端设备通过将多个预测右目二维 圆心坐标中偏离第一极线远的预测右目二维圆心坐标过滤， 以及将多个预测左目二维圆心 说明书 6/12 页 9 CN 115661035 A 9 坐标中偏离第二极线远的预测左目二维圆心坐标过滤的方式， 实现对多组预测双目二维圆 心坐标进行几何过滤的目的， 以此结合极线几何和张正友标记法能够有效提高初步匹配的 精确性和可靠性。 0066 可选的， 对初匹配的多组双目二维圆心坐标进行图像特征过滤， 确定双目颅骨孔 洞图像中多个孔洞的多组目标双目二维圆心坐标， 其实现过程可以包括 0067 首先， 基于初匹配的多组双目二维圆心坐标对底层图像特征进行。

39、特征采集， 确定 多组图像特征； 再进一步确定每组图像特征的余弦相似度； 然后， 基于余弦相似度与预设余 弦相似度阈值的比较结果， 对初匹配的多组双目二维圆心坐标进行精细过滤， 确定双目颅 骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标。 0068 具体的， 由于几何过滤无法过滤到第一极线和第二极线上所含的噪声圆心点， 因 此可以考虑通过比对初匹配的多组双目二维圆心坐标的图像特征相似度进行图像特征过 滤的方式实现精细过滤， 基于此， 可以使用初匹配的多组双目二维圆心坐标的位置在预设 HoleNet网络模型提取的底层图像特征上对应采集图像特征， 从而确定多组图像特征， 每组 图像特征对应初匹配的。

40、一组双目二维圆心坐标； 然后确定每组图像特征的余弦相似度， 设 定其中一组图像特征为L1和L2， 则该组图像特征的余弦相似度为cos(L1， L2)， L1， L2表 示L1和L2的夹角， 当L1， L2的值为0 时， L1和L2的余弦相似度为1； 当L1， L2的值为90 时， L1和L2的余弦相似度为0。 此时， 将每组图像特征的余弦相似度与预设余弦相似度阈值 进行比较， 并保留且确定超过预设余弦相似度阈值的余弦相似度所对应的双目二维圆心坐 标为双目颅骨孔洞图像的目标双目二维圆心坐标。 以此确定双目颅骨孔洞图像中多个孔洞 的多组目标双目二维圆心坐标。 从而完成了针对初匹配的多组双目二维圆心。

41、坐标进行精细 匹配的目的。 0069 本发明实施例提供的颅骨孔洞姿态估计方法， 终端设备通过基于初匹配的多组双 目二维圆心坐标在底层图像特征上对应采集图像特征的方式， 确定多组图像特征， 并基于 每组图像特征的余弦相似度与预设余弦相似度阈值的比较结果， 对初匹配的多组双目二维 圆心坐标进行精细过滤， 以此结合网络模型提取的底层图像特征对应采集图像特征以及图 像特征相似度对比方法， 有效提高了针对初匹配的多组双目二维圆心坐标进行精细过滤的 可靠性和准确性， 从而为后续颅骨孔洞姿态估计的准确性奠定基础。 0070 可选的， 预设HoleNet网络模型的训练过程， 可以包括： 0071 首先， 确定。

42、样本颅骨孔洞图像以及初始HoleNet网络模型， 初始HoleNet网络模型 具备底层特征提取功能、 颅骨孔洞特征学习功能和颅骨孔洞圆心坐标预测功能； 然后， 使用 样本颅骨孔洞图像对初始HoleNet网络模型进行训练， 确定预设HoleNet网络模型。 0072 具体的， 样本颅骨孔洞图像可以通过针对样本待测对象拍摄双目图像的方式确 定， 样本待测对象可以是人也可以是动物， 样本颅骨孔洞图像的数量为多个； 初始HoleNet 网络模型可以为含有ResNet网络、 圆心卷积核和head1网络的网络模型， ResNet网络用于提 取底层特征， 圆心卷积核用于学习颅骨孔洞特征， head1网络用于。

43、预测颅骨孔洞边框圆心。 基于此， 使用样本颅骨孔洞图像对初始HoleNet网络模型进行多次训练， 针对每次训练， 使 用ResNet网络提取单个样本颅骨孔洞图像的样本底层图像特征， 使用圆心卷积核对样本底 层图像特征进行学习且学习结果为每个孔洞的样本圆心局部特征， 使用head1网络对样本 圆心局部特征进行颅骨孔洞边框圆心预测且预测结果为每个孔洞边框的样本预测圆心坐 说明书 7/12 页 10 CN 115661035 A 10 标， 然后基于样本圆心局部特征和预设的偏移量计算方法确定样本圆心偏移量， 并将样本 预测圆心坐标和样本圆心偏移量相加所得结果， 确定为对应孔洞的样本预测二维圆心坐 标。

44、， 至此完成针对单个样本颅骨孔洞图像的一次训练， 并且以此训练方式对初始HoleNet网 络模型进行预设次数的训练， 确定预设次数的训练后的中间HoleNet网络模型， 判断该中间 HoleNet网络模型的损失值是否达到预设损失阈值， 若该中间HoleNet网络模型的损失值达 到预设损失阈值， 则停止训练， 并将训练停止时对应的HoleNet网络模型确定为预设 HoleNet网络模型； 反之， 若该中间HoleNet网络模型的损失值未达到预设损失阈值， 则继续 训练， 直至满足训练停止条件。 0073 需要说明的是， 训练停止条件可以通过训练后所得中间HoleNet网络模型的损失 值达到预设损。

45、失阈值确定， 也可以通过当前训练后的累计训练次数达到预设训练次数时确 定。 此处不作具体限定。 0074 本发明实施例提供的颅骨孔洞姿态估计方法， 终端设备通过使用样本颅骨孔洞图 像对含有底层特征提取功能、 颅骨孔洞特征学习功能和颅骨孔洞圆心坐标预测功能的初始 HoleNet网络模型进行训练的方式， 确定训练至收敛且精度最高时所得的预设HoleNet网络 模型， 提高了模型训练的精准性和可靠性， 从而也进一步提高了颅骨孔洞姿态估计的准确 性。 0075 可选的， 步骤120的具体实现过程可以包括： 0076 获取双目相机的相机内外参数； 基于相机内外参数和多组目标双目二维圆心坐 标， 确定每组。

46、目标双目二维圆心坐标的目标三维圆心坐标； 基于目标三维圆心坐标， 确定双 目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标。 0077 具体的， 利用双目相机拍摄棋盘格标定板， 确定双目棋盘格图像， 并使用OpenCV库 识别双目棋盘格图像， 确定2n个关键格点的3维坐标， n为大于1的正整数； 然后使用张正友 标定法， 将每个3维坐标中z轴坐标值置0， 从而对应得到简化的3维空间至2维空间的投影转 换关系如下式所示。 0078 0079 其中， x y 1表示每个关键格点的2维空间坐标， X Y 0 1表示对应关键格点的 3维空间坐标， K表示双目相机的内参矩阵， R表示双目相机的。

47、外参旋转矩阵， t表示双目相机 的外参平移向量。 由于每个关键格点的2维空间坐标和3维空间坐标均是已知的， 因此当拍 摄且识别到的关键格点充足时， 可以通过构建线性方程且求解线性方程最优解的方式确定 双目相机的相机内外参数， 双目相机的相机内外参数包括双目相机的内参矩阵K、 双目相机 的外参旋转矩阵R和双目相机的外参平移向量t。 并且， 针对双目相机， 可以确定左相机的内 参矩阵为K1、 右相机的内参矩阵为K2， 以左相机坐标系为参考坐标系， 基于此， 设定左目颅 骨孔洞图像中第j个孔洞的目标左目二维圆心坐标的齐次话二维图像坐标为x1， 对应右目 颅骨孔洞图像中第j个孔洞的目标右目二维圆心坐标。

48、的齐次化坐标为x2， 则当左目颅骨孔 洞图像和右目颅骨孔洞图像中第j个孔洞的目标三维圆心坐标为X时， 将X投影到左目颅骨 说明书 8/12 页 11 CN 115661035 A 11 孔洞图像和右目颅骨孔洞图像上时满足下述方程组： 0080 D1x1K1X 0081 D2x2K2R|tX 0082 其中， D1表示第j个孔洞在左相机坐标系下的深度值， D2表示第j个孔洞在右相机坐 标系下的深度值。 通过利用最下二乘法求解上述方程组， 从而确定两个深度值D1和D2。 进而 计算参考相机坐标系下第j个孔洞的目标三维圆心坐标以此方式计算得到M 个孔洞的目标三维圆心坐标， j1、 2、 、 M， M。

49、为双目颅骨孔洞图像中孔洞的数量。 0083 此时再基于每个孔洞的目标三维圆心坐标， 计算每个孔洞距离参考相机的距离 值， 确定M个距离值， 然后计算每个距离值的平均值u和标准差s， 最后将M个距离值中满足 us， u+s范围内的孔洞确定为目标孔洞， 且确定目标孔洞的数量为N个， N小于M； 针对N个 目标孔洞遍历所有含有3个及3个以上目标孔洞的组合， 均可确定为3个以上不共线的目标 孔洞， 进而确定3个及3个以上不共线的目标孔洞的多个目标三维圆心坐标。 0084 本发明实施例提供的颅骨孔洞姿态估计方法， 终端设备基于双目相机的相机内外 参数和多组目标双目二维圆心坐标， 确定多个不共线的目标孔洞。

50、的多个目标三维圆心坐 标， 提高了确定目标三维圆心坐标的可靠准确性和有效稳定性。 0085 可选的， 步骤130的具体实现过程可以包括： 0086 首先， 基于多个目标三维圆心坐标， 确定颅骨孔洞图像中多个不共线的目标孔洞 所在平面的目标平面方程； 再进一步确定目标平面方程的法线向量； 然后， 基于法线向量， 确定双目颅骨孔洞图像中多个孔洞的法向姿态角估计值。 0087 具体的， 基于3个及3个以上不共线的目标孔洞的目标三维圆心坐标， 可以拟合3个 及3个以上不共线的目标孔洞所在平面的目标平面方程为Ax+By+Cz+D0， 并确定目标平面 方程的法线向量为(A,B,C)， 法线向量也即目标孔洞。