一种基于机器视觉的便携式手语翻译设备及方法

1.本发明涉及机器视觉及手语翻译技术领域，具体为一种基于机器视觉的便携式手语翻译设备及方法。

背景技术：

2.手语是聋哑人之间交流的主要方式,但是正常人与聋哑人交流时经常会遇到障碍，致使其无法理解聋哑人所要表达的意思，无法为其提供服务和帮助。3.随着手语助残等产品逐渐走向市场，其中人工类的app市场份额最大，多用于银行、机场等场所。考虑到其使用环境受限、人工费、翻译者水平参差不齐等问题，人工智能类的手语产品行业逐渐兴起，但现有的手语翻译设备或不便于携带，且价格高昂；例如，现有的基于数据手套的手语识别系统，其利用数据手套和位置跟踪器测量手势在空间运动轨迹和时序信息，主要基于隐马尔科夫模型等手势识别技术，从而获取使用者手部运动数据，但其具有的局限性包括：参数较多、环境可靠性差、精度低、价格昂贵等。4.利用机器视觉及相关的训练算法，将聋哑人作出的手语动作进行处理、识别匹配并进而输出，不仅能够解决手语识别、打破聋哑人交流障碍。同时由于手部属于人的基本特征，对手势的识别处理在人机交互等领域也占据着非常重要的地位。通过对人手特征的精确捕捉、跟踪与特征提取，不仅可以解决手语与口语、手语与手语之间交流困难的问题。因此，亟需一种基于机器视觉的便于携带、互动性高、成本低的便携式手语翻译设备。

技术实现要素：

5.本发明意在提供一种基于机器视觉的便携式手语翻译设备及方法，以解决现有技术手语翻译设备不便于携带、互动性差和成本较高的问题。6.为了实现上述目的，本发明提供如下技术方案：7.一种基于机器视觉的便携式手语翻译设备，包括设备本体，所述设备本体连接有电源模块、数据处理模块、摄像头模块、扬声器模块和麦克风模块；8.所述摄像头模块、所述扬声器模块和所述麦克风模块均通过电导线与所述数据处理模块连接；9.所述数据处理模块、所述摄像头模块、所述扬声器模块和所述麦克风模块均通过电导线与所述电源模块连接；10.所述数据处理模块用于处理采集的手语动作和输入的口语语音，并将其转化为输出的口语语音和文本信息；11.所述摄像头模块用于采集手语动作；12.所述扬声器模块用于播放口语语音；13.所述麦克风模块用于接收口语语音。14.进一步地，所述数据处理模块为树莓派4b，所述摄像头模块为csi摄像头，所述扬声器模块为带有语音输入的有线或无线耳机，所述麦克风模块为搭载有ld3320芯片的语音识别模块；所述树莓派4b集成了csi排线接口和有线耳机连接口，且用python语言实现核心机器视觉算法。15.进一步地，所述设备本体还连接有显示模块，所述显示模块通过电导线与所述数据处理模块和所述电源模块连接，所述数据处理模块还将输入的口语语音转化为显示的文本信息，所述显示模块用于显示文本信息。16.上述的一种基于机器视觉的便携式手语翻译设备的翻译方法，包括以下步骤：17.s1、根据机器视觉原理，在所述数据处理模块内构建及其学习管道的mediapipe框架，以识别所述摄像头模块采集到的手语动作；18.s2、所述数据处理模块对整个图像进行手掌检测，手部坐标模型通过回归对检测到的手部区域内的多个3d手肘坐标进行精确的关键点定位；19.s3、将所述摄像头模块采集的图像回传给所述数据处理模块进行计算推演，获取手掌特征信息并标记关键点，与已有的手语动作模型进行比较，以完成图像实时检测任务；20.s4、所述数据处理模块将检测到的手语动作传输至所述扬声器模块播放口语语音，同时也传输至所述显示模块显示文本信息。21.进一步地，在s1中，为避免实时传输的图像因光线等原因造成图像噪声过大，利用hqdn3d算法对采集图像的过程进行降噪处理，具体的算法为：22.逐像素进行，不涉及频域变换；3d去噪时参考左邻、上邻、上帧同一位置的三个像素；根据相邻像素的差确定偏置量，将相邻像素的颜色值“拉近”：对于较小的像素差异拉近其颜色值的距离，对于较大的像素差异降低偏置系数，达到保边效果；通过外部设置滤波强度，调整峰值位置。23.进一步地，在s1中，为避免实时传输时因摄像头不稳定造成图像失焦，利用laplace滤波算法增强图像边缘，具体的算法为：24.先在opencv中提供cv:laplace函数，对图像求二阶导数，由于图像是二维的，故无需分开求横向和纵向的导数；然后相加即可；laplace函数的判断条件为：当梯度最大时，二阶导数为0，从而能够很好的表现出图像的边界和轮廓。25.上述的一种基于机器视觉的便携式手语翻译设备的翻译方法，包括以下步骤：26.s1、在所述麦克风模块的语音识别模块ld3320芯片内录入识别词语的拼音和序号，在所述述数据处理模块内储存手语动作对应的手语文本信息；27.s2、所述麦克风模块识别到对应的词语时会在结果寄存器里更新为识别给过对应的序号，得到相应的文本信息，将其上传至所述数据处理模块，在所述数据处理模块内将文本信息与手语动作图像视频进行匹配；28.s3、所述数据处理模块将所得的文字信息传输至所述显示模块，所述显示模块显示最终的文本信息。29.本技术方案的有益效果是：30.1、本设备成本低；现有的手语翻译设备如手语翻译手套、手语翻译机售价在7000元左右，而本设备硬件成本在1000元左右，更易被受聋哑人群所接受；31.2.体积小，质量轻，便于携带；现有的配戴手语翻译手套过长时间易使手部疲劳损伤，体积过大的手语翻译机更是不便于随身携带，而本设备硬件组成简单、集成度高，便于使用者配戴和稳定使用；32.3.手语识别速度快、精确度高；现有的手语翻译手套基于手套上搭载的运动传感器跟踪动作，从而实现手语翻译的目的；而本设备基于机器视觉技术，利用搭载的摄像头采集图像，利用hqdn3d算法、laplace滤波算法和medaipipe框架模式翻译手语动作，在实时性更高，翻译速度更快，准确性也高达95.7％；33.4.实现了交互式交流，大大方便正常人群与聋哑人群间的沟通；本设备既能将手语动作实时翻译为语音信息，以方便正常人理解手语信息；又能将语音信息实时转换为文本信息以方便聋哑人理解正常人的语言表达。附图说明34.图1为本发明一种基于机器视觉的便携式手语翻译设备的系统示意图；35.图2为使用本发明一种基于机器视觉的便携式手语翻译设备的示意图；36.图3为本发明一种基于机器视觉的便携式手语翻译设备的翻译方法的数据处理流程图；37.图4为利用本发明一种基于机器视觉的便携式手语翻译设备的翻译时手部关键点模型图；38.图5为利用本发明一种基于机器视觉的便携式手语翻译设备的翻译时hqdn3d算法效果图；39.图中，(a)为降噪前的图像；(b)为降噪后的图像40.图6为利用本发明一种基于机器视觉的便携式手语翻译设备的翻译时laplace算法效果图；41.图中，(a)为边缘增强前的图像；(b)为边缘增强后的图像42.图7为利用本发明一种基于机器视觉的便携式手语翻译设备的采集得到的部分手语动作的效果图；43.附图中的对应标记的名称为：44.设备本体1、电源模块2、数据处理模块3、摄像头模块4、扬声器模块5、麦克风模块6、显示模块7。具体实施方式45.下面结合附图和实施方式对本发明作进一步的详细说明：46.如图1所示，一种基于机器视觉的便携式手语翻译设备，包括设备本体1，设备本体1连接有电源模块2、数据处理模块3、摄像头模块4、扬声器模块5、麦克风模块6和显示模块7；数据处理模块3为树莓派4b，摄像头模块4为csi摄像头，扬声器模块5为带有语音输入的有线耳机，麦克风模块6为搭载有ld3320芯片的语音识别模块；树莓派4b集成了csi排线接口和有线耳机连接口，且用python语言实现核心机器视觉算法；摄像头模块4、扬声器模块5、麦克风模块6和显示模块7均通过电导线与数据处理模块3连接；数据处理模块3、摄像头模块4、扬声器模块5、麦克风模块6和显示模块7均通过电导线与电源模块2连接；数据处理模块3用于处理采集的手语动作和输入的口语语音，并将其转化为输出的口语语音和文本信息；数据处理模块3还将采集的手语动作和输入的口语语音转化为显示的文本信息和手语动；摄像头模块4用于采集手语动作；扬声器模块5用于播放口语语音；麦克风模块6用于接收口语语音；显示模块7用于显示文本信息。47.如图2至图6所示，48.一种基于机器视觉的便携式手语翻译设备的翻译方法，包括以下步骤：49.s1、根据机器视觉原理，在数据处理模块3内构建及其学习管道的mediapipe框架，以识别摄像头模块4采集到的手语动作；50.其中，为避免实时传输的图像因光线等原因造成图像噪声过大，利用hqdn3d算法对采集图像的过程进行降噪处理，具体的算法为：51.逐像素进行，不涉及频域变换；3d去噪时参考左邻、上邻、上帧同一位置的三个像素；根据相邻像素的差确定偏置量，将相邻像素的颜色值“拉近”：对于较小的像素差异拉近其颜色值的距离，对于较大的像素差异降低偏置系数，达到保边效果；通过外部设置滤波强度，调整峰值位置；52.为避免实时传输时因摄像头不稳定造成图像失焦，利用laplace滤波算法增强图像边缘，具体的算法为：53.先在opencv中提供cv:laplace函数，对图像求二阶导数，由于图像是二维的，故无需分开求横向和纵向的导数；然后相加即可；laplace函数的判断条件为：当梯度最大时，二阶导数为0，从而能够很好的表现出图像的边界和轮廓；54.s2、数据处理模块3对整个图像进行手掌检测，手部坐标模型通过回归对检测到的手部区域内的21个3d手肘坐标进行精确的关键点定位；55.s3、将摄像头模块4采集的图像回传给数据处理模块3进行计算推演，获取手掌特征信息并标记关键点，与已有的手语动作模型进行比较，以完成图像实时检测任务；56.s4、数据处理模块3将检测到的手语动作传输至扬声器模块5播放口语语音，同时也传输至显示模块7显示文本信息。57.一种基于机器视觉的便携式手语翻译设备的翻译方法，包括以下步骤：58.s1、在麦克风模块6的语音识别模块ld3320芯片内录入识别词语的拼音和序号，在述数据处理模块3内储存手语动作图像视频；59.s2、麦克风模块6识别到对应的词语时会在结果寄存器里更新为识别给过对应的序号，得到相应的文本信息，将其上传至数据处理模块3，在数据处理模块3内将文本信息与手语动作图像视频进行匹配；60.s3、数据处理模块3将所得的文字信息与匹配的手语动作传输至显示模块7，显示模块7显示最终的文本信息。61.具体实施方式：62.如图7所示，本发明一种基于机器视觉的便携式手语翻译设备采集得到的部分手语动作效果，采集得到的手语动作清晰，可以实现正常人与聋哑人之间的正常交流。63.以上所述的仅是本发明的实施例，方案中公知的具体技术方案或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明技术方案的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本技术要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。