YOLOV5模型部署到安卓端（复现）

您所在的位置：网站首页 › 手机上什么软件可以换人头 › YOLOV5模型部署到安卓端（复现）

YOLOV5模型部署到安卓端（复现）

2024-07-15 01:16:12| 来源: 网络整理| 查看: 265

主要参考Yolov5自定义图片训练测试及模型调优（详细过程）和记录历经三天将自己的yolov5模型部署到Android安卓手机进行部署复现，此处针对遇到的问题进行记录，分为部署思路和遇到的问题以及解决

一、部署思路

获取图片数据集——训练模型——模型导出为onnx格式——ubuntu环境中实现onnx转换为ncnn格式——将ncnn的模型权重和参数文件复制到ncnn-android-yolov5文件中，并使用android studio编译工程，安装到手机上

1.训练模型 1）数据集获取：采用Le2i视频数据集，通过python脚本方式将跌倒帧图片采集

Le2i：

图片提取：

源码：

import cv2 import os import numpy as np import pandas """ 整体功能是实现视频按照对应txt文件中前两行帧数决定具体选择哪些帧作为图片（我选择跌倒开始帧、跌倒开始帧加10、跌倒结束帧、跌倒结束帧加10），图片存放在递增的文件夹中""" #该函数实现视频转换为图片 def video_to_frames(video_path,output_path): cap=cv2.VideoCapture(video_path) count=0 numForname=1 savedPic=read_tablemethod(txtPath) #判断视频是否打开，是则返回true while cap.isOpened(): #ret是标志位，判断视频帧是否读到frame中，是则返回true ret,frame=cap.read() if ret: #此处判断视频帧是否是我设定想取得的帧编号，是则生成对应的jpg并count加一，不是则count加一去找下一个 if count in (savedPic[0],savedPic[0]+10,savedPic[1],savedPic[1]+10): #这个try没有太大作用，此处通过join实现路径拼接即imwrite（路径，帧），而他的路径又通过join函数拼接 try: cv2.imwrite(os.path.join(output_path,f"0{k:02d}frame{numForname:04d}.jpg"),frame) numForname +=1 except: # os.makedirs("./fall-dataset/pic/03") print("输出目录不存在") count +=1 else : count +=1 else: break cap.release() #该方法目的在于读取txt文件前两行的内容，进而确定需要截取的帧 def read_tablemethod(filepath): #panda的读取文件获得的是一个表，属性是DataFrame，所以需要对其进行格式转换 data=pandas.read_table(filepath,header=None,delim_whitespace=True) #我这里先给他取出来成为一维向量，然后再进行格式转换为int firstTwoFps=np.array([data.at[0,0],data.at[1,0]]).astype(int) return firstTwoFps """ def file_remove(): savedPic=read_tablemethod("./FallDataset/Coffee_room_01/Annotation_files/video (1).txt") i=0 match filename: path="./fall-dataset/pic/"+file_name+".jpg" os.remove(path) """ if __name__=="__main__": """ data=loadTxtMethod("./FallDataset/Coffee_room_01/Annotation_files/video (1).txt") print(data) """ #获取文件夹内视频文件的个数，看需要更改多少次文件路径 files=os.listdir("./FallDataset/Home_01/Videos") num_videos=len(files) k=1 for k in range(1,num_videos+1): #每次更改txt和video的文件路径，通过makedirs命令创建存储图片的文件夹 txtPath="./FallDataset/Home_01/Annotation_files/video ("+str(k)+").txt" videoPath="./FallDataset/Home_01/Videos/video ("+str(k)+").avi" picPath="./fall-dataset/pic/0"+str(k) os.makedirs(picPath) #将视频转换为图片 video_to_frames(videoPath,picPath) 2）图片标注：采取Yolov5自定义图片训练测试及模型调优（详细过程）的方法，使用Maksense.Ai进行图片上传及标注，具体流程大佬的文章已阐述，此处补充一下遇到的问题

问题：网站一次只能上传一张图片，对于大量图片的上传有点麻烦

解决方法：考虑使用selenium实现自动化上传

源码：

from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By import time from selenium.webdriver.common.action_chains import ActionChains import os """ 标注网站无法上传所有图片，所以提出这个脚本进行自动化处理，主要目的是实现图片批量化上传 """ url="https://www.makesense.ai/" driver=webdriver.Chrome() def login(): #打开网页并进入 driver.get(url) driver.find_element(By.XPATH,"/html/body/div/div/div/div[4]/div[4]").click() driver.fullscreen_window() time.sleep(1) #此处通过input文件属性上传一张图片，以开始图像标注 driver.find_element_by_xpath("//input[@type='file']").send_keys('C:/Users/niejl/Desktop/yolov5/fall-dataset/pic/Home_01/01/01frame0001.jpg') time.sleep(1) driver.find_element_by_xpath("/html/body/div[1]/div/div/div[4]/div[2]/div[2]/div[1]").click() time.sleep(1) driver.find_element_by_xpath("/html/body/div/div/div[2]/div/div[3]/div[2]").click() def fileUpLoad(): #上传图片的逻辑 time.sleep(1) i=1 #输入需要上传的图片目录，通过for循环遍历 files=os.listdir("C:/Users/niejl/Desktop/yolov5/fall-dataset/pic/Home_01") num=len(files) for i in range(1,num+1): picPath=f"C:/Users/niejl/Desktop/yolov5/fall-dataset/pic/Home_01/0{i}/0{i}frame0004.jpg" #点击ACTION按钮 driver.find_element_by_xpath("/html/body/div/div/div/div[1]/div[2]/div[2]/div/div[1]").click() #点击上传图片 driver.find_element_by_xpath("/html/body/div/div/div/div[1]/div[2]/div[2]/div/div[3]/div[2]").click() #默认上传0004结尾的图片，也就是一定跌倒的图片，如果没有，则上传0002的图片 try: driver.find_element_by_xpath("//input[@type='file']").send_keys(picPath) except: picPath=f"C:/Users/niejl/Desktop/yolov5/fall-dataset/pic/Home_01/0{i}/0{i}frame0002.jpg" driver.find_element_by_xpath("//input[@type='file']").send_keys(picPath) #选择上传 driver.find_element_by_xpath("/html/body/div/div/div[2]/div/div[3]/div[2]").click() if __name__=="__main__": login() fileUpLoad() 3）模型训练：

方法同：Yolov5自定义图片训练测试及模型调优（详细过程）

更改配置文件并进行训练

python train.py --cfg models/yolov5s_fall.yaml --data data/coco128_fall.yaml --weights yolov5s.pt --epoch 150 --batch-size 32

得到对应权重文件：

训练问题：

Numpy版本问题（我的是1.26.2，pip uninstall numpy；pip install numpy==1.22.4 解决）

xml转txt标注时出现此问题，标注文件格式不对，用原生txt的标注文件可以成功训练

问题代码：

更改后解决问题：

xml转txt源码：

import os import xml.etree.ElementTree as ET #是否需要转换，如果不需要转换的话记得配置好txt文件和images文件到newdir和picdir，然后就可以开始分割 beginXml2txt=1 #在目标目录的下一级创建dataset,并自动分割成yolov5所需训练集 targetdir='C:/Users/niejl/Desktop/yolov5/data/pp_fall' #待转换数据集目录，转换后的txt文件生成在该路径下的txt文件夹中，同时更改该路径下图片文件夹中的图片 rawdir='C:/Users/niejl/Desktop/yolov5/data/pp_fall' #待转换xml文件目录，根据具体标注文件夹的名称进行更改 dirpath=f'{rawdir}/Annotations' #对应图片目录，程序会将标注文件里没有宽度标注的图片自动删除，所以需要提供对应的图片目录 picdir=f'{rawdir}/images' #输出txt文件目录 newdir=f'{rawdir}/txt' #对应标签 dict_info={'fall':0} images_train=f'{targetdir}/dataset/images/train' images_test=f'{targetdir}/dataset/images/test' images_val=f'{targetdir}/dataset/images/val' labels_train=f'{targetdir}/dataset/labels/train' labels_test=f'{targetdir}/dataset/labels/test' labels_val=f'{targetdir}/dataset/labels/val' def xml2txt(): if not os.path.exists(newdir): os.makedirs(newdir) for fp in os.listdir(dirpath): if fp.endswith('.xml'): root=ET.parse(os.path.join(dirpath,fp)).getroot() xmin,ymin,xmax,ymax=0,0,0,0 sz=root.find('size') width=float(sz[0].text) height=float(sz[1].text) filename=root.find('filename').text for child in root.findall('object'): sub=child.find('bndbox') label=child.find('name').text label_=dict_info.get(label) xmin=float(sub[0].text) ymin=float(sub[1].text) xmax=float(sub[2].text) ymax=float(sub[3].text) try: x_center=(xmin+xmax)/(2*width) x_center='%.6f' % x_center y_center=(ymin+ymax)/(2*height) y_center='%.6f' % y_center w=(xmax-xmin)/width w='%.6f' % w h=(ymax-ymin)/height h='%.6f' % h with open(os.path.join(newdir,fp.split('.xml')[0]+'.txt'),'a+')as f: f.write(''.join([str(label_),' ',str(x_center),' ',str(y_center),' ',str(w),' ',str(h)+'\n'])) #这里加一个除以零的错误，因为确实有些标注数据给的宽度是0 except ZeroDivisionError: print(filename,'的width有问题') #删除对应的图片 os.remove(os.path.join(picdir,filename)) break def datasetInit(): if not os.path.exists(images_train): os.makedirs(images_train) if not os.path.exists(images_test): os.makedirs(images_test) if not os.path.exists(images_val): os.makedirs(images_val) if not os.path.exists(labels_train): os.makedirs(labels_train) if not os.path.exists(labels_test): os.makedirs(labels_test) if not os.path.exists(labels_val): os.makedirs(labels_val) def datasetSplit(): datasetInit() divs=[8,1,1] k=0 num=len(os.listdir(newdir)) lab_target=[labels_train,labels_test,labels_val] pic_target=[images_train,images_test,images_val] for lb_t in lab_target: for div in divs: i=0 for raw_txt in os.listdir(newdir): i+=1 filename=raw_txt.split('.txt')[0] os.rename(os.path.join(newdir,raw_txt),os.path.join(lab_target[k],raw_txt)) os.rename(os.path.join(picdir,filename+".jpg"),os.path.join(pic_target[k],filename+".jpg")) if i==int((num*divs[k])/(divs[0]+divs[1]+divs[2])): if k==2: break else: k+=1 break if __name__=="__main__": if beginXml2txt : xml2txt() datasetSplit() print('ok')

2.导出模型

并且通过export.py命令导出onnx文件（原文章中没有include onnx engine，可能导致无法导出）

添加这个命令后可以正常导出onnx格式文件

python export.py --weights runs/train/exp2/weights/best.pt --include onnx engine

简化onnx文件

python -m onnxsim best.onnx best-sim.onnx

将这两个文件打包备用