史上最详细yolov5环境配置搭建+配置所需文件 | 您所在的位置:网站首页 › linux安装yolov › 史上最详细yolov5环境配置搭建+配置所需文件 |
yolov5的配置过程总体来说还算简单,但是网上大部分博客都没有仔细介绍具体步骤,本文将从最细节的层面记录windows10系统下的yolov5环境配置的全过程,以及yolov5使用的一些细节,以及如何制作和训练自己的数据集。 注:yolov5官网代码更新速度较快,相关依赖环境如pytorch,apex等也会采用更新的版本。博主上传了8月配置成功的工程文件,如需要老版本代码可以自行下载或从官网下载。若配置遇到困难可以参考评论区的一些回答,若还未解决,欢迎评论区留言或私信,博主将尽力解决。 @ 目录yolov5介绍资料一、基础部分:二、代码部分:三、优秀的实际应用:环境配置所需资源第一步-下载源码第二步-安装anaconda与pycharm第三步-安装cuda10.2和cudnn-10.2-windows10-x64-v7.6.5.32第四步-安装pytorch1.5.1以及其他库第五步-下载权重文件第六步-实际测试第七步(可选操作)-安装apex第八步-训练自制数据集1.coco128数据集2.coco2017数据集3.真正的自制数据集4.虚假的自制数据集1.生成随机数据集的代码如下2.创建yaml文件3.更改train.py的设置 yolov5介绍先来介绍一下yolov5
1.深入浅出Yolo系列之Yolov3&Yolov4&Yolov5核心基础知识完整讲解 2.深入浅出Yolo系列之Yolov5核心基础知识完整讲解 3.从V1到V4,让你读懂YOLO原理 二、代码部分:4.YOLOv5代码详解(yolov5l.yaml部分) 5.YOLOv5代码详解(common.py部分) 6.YOLOv5代码详解(test.py部分) 7.YOLOv5代码详解(train.py部分) 三、优秀的实际应用:8.实时吸烟目标检测 环境配置所需资源使用到的工具有 1.anaconda,pycharm 2.cuda10.2+cudnn-10.2-windows10-x64-v7.6.5.32+pytorch1.5.1-gpu+。。。。。。。。 ps(对于本文使用的旧版代码pytorch只要大于等于1.5.1即可,新版代码需与官网要求相同--1.6.0+,本文将在之后说明安装步骤) 所需资源: 本博客免费提供所有win10的cuda和cudnn,百度云,提取码:78il 以及anaconda和pycharm的安装包百度云,提取码:95q7 以及权重文件百度云,提取码:9pfg 以及GitHub官方yolov5源码百度云(官网源码已更新,建议下载此源码),提取码:tyn6 以及官方提供的coco测试数据集百度云,提取码:ny9j 配置正式开始 第一步-下载源码本文采用的是yolov5官网提供的pytorch框架下的源码(官方代码为最新修改,建议使用本文提供的的代码版本--7月31日更新,可从上文百度云链接中下载),点击红色区域即可下载源码压缩包
两个开发工具从官网均可下载。 anaconda是一个管理用于python开发的包含不同库的虚拟环境的平台,可以高效的管理和创建适用于多个不同项目的project interpreter。安装完成自带一个根环境,路径在conda的安装目录下。进入后可以在环境管理页面创建新环境,新环境的路径在安装目录下的envs中存储,在pycharm中设置interpreter时需要找到所需环境的存储位置,interpreter设置选择conda enviroment,填写python.exe的路径即可完成编译环境与项目的绑定。之后进行虚拟环境设置,安装新的库的时候只需打开cmd,输入activate 环境名,即可进入环境目录,之后pip安装所需库即可。 首先从官网上下载anaconda-py3.7-64版本,勾选这两项方便环境配置,如果安装时没有勾选这两项建议重新安装,并!重!启!,涉及到环境变量的改动都建议在修改后重启。
完成anaconda安装后,从官网下载pycharm,解压安装完成后创建工程,路径选择到之前解压源码的无中文字符路径,注意!!!!,创建完成后此处有红框标记的文件即为路径正确(也可先创建再解压到工程文件中)
第三步:更改环境变量
进入环境变量编辑页面,此时已经将cuda10.2安装到默认的NVIDIA cumputing toolkit路径下,需要将系统的环境变量修改为cuda10.2,把10.0的变量去掉。同一台电脑可以拥有多个不同版本的cuda,如果需要用低版本的cuda,只需要将系统环境变量修改为低版本,将高版本的删除即可。
此时应该有如下两个变量,如果以前安装的有残存的cuda10.0的路径,删除即可
第五步:验证
打开cmd,输入nvcc -V验证cuda是否安装成功,出现如下界面即为成功 以管理员身份进入cmd,输入activate yolov5test进入环境目录下,输入 pip install torch===1.5.1 torchvision===0.6.1 -f https://download.pytorch.org/whl/torch_stable.html -i https://pypi.douban.com/simple使用豆瓣源安装,很多是使用清华源,但是清华源安装时容易超时而导致安装失败,有条件的可以FQ直接安装,效果非常好。 安装完成后再pycharm中创建文件,输入验证pytorch安装是否成功 import torch print(torch.cuda.is_available()) print(torch.__version__)出现以下结果即为安装成功
可以根据下面的指令,依次输入以下命令安装相应的库: pip install Cython pip install numpy pip install opencv-python pip install matplotlib pip install pillow pip install tensorboard pip install PyYAML pip install torchvision pip install scipy pip install tqdm 第五步-下载权重文件将下载的权重文件放入项目文件夹中!!!!注意是项目文件夹,而不是weights文件夹!!!!!!
打开项目文件夹,找到inference,这里images存储测试数据,output存储测试结果,同样,测试数据名称不能带有中文字符
默认值改成0即可 本人使用i7-8750+1050Ti跑手机录像30~50FPS,效果还可以 ps:如果出现页面文件太小,无法完成操作,这样的错误是因为虚拟内存不足(虚拟内存定义参考操作系统的虚拟内存),参考修改页面文件即可解决 第七步(可选操作)-安装apex官网地址 介绍: 这个存储库包含nvidia维护的实用程序,以简化Pytorch中的混合精度和分布式培训。这里的一些代码将包括在上游Pytorch最终。Apex的目的是尽可能快地为用户提供最新的实用程序。 Windows support is experimental, and Linux is recommended. pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" . may work if you were able to build Pytorch from source on your system. pip install -v --no-cache-dir . (without CUDA/C++ extensions) is more likely to work. If you installed Pytorch in a Conda environment, make sure to install Apex in that same environment. 1.从官网上下载源码,降里面的内容解压到yolov5工程文件夹下 2.打开pycharm的terminal界面,输入 pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext"但是感觉貌似不太对。。输入会报 ERROR: You must give at least one requirement to install (see "pip help install")可以尝试在terminal中输入 python setup.py install --cpp_ext --cuda_ext等待1-2分钟即可完成安装 第八步-训练自制数据集 1.coco128数据集训练数据集需要下载coco数据集,解压到与工程文件并列的位置,运行train.py 注:如果使用自制训练集训练自己的网络模型且GPU不太给力,可以调小网络参数和训练规模。(因为coco128数据集只有128张图片,且标记的种类较多,所以训练出来的网络最终效果不太理想,只是用来测试是否可以训练) 2.coco2017数据集因为数据集较大,且标注为json格式。。。。(听说要转xml再转txt才能训练yolov5?),顾再研究研究,有大佬知道的可以评论去补充一波
感谢Thanks♪(・ω・)ノ
coco2017标注为json格式
在此给出已经完成转换的两种格式的压缩包xml,txt
并给出将json->xml->txt格式标注的源码 json2xml.py # 使用时仅需修改21、22、24行路径文件 import os import time import json import pandas as pd from tqdm import tqdm from pycocotools.coco import COCO def trans_id(category_id): names = [] namesid = [] for i in range(0, len(cats)): names.append(cats[i]['name']) namesid.append(cats[i]['id']) index = namesid.index(category_id) return index root = 'coco2017' # 你下载的 COCO 数据集所在目录 dataType = 'train2017' anno = '{}/annotations/instances_{}.json'.format(root, dataType) xml_dir = '{}/xml/{}_xml'.format(root, dataType) coco = COCO(anno) # 读文件 cats = coco.loadCats(coco.getCatIds()) # 这里loadCats就是coco提供的接口,获取类别 # Create anno dir dttm = time.strftime("%Y%m%d%H%M%S", time.localtime()) if os.path.exists(xml_dir): os.rename(xml_dir, xml_dir + dttm) os.mkdir(xml_dir) with open(anno, 'r') as load_f: f = json.load(load_f) imgs = f['images'] df_cate = pd.DataFrame(f['categories']) df_cate_sort = df_cate.sort_values(["id"], ascending=True) categories = list(df_cate_sort['name']) print('categories = ', categories) df_anno = pd.DataFrame(f['annotations']) for i in tqdm(range(len(imgs))): xml_content = [] file_name = imgs[i]['file_name'] height = imgs[i]['height'] img_id = imgs[i]['id'] width = imgs[i]['width'] xml_content.append("") xml_content.append(" VOC2007") xml_content.append(" " + file_name + "") xml_content.append(" ") xml_content.append(" " + str(width) + "") xml_content.append(" " + str(height) + "") xml_content.append(" ") xml_content.append(" 0") # 通过img_id找到annotations annos = df_anno[df_anno["image_id"].isin([img_id])] for index, row in annos.iterrows(): bbox = row["bbox"] category_id = row["category_id"] cate_name = categories[trans_id(category_id)] # add new object xml_content.append(" ") xml_content.append(" " + cate_name + "") xml_content.append(" Unspecified") xml_content.append(" 0") xml_content.append(" 0") xml_content.append(" ") xml_content.append(" " + str(int(bbox[0])) + "") xml_content.append(" " + str(int(bbox[1])) + "") xml_content.append(" " + str(int(bbox[0] + bbox[2])) + "") xml_content.append(" " + str(int(bbox[1] + bbox[3])) + "") xml_content.append(" ") xml_content.append(" ") xml_content.append("") x = xml_content xml_content = [x[i] for i in range(0, len(x)) if x[i] != "\n"] ### list存入文件 xml_path = os.path.join(xml_dir, file_name.replace('.jpg', '.xml')) with open(xml_path, 'w+', encoding="utf8") as f: f.write('\n'.join(xml_content)) xml_content[:] = []xml2txt.py import os.path import xml.etree.ElementTree as ET class_names = ['lip'] xmlpath = 'F:\\share\\标注\\xml\\' # xml文件的位置 txtpath = 'F:\\share\\标注\\txt\\' # 导出txt的位置 files=[] for root, dirs, files in os.walk(xmlpath): None number = len(files) i = 0 while i < number: name = files[i][0:-4] xml_name = name + ".xml" txt_name = name + ".txt" xml_file_name = xmlpath + xml_name txt_file_name = txtpath + txt_name xml_file = open(xml_file_name) tree = ET.parse(xml_file) root = tree.getroot() filename = root.find('filename').text image_name = root.find('filename').text w = int(root.find('size').find('width').text) h = int(root.find('size').find('height').text) f_txt = open(txt_file_name, 'w+') content = "" first = True for obj in root.iter('object'): name = obj.find('name').text class_num = class_names.index(name) xmlbox = obj.find('bndbox') x1 = int(xmlbox.find('xmin').text) x2 = int(xmlbox.find('xmax').text) y1 = int(xmlbox.find('ymin').text) y2 = int(xmlbox.find('ymax').text) if first: content += str(class_num) + " " + \ str((x1+x2)/2/w) + " " + str((y1+y2)/2/h) + " " + \ str((x2-x1)/w) + " " + str((y2-y1)/h) first=False else: content += "\n" + \ str(class_num) + " " + \ str((x1 + x2) / 2 / w) + " " + str((y1 + y2) / 2 / h) + " " + \ str((x2 - x1) / w) + " " + str((y2 - y1) / h) print(str(i/(number - 1) * 100) + "%\n") f_txt.write(content) f_txt.close() xml_file.close() i += 1 print("done!") 3.真正的自制数据集使用各种目标检测的标注工具都行,我用的LabelImg
可以下载源码安装,也可以直接pip安装 安装方法参考: https://blog.csdn.net/qq_34809033/article/details/80589868?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight 使用方法参考: https://zhuanlan.zhihu.com/p/90834296 https://blog.csdn.net/python_pycharm/article/details/85338801 4.虚假的自制数据集尝试训练了coco128数据集,但是效果不理想。 可以采用了pygame绘图自制数据集训练的方法。 1.生成随机数据集的代码如下 import math import random import pygame pygame.init() windowSize = [640, 640] screen = pygame.display.set_mode(windowSize) clock = pygame.time.Clock() color = pygame.color.Color('#57B0F6') black = pygame.color.Color('#000000') count = 0 done = False fileNo = 0 round = 1 while not done and round=1 and round=10 and round=100 and roundcircle.yaml parser.add_argument('--data', type=str, default='data/circle.yaml', help='data.yaml path') # parser.add_argument('--hyp', type=str, default='', help='hyp.yaml path (optional)') # 指的就是训练过程中整个数据集将被迭代多少次,显卡不行你就调小点 parser.add_argument('--epochs', type=int, default=100) # batch-size:一次看完多少张图片才进行权重更新,梯度下降的mini-batch,显卡不行你就调小点。 parser.add_argument('--batch-size', type=int, default=30, help="Total batch size for all gpus.") # 输入图片宽高,显卡不行你就调小点。-------必须是32的倍数,输入250会自动调整成256 parser.add_argument('--img-size', nargs='+', type=int, default=[320, 320], help='train,test sizes') # 进行矩形训练 parser.add_argument('--rect', action='store_true', help='rectangular training') # 恢复最近保存的模型开始训练 parser.add_argument('--resume', nargs='?', const='get_last', default=False, help='resume from given path/to/last.pt, or most recent run if blank.') # 仅保存最终checkpoint parser.add_argument('--nosave', action='store_true', help='only save final checkpoint') # 仅测试最后的epoch parser.add_argument('--notest', action='store_true', help='only test final epoch') # parser.add_argument('--noautoanchor', action='store_true', help='disable autoanchor check') # 进化超参数 parser.add_argument('--evolve', action='store_true', help='evolve hyperparameters') # gsutil bucket parser.add_argument('--bucket', type=str, default='', help='gsutil bucket') # 缓存图像以加快训练速度 parser.add_argument('--cache-images', action='store_true', help='cache images for faster training') # 权重文件路径,用于迁移训练,可以以官方提供的几个训练好的模型为基础进行训练 # default='' ----> default='yolov5s.pt' parser.add_argument('--weights', type=str, default='', help='initial weights path') # 重命名results.txt to results_name.txt parser.add_argument('--name', default='', help='renames results.txt to results_name.txt if supplied') # cuda device, i.e. 0 or 0,1,2,3 or cpu parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu') # 多尺度训练,img-size +/- 50% parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%%') # 单类别的训练集 parser.add_argument('--single-cls', action='store_true', help='train as single-class dataset')打开train.py,找到后面位置的这个语句,将default改为自己的circle.yaml的路径 parser.add_argument('--data', type=str, default='data/circle.yaml', help='data.yaml path')本人使用1050Ti+i7-8750的笔记本电脑,采用320,320图片输入,训练100轮次,训练时间大约1.5小时 完成训练后会在yolov5文件夹的run下保存有训练模型以及训练参数的图表
|
CopyRight 2018-2019 实验室设备网 版权所有 |