| 年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据) | 您所在的位置：网站首页 › 建模脸女生有什么特征 › 年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据) |
年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据)
|
年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据)
目录 年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据) 1.年龄性别预测和识别方法 2.年龄性别预测和识别数据集 3.人脸检测模型 4.年龄性别预测和识别模型训练 （1）项目安装 （2）准备数据 （3）年龄性别模型训练(Pytorch) （4） 可视化训练过程 （5） 年龄性别预测和识别效果 （6） 一些优化建议 （7） 一些运行错误处理方法 5.项目源码下载（Python版） （1）年龄性别预测和识别项目源码下载(推理版本) （2）年龄性别预测和识别项目源码下载(训练版本) 6.项目源码下载（C++版） 7.项目源码下载（Android版） 本项目将实现年龄性别预测和识别，整套方案采用二阶段方法实现，即首先使用通用的人脸检测算法(Face Detection)定位人脸区域，裁剪人脸，再构建多任务模型，分别进行年龄预测(Age)和性别识别(Gender)。项目分为数据集说明，Pytorch模型训练和C++/Android部署等多个章节，本篇是项目《年龄性别预测》系列文章之Pytorch实现年龄性别预测和识别；为了方便后续模型工程化和Android平台部署，项目骨干网络backbone支持resnet18/resnet50，以及轻量化模型MobilenetV2模型训练和测试，并提供Python/C++/Android多个版本；
项目基于深度学习Pytorch，构建了整套年龄性别预测和识别模型训练和测试框架；项目源码backbone模型支持的有resnet18,resnet50,以及轻量化模型mobilenet_v2等常见的深度学习模型，用户也可自定义进行训练；准确率还挺高的，采用轻量级mobilenet_v2模型的性别识别准确率0.9603左右，年龄预测MAE(平均绝对误差:)3.1935左右,CS5(预测年龄与真实年龄的绝对误差不过5年的准确率)0.8021左右，基本满足业务性能需求。 模型input size性别准确率年龄MAE年龄CS3年龄CS5AE_mobilenet_v2 112×1120.9603 3.1935 0.5969 0.8021 AE_resnet18 112×1120.9606 3.1795 0.5956 0.8010 AE_resnet50 112×1120.9609 3.2008 0.5900 0.8035 先展示一下，Python版本的年龄性别识别Demo效果
【尊重原创，转载请注明出处】 https://blog.csdn.net/guyuealian/article/details/135556789 更多项目《年龄性别预测》和《面部表情识别》系列文章请参考： 面部表情识别1：表情识别数据集(含下载链接)面部表情识别2：Pytorch实现表情识别(含表情识别数据集和训练代码)面部表情识别3：Android实现表情识别(含源码，可实时检测)面部表情识别4：C++实现表情识别(含源码，可实时检测)年龄性别预测1：年龄性别数据集说明(含下载地址)年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据)年龄性别预测3：Android实现年龄性别预测和识别(含源码，可实时预测)年龄性别预测4：C/C++实现年龄性别预测和识别(含源码，可实时预测)
年龄性别预测和识别方法有多种实现方案，这里采用最常规的二阶段方法实现，即首先使用通用的人脸检测算法(Face Detection)定位人脸区域，裁剪人脸，再构建多任务模型，分别进行年龄预测(Age)和性别识别(Gender)。 人脸检测：人脸检测算法已经有很多成熟开源项目了，本项目不作分析，可以参考使用MTCNN，DSFD，FaceBoxes，RFB等方法。性别识别：性别识别是一个简单二分类，训练使用交叉熵损失函数即可年龄预测：可以采用年龄分类方法，如SSR-Net模型，也可以结合回归的方法，如Label Distribution。就调研而言，基于Label Distribution的方法会比分类方法准确率会高一些。下图本项目构建的年龄性别预测和识别模型，其中 Backbone：主杆网络，用于提取人脸图像特征，可以使用任意的骨干网络，如resnet18,resnet34,resnet50以及轻量化模型mobilenet_v2等Gender-branch： 性别识别分支，用于对性别进行分类识别，损失函数使用交叉熵Age-branch： 年龄预测分支，对年龄进行预测，损失函数可以使用交叉熵或者Label Distribution，项目设定最大周岁是70周岁，训练数据中年龄大于70的lalel,会重置为70。
项目主要使用了三个数据集：MegaAge_Asian，MORPH以及IMDB-WIKI，考虑到IMDB-WIKI人脸数据集不够干净，实际模型训练，仅使用MegaAge_Asian和MORPH两个数据集 关于年龄性别数据集的使用说明，请参考我的一篇博客： 年龄性别预测1：年龄性别数据集说明(含下载地址)https://blog.csdn.net/guyuealian/article/details/135127124
本项目人脸检测训练代码请参考：https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB 这是一个基于SSD改进且轻量化后人脸检测模型，很轻巧，整个模型仅仅1.7M左右，在普通Android手机都可以实时检测。人脸检测方法在网上有一大堆现成的方法可以使用，如MTCNN，DSFD，FaceBoxes，完全可以不局限我这个方法。
关于人脸检测的方法，可以参考我的另一篇博客： 行人检测和人脸检测和人脸关键点检测（C++/Android源码） 4.年龄性别预测和识别模型训练项目模型支持resnet18,resnet50以及mobilenet_v2等常见的深度学习模型，考虑到后续我们需要将年龄性别识别模型部署到Android平台中，因此项目选择计算量比较小的轻量化模型mobilenet_v2作为样例进行验证和测试；如果不用端上部署，完全可以使用参数量更大的模型，如resnet50等模型。 整套工程项目基本结构如下： . ├── classifier # 训练模型相关工具 ├── configs # 训练配置文件 ├── data # 训练数据 ├── libs │ ├── convert # 将模型转换为ONNX工具 │ ├── detector # 人脸检测 │ └── README.md ├── demo.py # demo ├── README.md # 项目工程说明文档 ├── requirements.txt # 项目相关依赖包 └── train.py # 训练文件 （1）项目安装推荐使用Python3.8或Python3.7，更高版本可能存在版本差异问题，项目依赖python包请参考requirements.txt，使用pip安装即可： # python3.8 numpy==1.21.6 matplotlib==3.1.0 Pillow==6.0.0 easydict==1.9 onnx==1.14.0 onnx-simplifier==0.4.33 onnxruntime==1.15.1 onnxruntime-gpu==1.15.1 onnxsim==0.4.33 opencv-contrib-python==4.8.1.78 opencv-python==4.8.0.76 pandas==1.1.5 PyYAML==5.3.1 Pillow==9.5.0 scikit-image==0.21.0 scikit-learn==1.2.2 scipy==1.10.1 seaborn==0.12.2 tensorboard==2.13.0 tensorboardX==2.6.1 torch==1.13.1+cu117 torchvision==0.14.1+cu117 tqdm==4.55.1 xmltodict==0.12.0 basetrainer==0.8.2 pybaseutils==0.9.7项目安装教程请参考（初学者入门，麻烦先看完下面教程，配置好开发环境）： 项目开发使用教程和常见问题和解决方法视频教程：1 手把手教你安装CUDA和cuDNN(1)视频教程：2 手把手教你安装CUDA和cuDNN(2)视频教程：3 如何用Anaconda创建pycharm环境视频教程：4 如何在pycharm中使用Anaconda创建的python环境推荐使用Python3.8或Python3.7，更高版本可能存在版本差异问题 （2）准备数据下载年龄性别数据集：MegaAge_Asian，MORPH以及IMDB-WIKI，关于年龄性别数据的使用说明请参考我的一篇博客：https://blog.csdn.net/guyuealian/article/details/135127124 注意：可以参考数据格式，增加自己的业务场景数据；采集同一个人不同年龄阶段的人脸数据加入模型训练，可以有效提升年龄预测的精准度。 （3）年龄性别模型训练(Pytorch)项目在《Pytorch基础训练库Pytorch-Base-Trainer(支持模型剪枝 分布式训练)》基础上实现了年龄性别模型训练和测试，整套训练代码非常简单操作，用户只需要将相同类别的图片数据放在同一个目录下，并填写好对应的数据路径，即可开始训练了。 训练框架采用Pytorch，整套训练代码支持的内容主要有： 目前支持的backbone有：resnet[18,34,50], ,mobilenet_v2等， 其他backbone可以自定义添加训练参数可以通过(configs/config.yaml)配置文件进行设置损失函数使用Label Distribution方法进行训练，也会比直接使用交叉熵损失函数效果要好。修改配置文件的数据路径：configs/config.yaml： train_data和test_data修改为自己的数据路径注意数据路径分隔符使用【/】,不是【\】项目不要出现含有中文字符的目录文件或路径，否则会出现很多异常！ # 训练数据集，可支持多个数据集(不要出现中文路径) data_type: "age_gender" train_data: - "D:/age_gender/megaage_asian/train.txt" - "D:/age_gender/morph/train.txt" # 测试数据集(不要出现中文路径) test_data: - "D:/age_gender/megaage_asian/test.txt" # 类别文件 class_name: [ "female","male" ] gender_class: 2 # 性别类别数 gender_loss: "CrossEntropyLoss"# 选择性别损失函数：支持CrossEntropyLoss age_class: 70 # 年龄类别数 age_loss: "L1Loss" # 选择年龄损失函数：支持KLDivLoss,L1Loss use_age_ld: True # 是否使用Label Distribution，如use_age_ld=True，则age_loss="L1Loss" #age_loss: "CrossEntropyLoss" # 选择年龄损失函数：支持CrossEntropyLoss #use_age_ld: False # 是否使用Label Distribution，如use_age_ld=False，则age_loss="CrossEntropyLoss" train_transform: "train" # 训练使用的数据增强方法 test_transform: "val" # 测试使用的数据增强方法 work_dir: "work_space/" # 保存输出模型的目录 net_type: "AE_mobilenet_v2" # 骨干网络,支持：AE_resnet18/50,AE_mobilenet_v2 width_mult: 1.0 # 模型宽度因子 input_size: [ 112,112 ] # 模型输入大小 rgb_mean: [ 0.5, 0.5, 0.5 ] # for normalize inputs to [-1, 1],Sequence of means for each channel. rgb_std: [ 0.5, 0.5, 0.5 ] # for normalize,Sequence of standard deviations for each channel. batch_size: 64 # batch_size lr: 0.01 # 初始学习率 optim_type: "SGD" # 选择优化器，SGD,Adam momentum: 0.9 # SGD momentum num_epochs: 150 # 训练循环次数 num_warn_up: 5 # warn-up次数 num_workers: 8 # 加载数据工作进程数 weight_decay: 0.0005 # weight_decay，默认5e-4 scheduler: "ExpLR" # 学习率调整策略 milestones: [30,80,120] # 下调学习率方式 gpu_id: [ 0 ] # GPU ID log_freq: 50 # LOG打印频率 progress: True # 是否显示进度条 pretrained: True # 是否使用pretrained模型 finetune: False # 是否进行finetune开始训练，在终端输入： python train.py -c configs/config.yaml 训练完成后，采用轻量级mobilenet_v2模型的性别识别准确率0.96左右，年龄预测MAE(平均绝对误差:)3.2左右,CS5(预测年龄与真实年龄的绝对误差不过5年的准确率)0.8左右 （4） 可视化训练过程 训练过程可视化工具是使用Tensorboard，在终端(Terminal)输入命令：使用教程，请参考：项目开发使用教程和常见问题和解决方法 # 需要安装tensorboard==2.5.0和tensorboardX==2.1 # 基本方法 tensorboard --logdir=path/to/log/ # 例如 tensorboard --logdir=work_space/AE_mobilenet_v2_1.0_L1Loss_20240105_181151_9813/log可视化效果
下表给出已经训练好的三个模型mobilenet_v2，resnet18和resnet50训练后的性能指标，其中采用轻量级mobilenet_v2模型的性别识别准确率0.9603左右，年龄预测MAE(平均绝对误差:)3.1935左右,CS5(预测年龄与真实年龄的绝对误差不过5年的准确率)0.8021左右，基本满足业务性能需求。 模型input size性别准确率年龄MAE年龄CS3年龄CS5AE_mobilenet_v2 112×1120.9603 3.1935 0.5969 0.8021 AE_resnet18 112×1120.9606 3.1795 0.5956 0.8010 AE_resnet50 112×1120.9609 3.2008 0.5900 0.8035 测试图片文件 # 测试图片文件 python demo.py --image_dir data/test_image --model_file work_space/AE_mobilenet_v2_1.0_L1Loss_20240105_181151_9813/model/best_model_082_0.8021.pth --out_dir output/ 测试视频文件 # 测试视频文件 python demo.py --video_file data/video-test.mp4 --model_file work_space/AE_mobilenet_v2_1.0_L1Loss_20240105_181151_9813/model/best_model_082_0.8021.pth --out_dir output/ 测试摄像头 # 测试摄像头 python demo.py --video_file 0 --model_file work_space/AE_mobilenet_v2_1.0_L1Loss_20240105_181151_9813/model/best_model_082_0.8021.pth --out_dir output/下面是年龄性别预测和识别的效果
如果想进一步提高模型的性能，可以尝试： 关于性别识别的问题：目前性别识别的准确率约96%，识别错误的主要有两种情况，(1)儿童性别容易误识别，特别是1~3岁左右的儿童，性别识别比较困难 (2) 长头发的男生或者短头发的女生的，也容易误识别；其他情况，正常穿着打扮的男士女生识别准确率可以达到99%左右。关于年龄预测的问题：现有数据年龄部分不均匀，大部分人脸数据年龄分布在20-40岁之间的年轻人，而儿童和老年人的数据比较少；导致儿童和老年人年龄预测精准度比较差；另外，也是强烈建议的：采集同一个人不同年龄阶段的人脸数据加入模型训练，可以有效提升年龄预测的精准度。损失函数使用Label Distribution方法进行训练，也会比直接使用交叉熵损失函数效果要好。当人脸存在遮挡时，如戴眼镜，戴口罩，头发遮挡，年龄预测的误差较大，建议实际使用过程中，尽量采集正脸，无遮挡的人脸图片进行测试清洗数据集(最重要)：尽管鄙人已经清洗一部分了，但还是建议你，训练前，再次清洗数据集，不然会影响模型的识别的准确率。增加训练的样本数据： 建议根据自己的业务场景，采集相关数据，提高模型泛化能力使用参数量更大的模型： 本教程使用的是mobilenet_v2模型，属于比较轻量级的分类模型，采用更大的模型（如resnet50），理论上其精度更高，但推理速度也较慢。尝试不同数据增强的组合进行训练增加数据增强： 已经支持： 随机裁剪，随机翻转，随机旋转，颜色变换等数据增强方式，可以尝试诸如mixup，CutMix等更复杂的数据增强方式样本均衡： 原始数据年龄类别数据并不均衡，类别20-40岁的数据偏多，而老年人和小孩的数据偏少，这会导致训练的模型会偏向于样本数较多的类别。建议进行样本均衡处理。调超参： 比如学习率调整策略，优化器（SGD,Adam等）损失函数： 目前训练代码已经支持：交叉熵，LabelSmoothing，可以尝试FocalLoss等损失函数 （7） 一些运行错误处理方法项目不要出现含有中文字符的目录文件或路径，否则会出现很多异常！！！！！！！！ cannot import name 'load_state_dict_from_url' 由于一些版本升级，会导致部分接口函数不能使用，请确保版本对应 torch==1.7.1 torchvision==0.8.2 或者将对应python文件将 from torchvision.models.resnet import model_urls, load_state_dict_from_url修改为： from torch.hub import load_state_dict_from_url model_urls = { 'mobilenet_v2': 'https://download.pytorch.org/models/mobilenet_v2-b0353104.pth', 'resnet18': 'https://download.pytorch.org/models/resnet18-5c106cde.pth', 'resnet34': 'https://download.pytorch.org/models/resnet34-333f7ec4.pth', 'resnet50': 'https://download.pytorch.org/models/resnet50-19c8e357.pth', 'resnet101': 'https://download.pytorch.org/models/resnet101-5d3b4d8f.pth', 'resnet152': 'https://download.pytorch.org/models/resnet152-b121ed2d.pth', 'resnext50_32x4d': 'https://download.pytorch.org/models/resnext50_32x4d-7cdf4587.pth', 'resnext101_32x8d': 'https://download.pytorch.org/models/resnext101_32x8d-8ba56ff5.pth', 'wide_resnet50_2': 'https://download.pytorch.org/models/wide_resnet50_2-95faca4d.pth', 'wide_resnet101_2': 'https://download.pytorch.org/models/wide_resnet101_2-32ee1156.pth', } 5.项目源码下载（Python版） （1）年龄性别预测和识别项目源码下载(推理版本)项目源码下载地址： 年龄性别预测2：Pytorch实现年龄性别预测和识别(推理版本) 整套项目源码内容包含： 这是推理版本，不含训练代码，可作为模型测试使用提供年龄性别预测和识别模型的测试代码：demo.pyDemo支持图片，视频和摄像头测试项目支持模型：AG_resnet18,AG_resnet50以及AG_mobilenet_v2等常见的深度学习模型项目源码自带训练好的模型文件，配置好依赖环境，可直接运行测试: python demo.py在普通电脑CPU/GPU上可以实时检测和识别 （2）年龄性别预测和识别项目源码下载(训练版本)项目源码下载地址： 年龄性别预测2：Pytorch实现年龄性别预测和识别(训练版本) 整套项目源码内容包含： 这是训练版本，在推理版本的基础上增加了训练代码，以及配套的训练数据集，可复现文章的训练效果提供年龄性别数据集：MegaAge_Asian，MORPH以及IMDB-WIKI，标注了年龄和性别标签，总数约28W+的人脸图片。提供年龄性别预测和识别模型的训练代码：train.py，训练代码支持Label Distribution，效果比直接使用交叉熵损失函数要好；数据加载也支持样本重采用(Resample)提供年龄性别预测和识别模型的测试代码：demo.pyDemo支持图片，视频和摄像头测试项目支持模型：AG_resnet18,AG_resnet50以及AG_mobilenet_v2等常见的深度学习模型项目源码自带训练好的模型文件，配置好依赖环境，可直接运行测试: python demo.py在普通电脑CPU/GPU上可以实时检测和识别 6.项目源码下载（C++版）年龄性别预测4：C/C++实现年龄性别预测和识别(含源码，可实时预测) 7.项目源码下载（Android版）目前已经实现Android版本的年龄性别预测和识别，详细项目请参考： 年龄性别预测和识别Android APP Demo体验：https://download.csdn.net/download/guyuealian/88743711
|
【本文地址】