解决pytorch下载MNIST数据集缓慢的问题,非常简单 您所在的位置:网站首页 mnist数据集下载码 解决pytorch下载MNIST数据集缓慢的问题,非常简单

解决pytorch下载MNIST数据集缓慢的问题,非常简单

2023-12-15 20:18| 来源: 网络整理| 查看: 265

问题描述 train_loader=torch.utils.data.DataLoader( datasets.MNIST('data', train=True, download=True, transform=transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ])), batch_size=BATCH_SIZE,shuffle=True)

当我们使用上述代码加载MNIST数据时,数据集的下载非常缓慢,经常卡死。

解决方法

进入MNIST数据集网站,下载4个数据集压缩包,不要解压(因为pytorch还会对数据集进行一些处理,而不是单纯的解压,所以直接手动解压是不行的)。4个压缩包放在/data/MINIST/raw文件夹内,如下图所示: 在这里插入图片描述这里我的文件路径是D:\aaa\pytorch-exercise\0my-exercise\data\MNIST\raw

之后,在python的库中找到torchvison库,再找到实现mnist加载的文件mnist.py。其在python中的大概路径如下:[你的python的位置]\lib\site-packages\torchvision\datasets\mnist.py

打开mnist.py,将class MNIST的mirrors变量改成 file:///后面加上上述4个压缩包所在的路径,resources变量不要改动,如下图所示: 在这里插入图片描述

mirrors中的路径,要写你的电脑中那4个压缩包所在的路径。

修改好后,再运行一遍加载MNIST数据的代码块,发现成功加载好了数据,如下: 在这里插入图片描述 去/data/MNIST/raw文件夹内查看,多出了4个文件: 在这里插入图片描述 至此,问题就解决了。我看网上其他博客,说raw的同级目录processed目录中还应该有两个文件,但我没管那两个文件,我的模型一样成功跑起来了。那就先不管那两个文件了。

具体的原理,大家可以看一下mnist.py的代码,尤其是self.download函数。 大家的torchvision的版本可能不一样。我还看过其他人的类内变量为url,而不是mirrors和resources,其实如果是url改动方法也和上面类似(其实更好改了)。



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有