解决pytorch下载MNIST数据集缓慢的问题,非常简单 | 您所在的位置:网站首页 › mnist数据集下载码 › 解决pytorch下载MNIST数据集缓慢的问题,非常简单 |
问题描述
train_loader=torch.utils.data.DataLoader(
datasets.MNIST('data', train=True, download=True,
transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])),
batch_size=BATCH_SIZE,shuffle=True)
当我们使用上述代码加载MNIST数据时,数据集的下载非常缓慢,经常卡死。 解决方法进入MNIST数据集网站,下载4个数据集压缩包,不要解压(因为pytorch还会对数据集进行一些处理,而不是单纯的解压,所以直接手动解压是不行的)。4个压缩包放在/data/MINIST/raw文件夹内,如下图所示: 之后,在python的库中找到torchvison库,再找到实现mnist加载的文件mnist.py。其在python中的大概路径如下:[你的python的位置]\lib\site-packages\torchvision\datasets\mnist.py 打开mnist.py,将class MNIST的mirrors变量改成 file:///后面加上上述4个压缩包所在的路径,resources变量不要改动,如下图所示: mirrors中的路径,要写你的电脑中那4个压缩包所在的路径。 修改好后,再运行一遍加载MNIST数据的代码块,发现成功加载好了数据,如下: 具体的原理,大家可以看一下mnist.py的代码,尤其是self.download函数。 大家的torchvision的版本可能不一样。我还看过其他人的类内变量为url,而不是mirrors和resources,其实如果是url改动方法也和上面类似(其实更好改了)。 |
CopyRight 2018-2019 实验室设备网 版权所有 |