目录

一、无法下载数据集问题        

二、huggingface加载本地数据集

        相信小伙伴们，在使用huggingface下载数据集时，总是遇到无法连接的问题，就像下图这样，从网上找了许多方法（使用科学上网的方法或者是配置下载属性最终都失败了），今天给大家提供一些方法，希望能够帮助上大家。

        目前博主使用的方法是手动下载数据集到本地，在本地中加载。下载的方法也很简单，登录官网，Hugging Face – The AI community building the future.点击Datasets -->在Fliter by nan中输入数据集的名字（以financial_phrasebank为例），点击第一个结果，如下图。

     构建数据集使用的代码如下，load_dataset函数第一个参数代表的是数据集名称，第二个参数则是子数据集的名称，这个也可以在huggingface的数据集主页看到，如下图，该数据集共有四个子数据集。

        下载下来之后，如果没有特殊情况，直接在代码中调用即可，但是financial_phrasebank下载下来的数据是txt文本格式，并且自带了数据的处理类(下图)。看着代码一大串很吓人，其实是用来下载以及准备数据集的，对于我们已经手动下载数据集下来之后，我们只需要借鉴该代码的数据处理部分（也就是如何将txt的文本分解出来）。

        我把整个代码中处理数据的函数单独拿出来就是下面的内容，可以看到，大概的内容就是将每一行文本将“@”字符前后分离出来。

那我们自己就有思路了，并且为了生成huggingface的dataset类型，使用的代码如下：

        这样的话就将数据集成功加载出来了，无论是本地什么类型的数据，都可以很好的转化到datasets格式，这就源于huggingface很强的包容性。 

        上述其实本质上是将txt类型转换为字典类型格式，再使用Dataset.from_dict函数来将字典转换为datasets类型，在上一篇博客中，使用了Dataset.from_pandas，来将csv文件转换为datasets格式，见下代码。

        huggingface的datasets库也为各类实践和从业者提供了帮助，希望这篇博客也能为您提供帮助，如有疑问，请联系博主。