下载huggingface中数据集/模型(保存到本地指定路径)

2024-06-11 15:07| 来源: 网络整理| 查看: 265

一. snapshot_download # 1.安装huggingface_hub # pip install huggingface_hub import os from huggingface_hub import snapshot_download print('downloading entire files...') # 注意，这种方式仍然保存在cache_dir中 snapshot_download(repo_id="ibrahimhamamci/CT-RATE", repo_type="dataset", local_dir="本地路径", local_dir_use_symlinks=False, resume_download=True, token='hf_***') # 使用cache_dir参数，将模型/数据集保存到指定“本地路径” snapshot_download(repo_id="ibrahimhamamci/CT-RATE", repo_type="dataset", cache_dir="本地路径", local_dir_use_symlinks=False, resume_download=True, token='hf_***') # download single file...，下载单个文件 # from huggingface_hub import hf_hub_download # hf_hub_download(repo_id="ibrahimhamamci/CT-RATE", filename='config.json', # repo_type="dataset", # local_dir="/home/miao/data/dataset/CT-RATE/dataset/train", # local_dir_use_symlinks=False, resume_download=True, # force_download=False, subfolder='dataset/train/train_10006')

注意事项：

获取token的网址下图的repo_id为“google/gemma-7b”

二. huggingface-cli # 1.安装huggingface-cli # pip install -U "huggingface[cli]" # 命令行输入：huggingface-cli -h，可以查看对应的帮助文档 # 2.下载模型 # 注意，模型仍然保存在cache_dir文档中 huggingface-cli download --token hf_*** --resume-download meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf # 3.下载数据集 # 这种方式，数据集会保存到"/home/local-dir/"中 huggingface-cli download --repo-type dataset --token hf_** --resume-download ibrahimhamamci/CT-RATE --cache-dir /home/local-dir --local-dir-use-symlinks False

注意：当下载大规模数据集时，中途可能由于一些特殊原因，导致下载中断。但重新输入下面这个命令，仍然能继续下载（而不是重头开始下载）

# 3.下载数据集 # 这种方式，数据集会保存到"/home/local-dir/"中 huggingface-cli download --repo-type dataset --token hf_** --resume-download ibrahimhamamci/CT-RATE --cache-dir /home/local-dir --local-dir-use-symlinks False 三.总结

1.若需要将数据集/模型放在指定路径，需要指定"cache-dir"参数，而不是“local-dir”

2.直接从huggingface中下载对应的模型和数据集，需要外网。因此可以使用国内镜像“HF-Mirror - Huggingface 镜像站”

3.个人推荐使用huggingface-cli下载大规模数据集或者模型

四.参考

[1] HF-Mirror - Huggingface 镜像站

【本文地址】

公司简介

联系我们