ChatGLM

YZXPG开发笔记 (ChatGLM-6B本地部署安装记录)

GitHub官方地址 ：github.com/THUDM/ChatG… INT4 量化级别下的模型 ： huggingface.co/THUDM/chatg…

ChatGLM简介： ChatGLM -- 开源、支持中英双语的对话的语言模型，基于GLM架构，可在显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存），可以finetune

本机系统环境：Windows11，显卡 2060，python 3.10，cuda11.6，cudnn11

需要把cuda里的 bin， include， lib 文件夹 用 cudnn 里的替换

重点pytorch

用Conda创建python 3.10的环境

下载cuda ：developer.nvidia.com/cuda-toolki…

下载cuDNN ：developer.nvidia.com/rdp/cudnn-d…

cuDNN下载时 需要注册登录 填写问卷调查 下载 pytorch ： pytorch.org/get-started…

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia! image.png 创建文件夹克隆仓库代码 git clone https://github.com/THUDM/ChatGLM-6B.git 进入文件夹 安装依赖 pip install -r requirements.txt pip install gradio

修改web_demo.py代码

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).quantize(4).half().cuda()

根据本机显存修改，12G显存可修改为 .quantize(8)，6G显存 .quantize(4)

根据是否可在局域网使用，可修改最后一行为 demo.queue().launch(share=True,server_name="0.0.0.0",server_port=9234)

官方介绍里有提及到： 注意，由于国内 Gradio 的网络访问较为缓慢，启用 demo.queue().launch(share=True, inbrowser=True) 时所有网络会经过 Gradio 服务器转发，导致打字机体验大幅下降，现在默认启动方式已经改为 share=False，如有需要公网访问的需求，可以重新修改为 share=True 启动。

运行后可在本机的IP地址，端口号为9234下访问 web端下运行python web_demo.py

运行后的模型文件夹一般缓存在 C:\Users\xxx\.cache\huggingface 也可以在huggingface上（ huggingface.co/THUDM/chatg… ）下载模型，放入指定文件夹，修改引用路径 tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)

model = AutoModel.from_pretrained("THUDM/chatglm-6b",trust_remote_code=True).quantize(4).half().cuda()