Lit | 您所在的位置:网站首页 › nanogpt中文训练 › Lit |
Lit-LLaMA 简介
Lit-LLaMA是由Lightning AI发布的基于LLaMA的开源模型。官方宣称这是独立实现的模型,使用的是nanoGPT的训练框架。 该模型最大的特点是完全开源,免费使用! Lit-LLaMA的设计目标如下: 简单:一个文件实现所有的内容准确:与原始模型数值等效优化:消费级硬件即可运行开源:完全开源,无任何附带条件Lit-LLaMA的使用也非常简单: 1、下载代码: git clone https://github.com/Lightning-AI/lit-llama cd lit-llama2、安装依赖 pip install -r requirements.txt这就安装好了。 需要注意的是,需要对原始的LLaMA预训练文件进行转换。所以需要大家自己去LLaMA上下载原始预训练文件,然后通过Lit-LLaMA提供的转换脚本对原始预训练文件进行转换才可以!(可以看到,其实只要一个人转换就i可以,官方此举可能是为了避免造成自己传播LLaMA预训练结果而采取的措施!) Lit-LLaMA对于资源的要求很低,正常情况下,70亿规模参数的模型只需要26GB的显存即可(A100的GPU)。如果在显存更小的设备运行,需要做量化。如下代码演示了采用量化的方式运行(此举会导致载入模型时间很长,但是只需要8G显存即可运行)。 python generate.py --quantize true --prompt "Hello, my name is" |
CopyRight 2018-2019 实验室设备网 版权所有 |