注意，此篇博客有些内容可能过时，遇到问题请尽量参阅 官方教程 训练GPT 中的做法。

如果你对Bert、T5、BART的训练已经很熟悉，想要训练中文GPT模型，务必了解以下区别！！！ 官方文档里虽然已经有教程，但是都是英文，自己实践过才知道有很多坑！！！ 中文也有一些教程，但是使用了TextDataset这种已经过时的方法，不易于理解GPT2的真正工作原理。

开门见山说结论，与bert的最主要区别：

GPT2Tokenizer，是以字节为单位的字节对编码，不是以中文的字或词为单位的！ 对于英文，GPT2Tokenizer大部分时候是以单词为单位进行切分的，但是对中文则完全不同，有时候2个id代表一个中文字，有时候又是1个？这一奇怪的现象正是因为采用字节对编码的结果。 这也是为什么很多中文GPT使用BertTokenizer作为分词器，因为比较符合直观。

GPT2Tokenizer没有默认的【pad_token】，需要自己设置，一般和eos_token设为一样。而且GPT2Tokenizer不会自动在句末增加eos_token，需要自己手动添加，否则模型generate的时候永远不会停下来直到最大长度，因为它不会生成eos_token！！！ 而且train的时候需要padding在右边，否则模型永远学不会什么时候停下！！！ 模型test的时候通常选取batchsize=1，所以不需要padding。如果想要大于1的batchsize，则test的时候需要padding在左边，否则模型生成的结果可能全为eos！！！

训练时GPT2的【labels】和【input_ids】是一样的！所以使用的DataCollator不同

与T5的主要区别： 5. generate时的设置不同，因为input本身也是output的一部分，所以最好设置max_new_tokens 6. lm_head层不在model.parameters当中，因为词嵌入矩阵[‘transformer.wte.weight’]和lm_head的weight是参数共享的！而在T5中，只有encoder和decoder的词嵌入矩阵参数共享，lm_head则是一个独立的全连接层。

下面对这几点分别介绍：

1.tokenizer问题 官方介绍：如下 Construct a GPT-2 tokenizer. Based on byte-level Byte-Pair-Encoding. This tokenizer has been trained to treat spaces like parts of the tokens (a bit like sentencepiece) so a word will be encoded differently whether it is at the beginning of the sentence (without space) or not:

You can get around that behavior by passing add_prefix_space=True when instantiating this tokenizer or when you call it on some text, but since the model was not pretrained this way, it might yield a decrease in performance.

总结起来就是：

tokenize过程： 由于英文字母转换为字节再转换为单字节字符后和原来是一样的，所以英文tokenize看起来和bert差不多。（单字节字符共有256个，是ascii码的扩充，0-128和ascii码一样，所以不影响英文编码） 然而中文则面目全非，GPT-2 tokenizer的vocab里面看不见一个中文，因为vocab全都是单字节字符的组合。如下图：

那么中文是怎么变成id的呢？中文转换过程如下（这部分比较烦，不看不影响模型的训练） 外部看起来的情况：中文（utf-8）–>字节串（一个中文3个字节）–>每个字节对应一个单字节字符–>单字节字符串–>寻找vocab里对应的子串，进行分词–>转变为input_ids 实际情况：中文（utf-8）–>字节串（一个中文3个字节）–>寻找vocab里对应的子字节串，进行分词–>转变为input_ids 可以看下面例子理解以上过程：

2.Padding问题 由于gpt是自回归语言模型，理论上来说，是不需要pad的，因为生成的id必须立即接在输入的id后面，中间不能有pad_token。 train的时候需要padding在右边，并在句末加入eos，否则模型永远学不会什么时候停下！！！ test的时候需要padding在左边，否则模型生成的结果可能全为eos！！！ 但是当一个batch进行generate时时，难免出现输入句子不一样长的情况，所以需要在前面添加pad_token而不是像Bert一样默认添加在后面。 所以generate时需要设置：

train的时候需要设置：

3.训练label问题

对于GPT，训练数据集里没有输入输出的区别，没有question与answer之分。训练时，一整句话，既是input，也是label。所以labels与input_ids 完全一致。举例如下： 假设我希望训练模型，使其能进行如下问答：question：“中国是首都是什么？”answer：“北京” T5：input_ids ：“中国是首都是什么？”，labels：“北京” GPT2：input_ids ：“中国是首都是什么？北京”，labels：“中国是首都是什么？北京”

当你的数据集已经有question和answer列，那么需要将question和answer拼接在一起，再tokenizer处理为input_ids与attention_mask列

当你的数据集已经有input_ids与attention_mask列，那么就使用 transformers提供的DataCollatorForLanguageModeling即可让dataloader自动生成labels。如下是训练一个epoch的方式：

4.Generate问题

总结：别用GPT2，GPT2不适合微调，也不适合中文。想做生成任务建议用T5 、OPT、Bloomz、Llama等开源的语言模型，采用更优的相对位置编码，也不容易出乱码 (╬￣皿￣) 而且因为使用字节对编码，generate时极易出现乱码，因为一个中文3字节，而最小的token是2字节。如果编码英文，很合理，编码中文则非常的反直觉，不如bert、T5符合人类的习惯。但是现在的主流模型，例如chatgpt，基本都是字节对编码。