比如词表里面一个字：‘真’ 和 ‘##真’有什么区别啊，就是每个字符x都会有个'##x'存在

原来的单词被分成更小的子单词和字符。这些子单词前面的两个 “#” 号只是我们的tokenizer用来表示这个子单词或字符是一个更大单词的一部分，并在其前面加上另一个子单词的方法。因此，例如，’##bed’ 这个token与 'bed’这个token是分开的，当一个较大的单词中出现’bed’时，使用第一种方法，当一个独立的bed这个token表示 “thing you sleep on”出现时，使用第二种方法。

如预训练模型-词汇表：bert-base-uncased【在其vocab.txt中；共30522个subword】

打印结果：

注意“embeddings”一词是如何表示的:

[‘em’, ‘##bed’, ‘##ding’, ‘##s’]

原来的单词被分成更小的子单词和字符。这些子单词前面的两个 “#” 号只是我们的tokenizer用来表示这个子单词或字符是一个更大单词的一部分，并在其前面加上另一个子单词的方法。因此，例如，’##bed’ 这个token与 'bed’这个token是分开的，当一个较大的单词中出现’bed’时，使用第一种方法，当一个独立的bed这个token表示 “thing you sleep on”出现时，使用第二种方法。

为什么会这样？这是因为BERT tokenizer 是用WordPiece模型创建的。这个模型使用贪心法创建了一个固定大小的词汇表，其中包含单个字符、子单词和最适合我们的语言数据的单词。由于我们的BERT tokenizer模型的词汇量限制大小为30,000，因此，用WordPiece模型生成一个包含所有英语字符的词汇表，再加上该模型所训练的英语语料库中发现的~30,000个最常见的单词和子单词。这个词汇表包含个东西：  

1. 整个单词 2. 出现在单词前面或单独出现的子单词(“em”(如embeddings中的“em”)与“go get em”中的独立字符序列“em”分配相同的向量) 3. 不在单词前面的子单词，在前面加上“##”来表示这种情况 4. 单个字符

要在此模型下对单词进行记号化，

注意，由于这个原因，我们总是可以将一个单词表示为至少是它的单个字符的集合。

因此，不是将词汇表中的单词分配给诸如“OOV”或“UNK”之类的全集令牌，而是将词汇表中没有的单词分解为子单词和字符令牌，然后我们可以为它们生成嵌入。

因此，我们没有将“embeddings”和词汇表之外的每个单词分配给一个重载的未知词汇表标记，而是将其拆分为子单词标记[’ em ‘、’ ##bed ‘、’ ##ding ‘、’ ##s ']，这些标记将保留原单词的一些上下文含义。我们甚至可以平均这些子单词的嵌入向量来为原始单词生成一个近似的向量。

接下来，我们需要调用tokenizer来匹配tokens在tokenizer词汇表中的索引：  

打印结果：