NLP Transformer 模型中 BPE(byte pair encoding 英文分词)详解 GPT

2023-09-19 16:05| 来源: 网络整理| 查看: 265

NLP 中Tranformer模型的BPE详解（GPT-2）简单解释概念 BPE—byte pair encoding：GPT-2 中的实现gpt-2 代码解读

简单解释概念 BPE—byte pair encoding：

Transformer NLP 预训练模型都通过 embedding 词典来表征词义，当遇见没见过的词的时候以前是用"< u nk>"代替，这样会造成对新事物(新词、网络词、简写词)理解能力很差，BPE就是来解决这个问题的。英文中会有词根和造词现象例如: “greenhand” 如果你的词典中没有这个词，那么就可以把它拆成 **“green”,“hand”**两个词，这里green 向量会跟发芽一类的词相近有新生的意思hand有操作手的意思那么就不难推测出greenhand是新手。这个过程中会参考一个词典，这个词典从上往下是一个个词对，对应的顺序就是它出现的频率越往上的词越高频率。

对应中文相当于分词了。

GPT-2 中的实现 """Byte pair encoding utilities""" import os import json import regex as re from functools import lru_cache # 生成把bytes抓华为unicode词典 {97:“a”...} @lru_cache() def bytes_to_unicode(): """ Returns list of utf-8 byte and a corresponding list of unicode strings. The reversible bpe codes work on unicode strings. This means you need a large # of unicode characters in your vocab if you want to avoid UNKs. When you're at something like a 10B token dataset you end up needing around 5K for decent coverage. This is a signficant percentage of your normal, say, 32K bpe vocab. To avoid that, we want lookup tables between utf-8 bytes and unicode strings. And avoids mapping to whitespace/control characters the bpe code barfs on. """ bs = list(range(ord("!"), ord("~") + 1)) + list(range(ord("¡"), ord("¬") + 1)) + list(range(ord("®"), ord("ÿ") + 1)) cs = bs[:] n = 0 for b in range(2 ** 8): if b not in bs: bs.append(b) cs.append(2 ** 8 + n) n += 1 cs = [chr(n) for n in cs] return dict(zip(bs, cs)) # 把words做成一对一对的传入"ABCD" 输出（('B', 'C'), ('A', 'B'), ('C', 'D')） def get_pairs(word): """Return set of symbol pairs in a word. Word is represented as tuple of symbols (symbols being variable-length strings). """ pairs = set() prev_char = word[0] for char in word[1:]: pairs.add((prev_char, char)) prev_char = char return pairs class Encoder: def __init__(self, encoder, bpe_merges, errors='replace'): self.encoder = encoder #外部embedding词典 self.decoder = {v: k for k, v in self.encoder.items()} self.errors = errors # how to handle errors in decoding self.byte_encoder = bytes_to_unicode() self.byte_decoder = {v: k for k, v in self.byte_encoder.items()} self.bpe_ranks = dict( zip(bpe_merges, range(len(bpe_merges)))) # bpe_merges 是一个类似（Ġ t）（这里的这两个元素是未来要用的 a b ）元组然后在用0123..的常用频率压缩起来成一个{（Ġ t）:1} # bpe_merges里面是各种零散词的常用程度排名 self.cache = {} # Should haved added re.IGNORECASE so BPE merges can happen for capitalized versions of contractions self.pat = re.compile(r"""'s|'t|'re|'ve|'m|'ll|'d| ?\p{L}+| ?\p{N}+| ?[^\s\p{L}\p{N}]+|\s+(?!\S)|\s+""") # 用来识别未见过的词语把词拆成各个词源例如:输入greenhand 输出"green hand" def bpe(self, token): # 如果dict（self.cache）中有token的key 那就返回对应的值(有缓存结果) if token in self.cache: return self.cache[token] word = tuple(token) # 把list 转成 tuple # 下面就是把一个词，拆散了输入（fiend）输出(（f,i）,(i,e),(e,n),(n,d)) 注意返回set无序 pairs = get_pairs(word) # 词很短拆不了直接返回 token if not pairs: return token # 迭代所有的pairs 中的词对 while True: # lambda 迭代对象:对应表达式 # 将输入的pairs 按照.bpe文件（常用排名）排序这里的pair 就是 55行提到 a b # 找到最常用的哪个 pair float('inf') 表示无穷大找不到的话就返回无限大的值以免被选上 bigram = min(pairs, key=lambda pair: self.bpe_ranks.get(pair, float('inf'))) # MIN MAX 中key 相当于依据什么排序 # 组合不在bpe表格中 pairs中不能再拆了循环结束 if bigram not in self.bpe_ranks: break # 拿到第一个词第二个词 first, second = bigram # 拿到拆开的的对里在表格里最常用的那一对 new_word = [] i = 0 # 查找子串 while i

【本文地址】

公司简介

联系我们