1、bert结构

2、句子token

     原始输入my dog is cute;

    bert的token方式有3种，basicToken, peiceToken,FullToken

3、embedding

• [CLS]: 代表的是分类任务的特殊token，它的输出就是模型的pooler output 
• [SEP]：分隔符 
• 其他：句子A以及句子B是模型的输入文本，其中句子B可以为空，则输入变为[CLS]+句子A

tokens.append("[CLS]")
segment_ids.append(0)
for token in tokens_a:tokens.append(token)segment_ids.append(0)tokens.append("[SEP]")
segment_ids.append(0)for token in tokens_b:tokens.append(token)segment_ids.append(1)
tokens.append("[SEP]")
segment_ids.append(1)

 （在这篇博客中，作者进行了论述https://zhuanlan.zhihu.com/p/103226488）

4、output

 

 

5、任务(MLM nsp)

MLM任务中被选15%的

for index in cand_indexes:if len(masked_lms) >= num_to_predict: # 15% of total tokensbreak...masked_token = None# 80% of the time, replace with [MASK]if rng.random() < 0.8:masked_token = "[MASK]"else:# 10% of the time, keep originalif rng.random() < 0.5:masked_token = tokens[index]# 10% of the time, replace with random wordelse:masked_token = vocab_words[rng.randint(0, len(vocab_words) - 1)]output_tokens[index] = masked_token

 

参考博客

https://zhuanlan.zhihu.com/p/103226488 （80% 10% 10%mask策略的具体计算逻辑；这是我影响比较深的一段代码逻辑 ）

https://zhuanlan.zhihu.com/p/156113715 (预训练模型加载和参数映射详解；这是我影响比较深的一段代码逻辑 )