最近在运行EMNLP 2020 paper: "POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training"的代碼：GitHub - dreasysnail/POINTERContribute to dreasysnail/POINTER development by creating an account on GitHub.https://github.com/dreasysnail/POINTER
遇到的问题记录如下(持续更新）：
- nltk.download('stopwords')失敗：
从Github上下载stopwords.zip,并解压放到目录下。
Github地址为 https://github.com/nltk/nltk_data/tree/gh-pages/packages/corpora
至于放到哪个目录，在执行nltk.downloads(‘stopwords’)最后会给你这样的提示：（由於是之後記錄的，所以使用了他人的圖片）
我最後是放在/opt/conda/envs/SpareNet/nltk_data/corpora/stopwords.zip下，注意不存在的文件夾需要自己創建。
- ubuntu繁体字转换简体字：
ctrl+shift+c+f
- BertTokenizer使用详解：
一文学会Pytorch版本BERT使用_ccbrid的博客-CSDN博客前言：coder们最常用的Pytorch版本的BERT应该就是这一份了吧https://github.com/huggingface/pytorch-pretrained-BERT这份是刚出BERT的时候出的，暂且叫它旧版我在学习使用旧版的时候粗略的记过一些笔记：https://blog.csdn.net/ccbrid/article/details/88732857随着BER...https://blog.csdn.net/ccbrid/article/details/104355299/
- 在BertTokenizer中加入自己的词汇：
在training.py 第247行中加入以下代码：
with open('iu_vocab.json','r') as f:
tokens_list = json.load(f)['vocab']
tokenizer = BertTokenizer.from_pretrained(args.bert_model, do_lower_case=args.do_lower_case)
tokenizer.add_tokens(tokens_list)
然后在载入模型时，training.py第282行加入以下代码：
else:
model = BertForMaskedLM.from_pretrained(args.bert_model)
model.resize_token_embeddings(args.len_tokens)
- 遇到问题：decoder的vocab_size没有resize:
在modeling_bert.py第299行加入以下代码：
def _tie_or_clone_weights(self, first_module, second_module):
""" Tie or clone module weights depending of weither we are using Torchscript or not
"""
# Update bias size if has attribuate bias
if hasattr(self, "cls"):
self.cls.predictions.bias.data = torch.nn.functional.pad(
self.cls.predictions.bias.data,
(0, self.config.vocab_size - self.cls.predictions.bias.shape[0]),
"constant",
0,
)
if self.config.torchscript:
first_module.weight = nn.Parameter(second_module.weight.clone())
else:
first_module.weight = second_module.weight
参考了github上大佬的issues:https://github.com/huggingface/transformers/issues/2480https://github.com/huggingface/transformers/issues/2480
