Huggingface填坑：Unexpected key(s) in state

在加载已经训练好的模型时，出现问题如下：

RuntimeError: Error(s) in loading state_dict for RobertaForSequenceClassification:
        Unexpected key(s) in state_dict: "roberta.pooler.dense.weight", "roberta.pooler.dense.bias".

版本问题！
在huggingface3.1.0中，roberta相关模型的实现是11层transformers+一层pooling+一层由下游任务决定的输出层
但到了huggingface4.10.2以即之后版本（3.1.0~4.10.2之间的版本我没测试），roberta相关模型的实现变成了11层transformers+一层由下游任务决定的输出层，所以会出现上面的问题！

其实model.state_dict()就是一个用字典表示的参数集，用字典的pop删除多出的pool层参数就可以了（pool层参数包含weight和bias）。
在pretrain-finetune相关任务中，可以理解成”一层pooling+一层由下游任务决定的输出层“都是和特定预训练任务相关的层，应该在finetune时去掉（自我安慰 ）
另，huggingface的transformers安装时建议从git上的项目安装，pip安装的话example里有的例子用不了。huggingface的datasets里load_dataset方法是要连外网下载的，需要科学手段~