珞 Transformers library, 笑脸拥抱 transformer 库, 这是emoj嘛…
transformer 在ML,NLP领域是项里程碑的工作, 基于该思想的模型变种成百上千, 该项目有以下特色:
- 是一个 model hub, 将上百种模型分别作好预训练, 并存在云端.
- 提供了统一,便捷的api, 方便应用, 调参, 学习.
可通过pip或conda安装.
win下常见问题 1.pyh5冲突我通过conda安装后, pyh5 模块报错, 因为 pip装的pyh5 与 conda装的pyh5 有冲突, 卸载前者得解.
2. 模型下载过慢可以去model hub []中把相应模型下载到本地磁盘, 代码中 model 填完整的本地路径.
# 目录下有文件 [config.json , tf_model.h5 , tokenizer_config.json , vocab.txt]
model_path = r'D:model_repositorytransformerdistilbert-base-uncased-finetuned-sst-2-english'
model = transformers.pipeline('sentiment-analysis', model=model_path)
3. pytorch dataloder多线程报错
手动修改 transformers.pipelines.base.Pipeline.__call__(self, inputs, *args, num_workers=8, **kwargs) 中的
num_workers=0 .
- github
- 官方doc
- model hub
