栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Bert增量训练中,使用run

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Bert增量训练中,使用run

问题描述

再用自己的数据集对Bert进行增量训练时,使用run_mlm.py脚本时产生的错误(send_example_telemetry无法导入,大概是这个),老版本使用的是run_language_modeling.py 具体增量脚本链接如下

问题原因阐述

我的transformers是使用pip install transformers进行安装的,此方法安装使用的是stable的transformers,版本并不是最新版,而在run_mlm.py这个脚本是在github上的main分支下,为最新款的transformers,所以问题就是出在版本不一致上,导致无法引用,因此要卸载老版本,装新版本

解决方法

先卸载原始的版本,命令:pip uninstall transformers

安装方法一(源安装)

pip install git+https://github.com/huggingface/transformers
此命令安装最新版本main而不是最新stable版本。该main版本对于及时了解最新发展非常有用。例如,如果自上次正式发布以来已修复错误,但尚未推出新版本。但是,这意味着main版本可能并不总是稳定的。我们努力保持main版本正常运行,大多数问题通常会在几小时或一天内得到解决。如果您遇到问题,请打开一个问题,以便我们更快地解决它!
通过运行以下命令检查珞 Transformers 是否已正确安装:
python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('I love you'))"

安装方法二(可编辑安装)

如果您愿意,您将需要一个可编辑的安装:
使用main源代码的版本。
为珞 Transformers 做贡献,需要测试代码中的更改。
克隆存储库并使用以下命令安装珞 Transformers:

git clone https://github.com/huggingface/transformers.git
cd transformers
pip install -e .

这些命令将链接您将存储库克隆到的文件夹和您的 Python 库路径。除了正常的库路径之外,Python 现在将查看您克隆到的文件夹。例如,如果您的 Python 包通常安装在 中~/anaconda3/envs/main/lib/python3.7/site-packages/,Python 也会搜索您克隆到的文件夹:~/transformers/.
transformers如果您想继续使用该库,则必须保留该文件夹。
现在,您可以使用以下命令轻松地将您的克隆更新到最新版本的珞 Transformers:

cd ~/transformers/
git pull

您的 Python 环境将main在下次运行时找到 珞 Transformers 的版本。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1009529.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号