作为一个nlp小白,最近在尝试使用bert进行情感分析。在github上找到一个很不错的项目,就是在配置环境时出了许多问题,特将经验分享在这里。
项目地址:GitHub - bentrevett/pytorch-sentiment-analysis: Tutorials on getting started with PyTorch and TorchText for sentiment analysis.
创建虚拟环境并安装相应的软件包建议按以下顺序进行操作,否则很有可能出错。
先创建虚拟环境:conda create --n senti_analysis python=3.7 -y
虽然作者在python3.6的环境下进行实验,我起初也是3.6,但是随着软件包的安装,他会自动变成3.7,不如在第一步就以3.7为起点。
然后去torch官网下载gpu版本的torch官网地址Start Locally | PyTorch
我使用的是以上选项,我在选择LTS版本下载的第一次出了问题,所以我下载的stable版本,亲测不会有问题,因为在后来软件包的下载安装过程中torch版本也会变化为1.8.
然后很重要的一步,就是安装torchtext包(易错)这里一定要指定版本安装0.9,否则这个项目里的代码会需要有较大的改动。我就是没指定版本,下载了最新的,结果出了各式各样的问题。
pip install torchtext==0.9接着就是下载Spacy以及语言模型(易错)
建议跟着我的步骤来:
pip install spacy
这个一般不会出错。容易出错的是下载英文版本的语言模型,不要用项目里的方式,挂不挂梯子都会下载失败。
这里参考这个博客安装spaCy(最简单的教程)_御用厨师的博客-CSDN博客_spacy安装
注意,英文包的地址有点难找,这里我直接贴上Release en_core_web_sm-3.3.0 · explosion/spacy-models · GitHub
(ps中文包的地址很容易找到,就不附上了)
然后就输入以下命令
pip install 语言模型的绝对路径 -i https://pypi.tuna.tsinghua.edu.cn/simple/
即可安装成功。
到此为止,我们的环境准备工作就完成了。接下来便可以进行实验了。



