栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Blog2 无监督深度关键短语生成-项目环境配置及代码部署

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Blog2 无监督深度关键短语生成-项目环境配置及代码部署

2021SC@SDUSC

一.Python3.7.6安装

由于原机安装的版本为3.9,而python不同版本使用差别很大,因此需要更换版本为3.7.6。

Python 依赖库安装和卸载 Python 的所有依赖库安装都可以通过 pip 来实现,指令如下:

python -m pip install xxx==x.x.x

其中,xxx 为要安装的库名,比如要安装 numpy 则为 numpy。x.x.x 为版本 号,不添加默认下载最新版。卸载指令只需把 install 替换成 uninstall 即可。

二、深度学习框架搭建(Windows版本)

(累了家人们,鼓捣一整个下午,试图在虚拟机上安装NVIDIA显卡驱动。最终发现,根本就不支持!据某博主解释:“虚拟机的显卡是虚拟的,不能使用CUDA。虚拟机上装Nvidia显卡驱动会导致其他驱动全都不能用,所以不能在虚拟机上装N卡驱动,即无法使用GPU。”)

零基础,搭环境,踩坑小能手来了!!!坑坑必踩,招招必试!

1.cuda10.1

官网下载链接:CUDA Toolkit 10.1 update2 Archive | NVIDIA Developer

 打开刚刚的CUDA 安装程序,按照安装指引一路确定。安装完成后,打开命令行终端,执行: nvcc -V ,成功的话会返回 CUDA 版本号。CUDA 的安装完成。

2.cuDNN7.5.6

下载链接:https://developer.nvidia.com/rdp/cudnn-archive

(1)解压刚刚下载的 cuDNN 的压缩包。会得到 bin、include、lib 目录。 打开 C:Program FilesNVIDIA GPU Computing ToolkitCUDA 即系统安装 CUDA 的目录,将 cuDNN 压缩包内对应的文件复制到对应 bin、include、lib 目录。

(2)右击我的电脑,选择“属性”->高级系统设置->环境变量。在系统变量 一栏找到“Path”变量,选择编辑。 添加以下路径:

C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1

C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1libx64

(3)打 开 命 令 行 终 端 。 执 行 “ cd C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1extrasdemo_suite”进入该目录。然后执行“bandwidthTest.exe”, 测试 cuDNN 安装是否正确。如下图所示,即为成功:

 3.pytorch1.8.2

使用命令行:下载对应版本

pip3 install torch==1.8.2+cu102 torchvision==0.9.2+cu102 torchaudio===0.8.2 

-f https://download.pytorch.org/whl/lts/1.8/torch_lts.html

显示如下:

 测试pytorch是否可以正确使用:

 至此,环境搭建完成!

三、项目部署 1.数据集下载:

数据集:https://github.com/ memray/OpenNMT-kpg-release

2.代码下载:

代码链接:https://github.com/Jayshen0/ Unsupervised-Deep-Keyphrase-Generatio

3.项目运行

经过与组长共同交流讨论,解决了项目代码的运行问题。

(1)extract.py文件

Q1:invalid syntax

A1:源码有误:line138

record.append([input[i], list(set(rank[:5] + rank2[:5])))  #删去!

Q2:utils文件一起报错

A2:reduce方法缩进问题,更改如下:

def reduce(rank):
    new_rank = []
    for q in rank:
        if q[1] not in trash:
            new_rank.append(q[1])
    rank = new_rank
    ret=[]
    for q in rank:
        flg=0
    for p in ret:
        if (p in q) or (q in p):
            flg=1
            break
        if flg:
            continue
    ret.append(q)
    return ret

Q3:nltk_data无法下载

 A3:参考该博客:直接快速下载NLTK数据_今春一别难相逢-CSDN博客_nltk下载,下载成功。

 Q4:

A4:

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/302730.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号