Python分布式爬虫实战(二)

0 环境及版本系统

Mac OS

IDE

PyCharm 2018.3.5

数据库

MySQL 5.7

Redis, elasticsearch

开发环境

virtualenv

1 Pycharm的安装及简单使用

下载 PyCharm

设置快捷键

设置解释器

2 MySQL和Navicat的安装和使用 2.1 MySQL

下载与安装

2.2 Navicat 3 Python安装

推荐py3.5+版本

4 virtualenv和virtualenvwrapper安装和配置 4.1 virtualenv简介

每个应用可能需要各自拥有一套独立的Python运行环境。virtualenv就是用来为一个应用创建一套隔离的Python运行环境。

优点

使不同应用开发环境独立
环境升级不影响其他应用，也不会影响全局的python环境
防止系统中出现包管理混乱和版本的冲突

它是将全局Python解释器进行私有化复制
如果不使用虚拟环境，默认的pip安装都会安装到同一个目录(java是把自己需要的包放到自己项目目录)，不同项目使用起来会产生问题

安装

pip install virtualenv

查看 virtualenv

4.2 virtualenvwrapper 简介

virtualenv的扩展管理包，用于更方便管理虚拟环境

优点

将所有虚拟环境整合在一个目录下
管理(新增，删除，复制)虚拟环境
切换虚拟环境

安装

查询安装路径
修改.bash_profile

在最后加入：

export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_script=/Library/frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh
export VIRTUALENVWRAPPER_PYTHON=/Library/frameworks/Python.framework/Versions/2.7/bin/python2
export VIRTUALENVWRAPPER_VIRTUALENV=/Library/frameworks/Python.framework/Versions/2.7/bin/virtualenv
export VIRTUALENVWRAPPER_VIRTUALENV_ARGS='--no-site-packages'
source /Library/frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh

立即生效
到其工作目录
查看当前系统py版本

为py2.7
现在,希望创建py3的环境
查询py3位置
创建py3环境
查看python版本

其他常用的命令：

$ workon  显示所有的环境名称
$ workon 环境名   进入/切换到该环境

deactivate 返回到系统环境

$ rmvirtualenv   移除环境

Python分布式爬虫实战(二)

Python相关栏目本月热门文章