利用Pythongd的基础网络包开发爬虫比较麻烦，市面上有很多API爬虫框架，大大简化了Python爬虫的开发
这里主要介绍了PySpider的写法，因为它增加了WEB界面，写爬虫迅速，集成了phantomjs，可以用来抓取js渲染的页面。
安装过程：
- 安装pip
pip是python的包管理工具，类似RedHat里面的yum
https://pypi.python.org/pypi/pip#downloads下载地址
下载pip安装包
解压pip-9.0.1.tar.gz
在该目录下执行 setup.py install
将python安装目录下的scripts配置到PATH环境变量 - 安装phantomjs
http://phantomjs.org/download.html
下载对应版本phantomjs
解压phantomjs-2.1.1-windows.zip
将其bin目录配置到PATH环境变量中 - 使用pip安装pyspider
pip install pyspider - 运行pyspider
pyspider all
ininvalid syntax报错或者文件报错
File “C:UsershpAnaconda3Libsite-packagespyspiderrun.py”, line 231 async=True, get_object=False, no_input=False): SyntaxError: invalid syntax
原因分析：
pyspider 版本更新缓慢并没有在此处修改，所以导致pyspider 不能正常启动。
解决方案：
处理异常有两种方法：1、降低python 版本，降低至3.5即可，但这种方法过于麻烦。2、修改出现异常的关键字。
修改3个文件里面的内容
D:Python38Libsite-packagespyspiderrun.py
D:Python38Libsite-packagespyspiderwebuiapp.py（1个async)
D:Python38Libsite-packagespyspiderfetchertornado_fetcher.py（5个async）
（重要）选择全词匹配，匹配大小写。
在替换是要注意：只替换名为async 的变量或参数名。
替换保存后再次运行“pyspider all”
ValueError: Invalid configuration: -Deprecated option ‘domaincontroller’: use ‘http_authenticator.domain_controller’ instead.原因分析：
wsgidav版本问题。
解决方案：
通过 命令查看版本
因为3.0的版本不兼容，所以替换为2.4.1
pip uninstall wsgidav pip install wsgidav==2.4.1问题描述3：
中执行pyspider all命令报错如下：importError: cannot import name ‘DispatcherMiddleware’ from ‘werkzeug.wsgi’ (f:mypythonvenvlibsite-packageswerkzeugwsgi.py)
原因分析：werkzeug的版本为1.0.0，这个版本中没有DispatcherMiddleware方法，所以还是降低版本。
注意降低版本不能低于0.15版本，因为我们的pyspider要求大于0.15版本以上
解决方案：ython -m pip uninstall werkzeug # 卸载 python -m pip install werkzeug==0.16.1 #安装0.16.1版本
