【Pyhton自学笔记】Python异步爬虫框架Ruia学习索引

• • 安装
  • 使用
  • • 定义Item
    • 爬虫主体
    • 随机user-agent
    • 加载JS
    • 数据持久化
  • 遇到的坑
  • • collections报错
    • 添加中间键
  • 相关文档

• 安装命令pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -U ruia

如果使用过scrapy框架的话，您会发现：ruia在很多方面与scrapy都相似

• 支持xpath，css，re

from ruia import It