[day5]python网络爬虫实战：爬取豆瓣电影Top250(Scrapy版)

l> 我的新书《Android App开发入门与实战》已于2020年8月由人民邮电出版社出版，欢迎购买。点击进入详情

文章目录

• 1.开发环境
• 2.第三方库
• 3.Scrapy css 语法
• 4.网页分析
• 5.douban.py
• 6.保存爬取的内容为csv文件
• 7.问题1："UnicodeDecodeError: 'utf-8' codec can't decode byte"
• 8.问题2：拒绝访问
• 9.问题3：csv文件中文乱码
• 10.效果
• 11.Github源码

关于Scrapy的用法，我们可以参考这篇文章：
[day4]python网络爬虫实战：爬取美女写真图片(Scrapy版)

1.开发环境

1. IDE: PyCharm 2021.2.1 (Professional Edition)
2. Python: 3.9.7

2.第三方库

1. scrapy: 网络请求
2. scrapy.css: 分析HTML特征

3.Scrapy css 语法

https://geek-docs.com/scrapy/scrapy-tutorials/scrapy-css-grammar.html

4.网页分析

用Chrome打开https://movie.douban.com/top250，点击红圈中的箭头，然后鼠标滑过左边网页区域的时候，右边就会显示对应的HTML代码块。

5.douban.py

class DoubanSpider(scrapy.Spider):
    name = 'douban'
    allowed_domains = ['movie.douban.com']
    start_urls = ['https://movie.douban.com/top250']

    def parse(self, response):
        for movie in response.css('div.item'):
            item = DoubanItem()
            item['movie_name'] = movie.css('div.pic a img::attr(alt)').extract()
            yield item

        # 其它页
        next_page = response.css('span.next a::attr(href)').extract_first()
        if next_page:
            print('************* next_page = ' + next_page)
            yield Request(self.start_urls[0] + next_page, callback=self.parse)

6.保存爬取的内容为csv文件

start.py中的命令行我们修改为：

cmdline.execute("scrapy crawl douban -o data.csv".split())

7.问题1：“UnicodeDecodeError: ‘utf-8’ codec can’t decode byte”

需要在settings.py中设置：

ROBOTSTXT_OBEY = False

8.问题2：拒绝访问

需要在settings.py中设置：

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'

9.问题3：csv文件中文乱码

需要在settings.py中设置：

FEED_EXPORT_ENCODING = 'utf-8-sig'

10.效果

11.Github源码

https://github.com/ddnosh/weekly-sample-python/tree/master/5.douban/douban

欢迎关注我的技术公众号：国民程序员，我们的目标：输出干货

1. 每天分享原创技术文章
2. 海量免费技术资料和视频学习资源
3. 分享赚钱门道，带领程序员走向财务自由