Python爬虫

这样我们只要快速找出所有的符合规则的标签，

在进一步分析里面的内容，最后筛选出数据就可以了。

这是前面介绍过的爬取框架，以后我们会经常用到。

import requests 
from bs4 import BeautifulSoup    
# 首先我们写好抓取网页的函数def get_html(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()        #这里我们知道百度贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：
        # r.endcodding = r.apparent_endconding 
        r.encoding='utf-8'
        return r.text    except:        return " ERROR "

• 我们来分一下每一个li标签内部的结构：

一个大的li标签内包裹着很多个 div标签

而我们要的信息就在这一个个div标签之内：

# 标题&帖子链接【高淸】西部世界1-2季，中英字，未删减.任性给
    #发帖人：
    #回复数量：    
822
    #发帖日期：7-20

分析完之后，我们就能很容易的通过soup.find()方法得到我们想要的结果

'''
抓取百度贴吧---西部世界吧的基本内容
爬虫线路： requests - bs4
Python版本： 3.6
OS： mac os 12.13.6
'''
    import requestsimport timefrom bs4 import BeautifulSoup    
# 首先我们写好抓取网页的函数
    
    def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()        # 这里我们知道百度贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：
        # r.endcodding = r.apparent_endconding
        r.encoding = 'utf-8'
        return r.text    except:        return " ERROR "
    
    def get_content(url):
    '''
    分析贴吧的网页文件，整理信息，保存在列表变量中
    '''
    
    # 初始化一个列表来保存所有的帖子信息：
    comments = []    # 首先，我们把需要爬取信息的网页下载到本地
    html = get_html(url)    
    # 我们来做一锅汤
    soup = BeautifulSoup(html, 'lxml')    
    # 按照之前的分析，我们找到所有具有‘ j_thread_list clearfix’属性的li标签。返回一个列表类型。
    liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'})    
    # 通过循环找到每个帖子里的我们需要的信息：
    for li in liTags:        # 初始化一个字典来存储文章信息
        comment = {}        # 这里使用一个try except 防止爬虫找不到信息从而停止运行
        try:            # 开始筛选信息，并保存到字典中
            comment['title'] = li.find(                'a', attrs={'class': 'j_th_tit '}).text.strip()
            comment['link'] = "http://tieba.baidu.com/" + 
                li.find('a', attrs={'class': 'j_th_tit '})['href']
            comment['name'] = li.find(                'span', attrs={'class': 'tb_icon_author '}).text.strip()
            comment['time'] = li.find(                'span', attrs={'class': 'pull-right is_show_create_time'}).text.strip()
            comment['replyNum'] = li.find(                'span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip()
            comments.append(comment)        except:
            print('出了点小问题')    
    return comments    
    
def Out2File(dict):
    '''
    将爬取到的文件写入到本地
    保存到当前目录的 TTBT.txt文件中。
    
    '''
    with open('TTBT.txt', 'a+') as f:        for comment in dict:
            f.write('标题： {} t 链接：{} t 发帖人：{} t 发帖时间：{} t 回复数量： {} n'.format(
                comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))
    
        print('当前页面爬取完成')    
    
def main(base_url, deep):
    url_list = []    # 将所有需要爬去的url存入列表
    for i in range(0, deep):
        url_list.append(base_url + '&pn=' + str(50 * i))
    print('所有的网页已经下载到本地！ 开始筛选信息。。。。')    
    #循环写入所有的数据
    for url in url_list:
        content = get_content(url)
        Out2File(content)
    print('所有的信息都已经保存完毕！')
    
    
base_url = 'https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8'# 设置需要爬取的页码数量deep = 3
    if __name__ == '__main__':
    main(base_url, deep)

代码里有详细的注释和思路，看不懂的话 多看几遍
下面是爬完的结果：

作者：緣來
链接：https://www.jianshu.com/p/ca6daafe80e9