【爬虫剑谱】第二卷 实战篇 第三章 当当童书榜近30日的数据爬取并保存

一、源码二、在学习过程中可能会遇到的问题

问题1：不理解源码中关于parse_html类中代码的具体含义

import requests
import pandas as pd
from bs4 import BeautifulSoup

data_info = {
    '图书排名': [],
    '图书名称': [],
    '图书作者': [],
    '图书价格': []
}

def parse_html(soup):

    li_list = soup.select(".bang_list li") # 提取 class = bang_list标签下的所有标签
    for li in li_list:
        data_info['图书排名'].append(li.select(".list_num")[0].text.replace(".",""))
        data_info['图书名称'].append(li.select(".name a")[0].text)
        data_info['图书作者'].append(li.select(".publisher_info a")[0].text)
        data_info['图书价格'].append(float(li.select(".price .price_n")[0].text.replace("¥","")))

headers={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36 Edg/97.0.1072.76"
}
for i in range(1,26):
    url=f"http://bang.dangdang.com/books/childrensbooks/01.41.00.00.00.00-recent30-0-0-1-{i}-bestsell"
    response=requests.get(url,headers).text
    soup=BeautifulSoup(response,"lxml")
    parse_html(soup)
    print(f"第{i}页爬取完毕")


book_info = pd.Dataframe(data_info) # 将字典转为Dataframe对象格式
print(book_info.isnull())			# 缺失值判断
print(book_info.duplicated())		# 重复值判断


book_info['图书价格'][book_info['图书价格'] > 100] = None  # 将价格大于100的图书价格替换为空值
book_info = book_info.dropna()		# 删除有空值的一行数据


book_info.to_csv('图书销售排行.csv', encoding='utf-8', index=False) 	# 将处理好的数据进行保存，存储格式为csv文件