day 14 图片悬停消失、爬虫爬取网页内容

方法一：直接替换背景

requests-请求页面，得到响应结果

BeautifulSoup4模块：根据相应结果解析页面、提取数据

写入文件、数据库

bs4模块能从html或者xml中提取数据。

引用的时候用from bs4 import BeautifulSoup

网页分为静态页面和动态页面

静态页面：内容是不变的，除非人为的进行内容修改，否则这个页面的内容是不变的

动态页面：内容是改变的，使用某种特俗的技术(JavaScript)使数据通过某种方式显现到页面中

requests得到的结果使静态页面的结果。

BeautifulSoup(网页源码，解析器)—>将字符串类型的源代码转换为bs4类型

bs4模块提供了一系列提取数据的方法，这些方法的操作对象为bs4类型的数据

选择器输入的时候是字符串类型

select：根据CSS选择器（标签、class、id等）定位数据，得到的符合这个选择器的所有结果整体是列表,列表中的每一个元素是一个bs4类型的数据

select_one:根据CSS选择器（标签、class、id等）定位数据，得到的符合这个选择器的一个结果，是bs4类型数据

text：从bs4类型数据中提取标签内的内容，结果为字符串

sttris：从bs4类型数据中提取标签内容的属性值，结果为字符串

# 安装模块
import requests
from bs4 import BeautifulSoup
# 遍历页数，确定数据范围
for page in range(1,11):
    print(f'第{page}页')
    URL = f'https://www.chinanews.com.cn/scroll-news/news{page}.html'
    Headers={
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:102.0) Gecko/20100101 Firefox/102.0'  
    }
    # headers={} --->headers是一个字典:{key:value}
    # headers是给爬虫提供伪装的，以浏览器身份访问网站
    response = requests.get(url=URL)
    if response.status_code == 200:  # 判断状态码是否接通
        response.encoding='utf-8'
        soup = BeautifulSoup(response.text,'html.parser')  # 解码
        li_list = soup.select(
            'body>div.w1280.mt20>div.content-			left>div.content_list>ul>li')  # 找到对应的位置
        for i in li_list:
            if i.select_one('li>div.dd_lm>a') !=None: # 去掉空值，防止报错
            	news_type=i.select_one('li>div.dd_lm>a').text
                # print(news_type)
                news_title= i.select_one('li>div.dd_bt>a').text
                # print(news_title)
                news_herf ='https://www.chinanews.com.cn'+i.select_one('li>div.dd_bt>a').attrs['href']
                # 加上本来网站网址，字符串形式
                # print(news_herf)
                news_time= i.select_one('li>div.dd_time').text
                # print(news_time)
                print(news_type,news_title,news_herf,news_time)