栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python > python爬虫

python爬虫实战之爬取百度首页的简单实现

python爬虫 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python爬虫实战之爬取百度首页的简单实现

“百度一下,你就知道”、“有问题找度娘”等网络语言的传播使百度搜索引擎随着互联网的发展出现在人们的生活中,当我们遇到问题,我们习惯打开百度,在百度首页上输出问题,按回车键即可得到答案,那你知道如何使用python爬虫爬取百度首页吗?本文就用if语句带领大家开始python爬虫爬取百度首页的实战练习。

第一步:导入requests模块

import requests

第二步:指定URL并进行UA伪装

#如果当前python文件作为入口程序执行时,则执行if语句下的代码if  __name__=='__main__':
    # 指定URL
    url = 'https://www.baidu.com'
    # 进行UA伪装,模拟浏览器,注意要将相应的User-Agent封装在一个字典中
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0'
    }

第三步:向服务器发起请求,get方法返回一个响应对象

  response = requests.get(url=url, headers=headers)

第四步:获取字符串类型的响应数据

page_text = response.text

第五步:持久化存储,写入文件

 with open('./baidu.html', 'w', encoding='utf8') as fp:
        fp.write(page_text)
    print('百度首页爬取成功!!!')

以上就是python爬虫实战之爬取百度首页的简单实现,是不是很简单,大家快尝试看看吧·更多python爬虫实战学习推荐:python实战教程。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/12500.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号