最近在学爬虫，一步一步来，也算记录一下自己的学习过程，适合有一定python基础的同学
request库需要先下载一下request库
打开cmd，输入命令 pip install requests
直接上马！
import os
import requests
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36'}
def Getbaidukeyword(word,pathdir):
url_action = 'https://www.baidu.com/s?'
data = {'wd': word,}
response = requests.get(url_action, params=data, headers=headers)
response.encoding = response.apparent_encoding
filename = pathdir+"/"+word+"1.html"
with open(filename, 'wb') as f:
f.write(response.content)
path = r"C:UsersxxxDesktop爬虫给爷爬"
Getbaidukeyword("猛男",path)
这是个非常简单的爬虫 headers 是用户代理，简单来说就是利用这个 headers来模拟浏览器请求
因为不用这个的话，对方很轻易就知道你是爬虫，不想让你爬，所以需要伪装一下。
有的同学可能会有问题："user-agent后面的内容是怎么来的？"
你可以直接用上面的，也可以去网上查，链接发了：
User-Agent大全_Jamesaonier的博客-CSDN博客
还有个方法也是我比较推荐的方法就是自己去看一下，我们举个例子
随便找个网页（因为本文章做的是爬百度的所以就拿百度举例）
打开谷歌浏览器 -->F12控制台-->点击network 抓个包如果没有内容就刷新一下网页-->然后再headers中找到 user-agent
因为我们用的是谷歌浏览器 所以这个ua就是谷歌的。
中间的都很好理解
path = “”的路径可以提前创建 也可以加入下面的代码
if not os.path.exists(i):
os.mkdir(r'C:Usersxxx')
使用起来就很简单了 上文爬的猛男！ 如果想爬别的就把猛男换成你想爬的内容就好了。
大家可能会疑问，例如感觉这爬虫为什么要这么做，直接去百度搜一下不就行了吗，爬虫这么做不是更麻烦？ 其实这只是个简单的爬虫，让大家简单理解一下基本的原理和作用，爬虫的妙处是很多的！
