python爬虫高级教程(python爬虫开始入门)

所谓爬虫，就是通过编写程序获取互联网上的资源！

打开PyCharm，导入Python包，具体代码如下所示：

from urllib.request import urlopen

就是在urllib库中找到request库，从request库中导入urlopen

导入Python包后，需要确定要爬取的网址，这里以爬取百度为例,然后可以用urlopen从请求路径中得到相应，具体代码如下所示:

# 确定要爬取网址的路径
url = "http://www.baidu.com"
# 访问网址得到相应
resp = urlopen(url)

我们直接从上一步得到的是内容字节，需要字节转字符串，因此我们需要对得到的响应进行解码并保存到文件中，并且要防止中文乱码！具体代码如下所示：

with open("mybaidu.html", mode="w", encoding="utf-8") as f:
    f.write(resp.read().decode("utf-8"))  # 从响应中读取到页面源代码
print("保存结束")

执行前三步后，便将百度中爬取的主体内容保存到同级目录下的mybaidu.html中，我们直接点击进入该文件，右键执行即可看见百度官网的样式，看路径可以发现，这个不是百度官网的url，而是我们的项目路径具体如下所示:

# 需求：用程序模拟浏览器，输入一个网址，从该网址中获取到资源或者内容
from urllib.request import urlopen
# 确定要爬取网址的路径
url = "http://www.baidu.com"
# 访问网址得到相应
resp = urlopen(url)
# 想得到内容
# decode 就是为了解码,以utf-8的形式解码
# print(resp.read().decode("utf-8"))
with open("mybaidu.html", mode="w", encoding="utf-8") as f:
    f.write(resp.read().decode("utf-8"))  # 从响应中读取到页面源代码
print("保存结束")