网络爬虫为一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的
URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。
爬虫部分代码如下
``
r = requests.get('http://www.xxxxxxxxxxxxxxx.html')
print(r.text)
```初次试写python爬虫爬取网页小说,
但是会出现中文乱码,很是尴尬。
解决办法
先 r.encoding = r.apparent_encoding # 解决中文乱码
解码后再取text。 结束
推荐:python视频教程。



