其实很多人都会写爬虫,但这只是最表层的东西罢了.相信真正了解爬虫原理的寥寥无几.
爬虫是何：
互联网是什么上一章已经说过了,我们可以抽象的把它看为蜘蛛网,你的电脑可以看做蜘蛛网上的一只蜘蛛,一个个网业你可以看做蜘蛛网上的昆虫,就好比蜘蛛网上有一首诗,那只蜘蛛就会把那那首诗背下来展现在电脑上,这就是爬虫(模拟浏览器向目标服务器发送请求)
那么你在某度上是如何进行搜索的呢？
其实当你在某度的搜索框上输入目标网址时,你的电脑就回用各种方法(DNS协议)找到那个网址的IP地址,那个IP地址又是什么呢?其是就是用来标记电脑的一串数字,它具有唯一性.然后根据IP地址在互联网上找到对方的电脑(学名叫服务器),随后在向对方服务器发起请求:我想要你点脑上的那个网址(这不就和刚讲的建议起来了吗).对方服务器就回给你一个回应,在回应中顺带把你要的东西-网页源代码给你,随后你的某度就会对网页源代码进行渲染(将它翻译成你能看懂的形式).看到这里你也许会怀疑人生了,既然某度如此强大,那还要爬虫干啥?这就诞生了第二个问题-两者曲别(.爬虫的好处)
先总结一下:输入网址,确定IP,发起请求,下载源码,进行渲染,呈现眼前
爬虫的好处：
1,刷流量
2,对网页源代码的渲染方式由你自己决定(
你想,某度的网页渲染功能固然强大,但人家直接给你渲染好了,到你手里毕竟是2手的,万一网页上有的消息你不想看呢,百度可无发把那些东西屏蔽掉,但爬虫可以只过滤出你想要的东西
)
3,薅羊毛(本人强烈反对,凭啥人家要要付钱你搞特殊?这有很强的法律风险,别打法律擦边球,否则进去了本人可不承担相关责任(DDDD))
4,批量下载全网资源,节省效率
5,爬出来的东西无广告
6.获得成就感
本篇完
