我们常说的爬虫不是生物,而是网络爬虫,也叫网络蜘蛛。我平时用的Google搜索和搜索就是爬虫之一。网络搜索引擎通过爬虫软件更新他们的网站内容或网站索引。并保存您访问的页面,以便生成索引供用户事后搜索。我们平时说爬虫学的好,坐牢早,为什么搜索引擎没有这个顾虑?
这里有两点需要说明。一、服务器管理员禁止爬虫抓取的网站。如果你爬上去,当然是违法的。第二,服务器管理员允许爬虫抓取,但是你抓取之后侵犯或者滥用了里面的数据。现阶段做爬虫项目并盈利的人往往绕不开这两点,所以不是爬虫有罪,而是抓取网站的方法和动机有问题。
2017年,某公司3人抓取服务器存储的视频资料,破解了某公司的反抓取措施,实施了视频资料抓取。被北京市海淀区人民法院提起公诉,最终被判刑,并处罚金。这是典型的禁止爬虫抓取的行为。有人说我只是公司的一个员工,老板让我做的。那与我无关吗?答案是肯定的——否定的!我们可以看到,本案三人均被判刑。
2019年,国内最大的简历大数据公司大乔科技有限公司被警方查封,员工全部被带走。截至2015年6月30日,该公司声称在数据库中,有超过1.6亿份收入以人类计算的自然人简历,而这些都是通过爬虫从其他招聘网站获取的。公司的恋爱伴侣功能是让公司领导提前知道,一旦员工在招聘网站上有更新简历的信息或者信息被猎头频繁查看,员工可能会离开。这不仅是非法访问,也是对里面数据的滥用。
现阶段手机app会申请大量权限来获取数据,很多软件没有权限就无法使用。一部分授权给第三方,一部分流入网络。然后被一些爬虫公司爬出来卖给一些客户,所以在接到诈骗电话或者垃圾邮件的时候,根本无法分辨是哪个泄露出去的。爬虫工程师招聘还是挺火的。而且很多都披上了大数据的华丽外衣,但归根结底还是靠卖数据赚钱。
但是,爬虫也有很多应用。比如你想买房,你可以把相关区域的房价都爬下来,然后自动对比,再筛选剩下的,比网上一个一个搜效率高多了。比如看画廊就很好。如果要全部下载,可以使用爬虫技术批量下载,而不是手动一个一个下载。爬虫只是一种手段。是好方法还是坏方法,取决于用户的方法。
【自营】python编程入门指南 Web/Django/Pygame/Flask Web/网络爬虫/可搭C语言/java/HTML/CSS/C#/C++/PHP京东月销量56官方店¥80购买


