学习爬虫是入门python最好的方式。一个爬虫程序的思维模式基本都是固定的，编程模式相对其它而言也是最简单的，只要多去实践，慢慢积累后一般都可以学的还不错。
此篇文章讲得就是对一个网页以BeautifulSoup和lxml为根本，进行多种抓取信息方法实战。
一般爬虫的固定模式
即无需处理像异步加载、代理、验证码等高级爬虫技术的方法。一般情况下的爬虫两大请求库 urllib 和requests中 requests大家都非常喜欢用，urllib功能也是非常齐全。
两大常用的解析库BeautifulSoup由它强大的HTML文档解析功能而被大家广泛使用，另一个lxml解析库与xpath表达式搭配效率也是显著提高。
各有特色，完全是看个人喜好去使用。我比较热衷于
四种实现爬虫的方法
例举一个网页首页如下：在这里还是要推荐下我自己建的Python开发学习群:304+050+799，群里都是学Python开发的，如果你正在学习Python ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有Python软件开发相关的），包括我自己整理的一份2018最新的Python进阶资料和高级开发教程，欢迎进阶中和进想深入Python的小伙伴
爬虫效果如下：
一样是BeautifulSoup与requests的爬虫组合，然而再信息提取上采用了find_all的方法，效果：
和第三种方法相似，不过是在解析上使用了lxml库下的 html.fromstring模块，效果如下：
还有些人认为爬虫很难学会，感觉知识点很多，比如熟练前端、python、数据库、正则表达式、XPath表达式这些。然而爬虫需要吗？是的需要。但是你完全可以绕过这些直接学爬虫，到了不懂的地方再去翻资料学就是了。爬取网站时尽量多使用不同的方法，加深对Python爬虫的应用。
作者：程序员大牛
链接：https://www.jianshu.com/p/a5400f83f461
