美丽汤
Beautifulsoup
是 Web爬网 的有力工具。它使用 urllib.request Python库。 urllib.request
从静态页面提取数据的功能非常强大。
硒
Selenium
是当前最广泛接受和最有效的 Web自动化
工具。Selenium支持与进行交互
Dynamic Pages, Contents and Elements。
结论
要创建一个健壮且高效的框架来抓取具有动态内容的页面,您必须将两者 Selenium
和 Beautifulsoup
框架都集成在一起。浏览动态元素并与之交互, Selenium
并高效地刮取内容 Beautifulsoup
一个例子
下面是一个 example
使用 Selenium
和 Beautifulsoup
用于Scrapping



