Scrapy是一个Web-spider或Web scraper框架,你为Scrapy提供一个根URL以开始爬网,然后你可以指定要爬网和获取的URL数量的限制。它是用于Web 爬网或爬网的完整框架。
而
BeautifulSoup是一个解析库,它在从URL提取内容方面也做得很好,并且允许你轻松解析其中的某些部分。它只会获取你提供的URL的内容,然后停止。除非你使用某些条件将其手动放入无限循环内,否则它不会爬网。
简而言之,使用Beautiful Soup,你可以构建类似于Scrapy的东西。Beautiful Soup是一个库,而Scrapy是一个完整的框架。



