如果你想快速开发出一个高效、易维护的爬虫，可以通过WebMagic框架实施。WebMagic框架简单灵活，无须配置，很容易操作，可用于链接提取、页面下载、内容抽取、持久化多种环境。本文将向大家介绍java爬虫框架WebMagic。
1、WebMagic是什么？
WebMagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
WebMagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。
官网地址：http://webmagic.io/
文档说明：http://webmagic.io/docs/zh/
2、WebMagic框架四大组件
Downloader、PageProcessor、Scheduler、Pipeline。
3、WebMagic框架用于数据流转的对象
Request、Page、ReusltItems。
4、WebMagic框架功能
WebMagic里主要使用了三种抽取技术：XPath、CSS选择器和正则表达式，可以用于抽取元素Selectable；
对JSON格式的内容，可使用JsonPath进行解析；
使用Selectable接口，可以直接完成页面元素的链式抽取，也无需去关心抽取的细节；
WebMagic对统一多条元素，可以通过不同的API获取到一个或者多个元素。
以上就是对java爬虫框架WebMagic的介绍，希望能帮助你理解哦~更多java教程推荐：java教程。
