- 目录
- 概述
- 需求:
- 设计思路
- 实现思路分析
- 1.UserTack 节点
- 2.script Task
- 3.serviceTask
- 4.mailTask
- 5.manual Task
- receive task
- 还有2个常见的任务
- 拓展实现
- 性能参数测试:
- 参考资料和推荐阅读
目录 概述Survive by day and develop by night.
talk is cheap, show me the code,make a better result.
网络爬虫的是一个非常常见的需求。
需求:1.URL管理
2. 网页下载器
3. 爬虫调度器
4. 网页解析器
5. 数据处理器
任务对象设计较为广阔:
实现思路分析 1.UserTack 节点UserTack节点,涉及到了任务分配组,这是重点
2.script Task脚本语言,在主配置里面设计到了javaScript,grooy脚本等
3.serviceTask支持Java 代码或表达式
4.mailTask这个也比较简单,可以认为是mail 处理类的实现
5.manual Task手工任务,可配置一些属性。
接受任务,配置有监听器
还有2个常见的任务
1.业务规则Task,主要是配置监听器
2.callActitity
这个还不太熟
这里参考:github:简单实现上述流程:
入门级实现:
: 部分源码实现.
: 源码实现
根据业务参数而定
参考资料和推荐阅读- 调用子流程.
欢迎阅读,各位老铁,如果对你有帮助,点个赞加个关注呗!~



