【JAVA】爬虫最终方案发布——Spider Terminator

摘要

GitHub: https://github.com/Qlone/spider-terminator/tree/main/core
Maven仓库地址：https://mvnrepository.com/search?q=com.github.qlone
其他依赖：谷歌浏览器内核、无界面浏览器Phantomjs内核
selenium知识补充：https://www.cnblogs.com/Neeo/articles/10669758.html

章节

一、使用场景二、设计思路三、使用示例 Maven


    com.github.qlone
    spider-terminator-core
    1.0

本文旨在，为Java自动化测试添砖加瓦。
总所周知，爬虫技术也用在自动化测试中。

一、使用场景

很多情况下，我们需要对某些系统进行测试时，不仅要梳理接口的调用顺序，还要知道接口参数和页面上的数据映射关系。

好在杰森·哈金斯（Jason Huggins）也觉得这痛苦不堪，开发了selenium。selenium可以在代码中模拟浏览器渲染出Html，并提供函数模拟用户在正常浏览器中的操作。

Spider Terminator框架基于selenium开发。

二、设计思路

原生selenium的api十分灵活，意味着我们实现功能时需要编写大量函数。稍有不慎会使得代码难以理解。

在自动化脚本编写中，我们通常都是进行以下几个操作：

打开页面找到页面上的元素/组建对元素/组建进行操作（点击、输入、信息获取）

因此框架中将围绕着以下4个上下文进行脚本操作

Roboot，提供浏览器打开页面切换页面等操作WebContext，页面上下文。可以通过该上下文找到对应的元素列表WebComponent，元素列表。获取到列表后，我们需要做一些过滤操作选出其中我们需要处理的一个元素。WebFocusComponent，选中的元素。我们会对选中的元素进行操作

上下文切换如图所示：

图中大概意思是，上下文有层级关系。下层的创建需要由上层一层层确定得出，上层可由任意下层返回。

三、使用示例

我们演示一段自动打开微信公众号草稿箱的代码

需要注意的是，谷歌浏览器内核版本需要和电脑中的谷歌浏览器版本一致

如果需要登陆的话，需要将cookie保存到本地，这样就不需要每次启动登录了。

Roboot roboot = new RobootTest(SeleniumDriver.Chrome, "/Users/heweinan/documents/software/webdriver/chromedriver");
roboot.open("https://mp.weixin.qq.com/")
        //中断程序，需要输入Y/N进行确认
        .check("login?");
        //保存cookie到本地文件
        .storecookie();

示范

StringBuffer page = new StringBuffer();
//使用Chorme内核渲染、还可以选择Phantomjs。
Roboot roboot = new RobootTest(SeleniumDriver.Chrome, "/Users/heweinan/documents/software/webdriver/chromedriver");
//打开微信公众号
roboot.open("https://mp.weixin.qq.com/")
        //加载cookie
        .installcookie()
        //刷新页面
        .refresh()
        //进入草稿箱
        //选中className是weui-desktop-menu__name并且内容是草稿箱的第一个元素，然后点击
        .className("weui-desktop-menu__name").textFilter("草稿箱").first().clickscript()
        //新的创作
        //通过css定位符合条件的第一个元素，将组建中的href内容写入page中，然后点击
        .css("div.preview_media_add_panel ul li.create_article_item a").first().attr("href", page::append).clickscript()
        //此时上下文是WebFocusComponent，切换到Roboot
        .robootContext()
        //此时因为浏览器点了超链接新开了一个页面，我们需要切换到第二个Tab中
        .switchHandler(1)
        //超链接
        //通过id定位到元素取第一个，并点击
        .id("js_editor_insertlink").first().clickscript()
        //选择其他公众号作为输入
        .className("weui-desktop-btn").first().clickscript()
        //输入公众号
        .className("weui-desktop-form__input").choose(1).send(bizName).send(Keys.ENTER)
        //选择列表第一个公众号
        .css("li.inner_link_account_item div.weui-desktop-vm_primary ").first().clickscript();

总结

可以看到，通过Spider Terminator的API我们不仅很方便的实现了自动化逻辑的编写。并且操作步骤也清晰明了易于维护。

【JAVA】爬虫最终方案发布——Spider Terminator

Python相关栏目本月热门文章