栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

使用无头浏览器的Android Web抓取

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

使用无头浏览器的Android Web抓取

好吧,两周后,我承认失败了,目前正在使用一种对我来说非常有用的解决方法。

问题:
将HTMLUnit移植到Android太困难了(或者至少以我的专业水平)。我确信这是一个值得的项目(对于有经验的Java程序员而言,并没有那么耗时)。我给HTMLUnit的家伙们发了电子邮件,他们评论说他们没有考虑端口或将要付出什么努力,但是建议任何想要开始这样的项目的人都应该向他们的邮件列表发送一条消息,以吸引更多的开发人员参与(http:
//htmlunit.sourceforge.net/mail-
lists.html

)。

解决方法:
我使用android内置的WebView并重写了Webview类的onPageFinished方法来注入Javascript,该Javascript可在页面完全加载后捕获所有html。Webview还可以用于调用进一步的Javascript操作,单击按钮,填写表单等。

码:

webView.getSettings().setJavascriptEnabled(true);MyJavascriptInterface jInterface = new MyJavascriptInterface(context);webView.addJavascriptInterface(jInterface, "HtmlViewer");webView.setWebViewClient(new WebViewClient() {@Overridepublic void onPageFinished(WebView view, String url) {   //Load HTML   webView.loadUrl("javascript:window.HtmlViewer.showHTML       ('<head>'+document.getElementsByTagName('html')[0].innerHTML+'</head>');");}webView.loadUrl(StartURL);ParseHtml(jInterface.html);public class MyJavascriptInterface {    private Context ctx;    public String html;    MyJavascriptInterface(Context ctx) {        this.ctx = ctx;    }    @JavascriptInterface    public void showHTML(String _html) {        html = _html;    }}


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/426730.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号