栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > Web开发 > JavaScript

phantomjs爬虫

JavaScript 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

phantomjs爬虫

小编向大家介绍了phantomjs是什么(https://www.py.cn/web/js/22623.html),大家也应该知道了phantomjs可以用于网络爬虫,那么phantomjs爬虫到底是如何实现的呢?其实就是使用phantomjs操作网络爬虫,获取页面中使用js来下载和渲染信息,或者是获取链接处使用js来跳转后的真实地址。

一、phantomjs使用场景网络爬虫

获取页面中使用js来下载和渲染信息,或者是获取链接处使用js来跳转后的真实地址。

page.evaluate 方法提供了一个沙箱,操作和js中dom一样,可以简单的获取你想要的内容,避免了使用复杂的正则匹配内容。

二、phantomjs爬虫实现

1、新建一个Javascript文件

console.log('Hello, world!');
phantom.exit();

2、在命令行输入:

phantomjs test.js

3、使用phantomjs操作网络爬虫

var page = require('webpage').create();
page.settings.resourceTimeout=5000;
page.onConsoleMessage = function (msg) {
    console.log(msg);
}
phantom.outputEncoding = "gbk";
var url = "http://www.ifeng.com/";
page.open(url,function (status) {
    if (status !== 'success') {
        console.log('Unable to access network');
    } else {
        page.includeJs("http://libs.baidu.com/jquery/1.11.1/jquery.min.js",function () {
            var result = page.evaluate(function(){
                var result = $("#headLineDefault h1 a").html();
                console.log("ifeng headline is : "+result);
                return result;
            })
            console.log("result is :"+result);
        })
    }
    setTimeout(function () {
        phantom.exit();
    },5000);
})

以上就是phantomjs爬虫的介绍和使用实例,phantomjs爬虫很好用,但是速度有些慢,要耐心等待哦~

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/14746.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号