前言

        目前互联网高度发达，网络上传输着各种各样的数据，如果想要获取某种数据可以通过搜索引擎获取。其实搜索引擎的背后也是通过网络爬虫去获取数据，作为基础数据，再经过数据清洗等处理，搜索引擎再对处理之后的数据建立索引，使得我们在查询的时候，能够快速检索到。当然其中的过程是很复杂的，不是本篇文章能描述清楚的，也不是本篇文章的内容。

       经过分析，目前的爬虫框架挺多的，根据不同的应用场景，有对应的框架；针对搜索引擎，有分布式的网络爬虫；也有针对特定领域的精细化爬取。

        本文主要介绍webmagic框架，抓取股市页面数据。页面分为静态页面，动态页面，动态页面是通过js渲染的，Ajax发起的请求。在动态Ajax渲染页面上，magicweb框架是没办法处理，所以需要借助浏览器驱动器来获取，webmagic集成selenium组件。

        接下来就是抓取股市财经页面的例子，实现自动化获取相关信息，减少人为浏览页面耗费的时间，同时可以根据相关规则，做到实时告警，同时也可以获取历史数据，进行本地化计算和分析，对于财经朋友来说简直就是事半功倍。

代码：

首先是pom.xml文件，内容如下:

    4.0.0

    org.spider
    web-spider
    1.0-SNAPSHOT
    
        org.springframework.boot
        spring-boot-starter-parent
        2.6.3
    
    
        8
        8
    
    
        
            org.springframework.boot
            spring-boot-starter-web
        

        
            us.codecraft
            webmagic-core
            0.7.5
            
                
                    org.slf4j
                    slf4j-log4j12
                
            
        
        
            us.codecraft
            webmagic-extension
            0.7.5
            
                
                    org.slf4j
                    slf4j-log4j12
                
            
        

        
            us.codecraft
            webmagic-selenium
            0.7.5
        


        
            org.projectlombok
            lombok
            true
        

        
            com.alibaba
            fastjson
            1.2.46
        

        
            org.seleniumhq.selenium
            selenium-java
            3.0.1
        
        
            org.seleniumhq.selenium
            selenium-chrome-driver
            3.0.1
        
        
            org.seleniumhq.selenium
            selenium-server
            2.18.0
        
        
            com.google.code.gson
            gson
            2.2.4
        
    

接下来是pageProcessor代码，也就是页面提取，类ReportPageProcessor如下：

public class ReportPageProcessor implements PageProcessor {
    private Site site = Site.me().setRetryTimes(3).setSleepTime(100)
//            .addHeader("Connection", "keep-alive")
//            .addHeader("Accept","text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*
    @Override
    public void process(Page page) {
        // System.out.println("==========html:"+page.getHtml().toString());
        String content = page.getHtml().xpath("//table[@class='table2']/tbody/tr/td/div/ul/a/text()").nodes().toString();


        System.out.println("=========content:"+content);
    }

    
    @Override
    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {
        System.setProperty("selenuim_config", "E:\develop\webmagic\config.ini");
        ReportPageProcessor pageProcessor = new ReportPageProcessor();
        SeleniumDownloader downloader = new SeleniumDownloader("E:\develop\webmagic\chromedriver_win32\chromedriver.exe");
        Spider.create(pageProcessor).addUrl("http://vip.stock.finance.sina.com.cn/corp/go.php/vCB_AllBulletin/stockid/600507.phtml")
                .setDownloader(downloader)
                .thread(5).run();
    }
}

其中需要注意：

需要设置系统参数（config.ini文件），以及配置Google浏览器驱动chromedriver.exe，注意浏览器驱动需要与自己本地的chrome浏览器版本一致；目前演示的chromedriver.exe适合chrome浏览器版本 97.0.4692.99。文章末尾会给出源代码、config.ini、以及chromedriver.exe的获取方式；

抓取结果：

接下来对运行结果进行说明：

1、先查看目标页面的结构，在浏览器中输入如下地址：http://vip.stock.finance.sina.com.cn/corp/go.php/vCB_AllBulletin/stockid/600507.phtml，再按F12分析页面，找到想要抓取的数据,本例是想抓取所有的公告信息数据。页面如下:

2、上述目标对应的代码如下：

String content = page.getHtml().xpath("//table[@class='table2']/tbody/tr/td/div/ul/a/text()").nodes().toString();

3、得到的结果如下：

附：本地chrome浏览器版本可以通过如下步骤查看：

打开chrome浏览器=》点击右上角3个点

然后点击设置=》关于chrome

获得相应的版本号：

源代码或者相关文件获取方式:

请关注公众号: 纵横股宇CTO，回复：webmagic

以上信息请合理合法使用，如果使用不当，自行承担相应后果。