栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

java爬虫Jsoup小练习

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

java爬虫Jsoup小练习

依赖

  		
            org.jsoup
            jsoup
            1.13.1
        

挑选了一个学校的官网考研复试的名单 准备爬取
第一步就是 连接然后获取该页面的html
第二步就是 分析html,要爬取的内容

通过分析可以发现,除了表格标题行有class其他都没有,只能使用tr标签爬取
爬取出一个tr行里面有10个td列
除去掉没用的行,开头两行和结尾几个空行
就可以获取里面span标签的内容啦

@Test
    public void getWHPUlist() throws IOException {
        HashMap> map = new HashMap<>();
        Document document = Jsoup.connect("http://sjxy.whpu.edu.cn/info/1110/3055.htm").get();
        Elements elements = document.getElementsByTag("tr");
        for (int i = 2; i < elements.size(); i++) {
            Elements td = elements.get(i).getElementsByTag("td");
            int size = td.size();
            if (size<10 || StringUtils.isNullOrEmpty(td.get(0).text()))
                continue;
            ArrayList info = new ArrayList<>();
            Long id = new Long(0);
            for (int i1 = 0; i1 < size; i1++) {
                String span = td.get(i1).getElementsByTag("span").get(0).text();
                if (i1 == 0) {
                    id = new Long(span);
                }else {
                    info.add(span);
                }
                map.put(id,info);
            }
        }
        for (Map.Entry> longArrayListEntry : map.entrySet()) {
            System.out.println("学号:"+longArrayListEntry.getKey());
            System.out.println("信息:"+longArrayListEntry.getValue());
        }
      }

结果

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/970567.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号