栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

网页上爬取数据(Java版)通俗易懂

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

网页上爬取数据(Java版)通俗易懂

学习目标:

当我们需要获取一些网络上的资源时,爬虫成了一种不可获取的技术,但是各大网站基本都限制通过接口来获取,本文将手把手教大家如何通过网页来获取我们想要的资源(仅供学习使用),一招学会,天下无敌!

  • 通过网页jsoup爬取我们想要的内容,这里以爬取XX信息为例

学习内容: 1.引入相关pom
        
        
            org.jsoup
            jsoup
            1.10.2
        

2.寻找自己要爬取网址的标签

2.1 因为涉及隐私,地址我就不展示了,用(xxx代替),有需要详细查看的关注公众号
2.2 打开F12,找到自己需要的字段

3.编码阶段
		String url = "xxx" + keyWord;

        url = URLDecoder.decode(url, StandardCharsets.UTF_8);
        //Document document = Jsoup.parse(new URL(url), 30000);

        //模拟浏览器访问,防止阻止跳到登录页面
        Connection mozilla = Jsoup.connect(url).userAgent("Mozilla");
        Document document = mozilla.get();

        Element element = document.body();

        Element j_goodsList = element.getElementById("J_goodsList");

        //Elements lis = j_goodsList.getElementsByTag("li");
        Elements lis = j_goodsList.getElementsByClass("gl-item");

        List list = new ArrayList<>();
        for (Element li : lis) {
            String price = li.getElementsByClass("p-price").eq(0).text();
            String name = li.getElementsByClass("p-name").eq(0).text();
            String img = li.getElementsByTag("img").eq(0).attr("data-lazy-img");//懒加载在在这里,初始化并不是在stc属性里
            // String img = li.getElementsByTag("img").eq(0).attr("src");
            list.add(new Content(name, img, price));
        }
4. 结果

全部源码见公众号获取回复“Java网页爬虫”即可

关注公众号,随时学习最新内容,并与博主零距离交流!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/943308.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号