栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

java爬虫---Jsoup

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

java爬虫---Jsoup

简单易懂的java爬虫—Jsoup

做个简单的Demo,爬取酒店的基本信息,酒店名称、酒店地址、酒店星级、酒店的图片等。这里考虑在哪个网站爬取这些数据呢?第一个想到的就是X程上。

Jsoup爬取的是网页上的数据,获取到的是一个html,然后通过JS的DOM操作来获取里面的数据。

将爬取到的数据保存到Mysql数据库中,这里先创建一个SB项目,将环境搭建好。

这里我将图片先保存到本地,然后往数据库中,保存图片的名称(地址)。需要使用IO流的操作。

现在就简单的操作以下,记录下来:

  1. 导入Jsoup依赖。


    org.jsoup
    jsoup
    1.13.1

  1. 编写一个测试方法(main())
package com.simon.jsoup_test.test;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.net.URL;


public class JsoupXCData {
    public static void main(String[] args) throws IOException {
        //解析需要爬取的网页地址,得到一个document对象,接下来就可以做DOM操作了。
        Document document = Jsoup.parse(new URL("https://hotels.ctrip.com/hotel/guangzhou32"), 10000);
        //通过类选择器获取每一个li
        Elements elements = document.getElementsByClass("list-item-target");
        //遍历li
        for (Element element : elements) {
            //获取星级
            Elements star = element.getElementsByClass("more-star-repeat").get(0).getElementsByTag("i");
            int stars = 0;
            for (Element element1 : star) {
                stars++;
            }
            System.out.println("星级:" + stars);
            Element special = element.getElementsByClass("special").get(0);
            //获取图片
            String img = special.getElementsByTag("img").attr("src");
            System.out.println("图片地址:" + img);
            //获取酒店名称
            String name = special.getElementsByTag("a").get(0).attr("title");
            System.out.println("酒店名称:" + name);
            //获取该酒店的详情链接
            String url = special.getElementsByTag("a").get(0).attr("href");
            System.out.println("详情链接" + url);
            //每个酒店有一个酒店详情的链接,获取该链接,再去爬取详情信息。其中可以获取该酒店的详细地址
            Document detail = Jsoup.parse(new URL(url), 10000);
            Element element1 = detail.getElementsByClass("detail-headline_position").get(0);
            //获取该酒店的详细地址
            String addr = element1.getElementsByClass("detail-headline_position_text").get(0).text();
            System.out.println("酒店的详细地址" + addr);
            //这里我就直接执行一个for,获取一个酒店的信息。
            break;
        }
    }
}

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-10lKwM5p-1655212173523)(https://gitee.com/li-sicong/md_images_uploading/raw/master/20210813131849.png)]

  1. OK,我们已经获取了所有的信息,那么这个时候就该将图片保存到本地了。

编写一个图片的IO操作工具类:

package com.simon.jsoup_test.test;

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;


public class ImgDownloadUtil {

    public static void imgDownload(String imgUrl) throws IOException {
        URL url = new URL(imgUrl);
        HttpURLConnection conn = (HttpURLConnection) url.openConnection();
        conn.setRequestMethod("GET");
        conn.setConnectTimeout(5000);
        InputStream is = conn.getInputStream();
        String imgName = System.currentTimeMillis() + ".jpg";
        FileOutputStream os = new FileOutputStream("D:\Pictures\" + imgName);
        byte[] bytes = new byte[1024 * 8];
        int len = 0;
        while ((len = is.read(bytes)) != -1) {
            System.out.println(len);
            os.write(bytes, 0, len);
        }
        os.flush();
        //流的关闭
        is.close();
        os.close();
    }
}

ending!现在全部的数据已经扒下来了,那么就可以实现将这些数据存入到数据库的操作了。执行一个insert(Hotel hotel)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/973506.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号