做个简单的Demo,爬取酒店的基本信息,酒店名称、酒店地址、酒店星级、酒店的图片等。这里考虑在哪个网站爬取这些数据呢?第一个想到的就是X程上。
Jsoup爬取的是网页上的数据,获取到的是一个html,然后通过JS的DOM操作来获取里面的数据。
将爬取到的数据保存到Mysql数据库中,这里先创建一个SB项目,将环境搭建好。
这里我将图片先保存到本地,然后往数据库中,保存图片的名称(地址)。需要使用IO流的操作。
现在就简单的操作以下,记录下来:
- 导入Jsoup依赖。
org.jsoup jsoup 1.13.1
- 编写一个测试方法(main())
package com.simon.jsoup_test.test;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
import java.net.URL;
public class JsoupXCData {
public static void main(String[] args) throws IOException {
//解析需要爬取的网页地址,得到一个document对象,接下来就可以做DOM操作了。
Document document = Jsoup.parse(new URL("https://hotels.ctrip.com/hotel/guangzhou32"), 10000);
//通过类选择器获取每一个li
Elements elements = document.getElementsByClass("list-item-target");
//遍历li
for (Element element : elements) {
//获取星级
Elements star = element.getElementsByClass("more-star-repeat").get(0).getElementsByTag("i");
int stars = 0;
for (Element element1 : star) {
stars++;
}
System.out.println("星级:" + stars);
Element special = element.getElementsByClass("special").get(0);
//获取图片
String img = special.getElementsByTag("img").attr("src");
System.out.println("图片地址:" + img);
//获取酒店名称
String name = special.getElementsByTag("a").get(0).attr("title");
System.out.println("酒店名称:" + name);
//获取该酒店的详情链接
String url = special.getElementsByTag("a").get(0).attr("href");
System.out.println("详情链接" + url);
//每个酒店有一个酒店详情的链接,获取该链接,再去爬取详情信息。其中可以获取该酒店的详细地址
Document detail = Jsoup.parse(new URL(url), 10000);
Element element1 = detail.getElementsByClass("detail-headline_position").get(0);
//获取该酒店的详细地址
String addr = element1.getElementsByClass("detail-headline_position_text").get(0).text();
System.out.println("酒店的详细地址" + addr);
//这里我就直接执行一个for,获取一个酒店的信息。
break;
}
}
}
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-10lKwM5p-1655212173523)(https://gitee.com/li-sicong/md_images_uploading/raw/master/20210813131849.png)]
- OK,我们已经获取了所有的信息,那么这个时候就该将图片保存到本地了。
编写一个图片的IO操作工具类:
package com.simon.jsoup_test.test;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;
public class ImgDownloadUtil {
public static void imgDownload(String imgUrl) throws IOException {
URL url = new URL(imgUrl);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestMethod("GET");
conn.setConnectTimeout(5000);
InputStream is = conn.getInputStream();
String imgName = System.currentTimeMillis() + ".jpg";
FileOutputStream os = new FileOutputStream("D:\Pictures\" + imgName);
byte[] bytes = new byte[1024 * 8];
int len = 0;
while ((len = is.read(bytes)) != -1) {
System.out.println(len);
os.write(bytes, 0, len);
}
os.flush();
//流的关闭
is.close();
os.close();
}
}
ending!现在全部的数据已经扒下来了,那么就可以实现将这些数据存入到数据库的操作了。执行一个insert(Hotel hotel)



