1.导入POM依赖
org.jsoup jsoup 1.13.1
在这之前我这边就以爬取jd的数据为例
：https://search.jd.com/Search?keyword=java
2.开始爬取数据一行代码搞定GET请求
public class TestJD {
@Test
public void doGetjd() throws Exception {
String keyword = "java";
String url = "https://search.jd.com/Search?keyword="+keyword;
document document =Jsoup.parse(new URL(url),300000);
System.out.println(document.body().html());
}
}
执行结果如下：
当你执行完上面代码发现爬取的并不是我想要的内容，那么就要去网页自行去分析，找到爬取内容那部分的标签，很明显我这边需要爬取的是一个大的div那么我先获取这个div的id（j_goodList）。
下面代码就获取价格里面的文本内容
public class TestJD {
@Test
public void doGetjd() throws Exception {
String keyword = "java";
//获取请求连接，需要联网
String url = "https://search.jd.com/Search?keyword="+keyword;
//解析网页（返回浏览器的document对象）
document document =Jsoup.parse(new URL(url),300000);
//获取div，js里面的方法这里都能用
Element element = document.getElementById("J_goodsList");
//获取div里面的每个li
Elements elements = element.getElementsByTag("li");
for (Element el :elements){
String text = el.getElementsByClass("p-price").eq(0).text();
System.out.println(text);
}
}
}
具体需要什么内容这一步还是得要自己去网页分析。非常简单，有手就行。
3：接下来是POST
post和get的区别就是请求传参数不同。那么post最关键的就是.data(Map)传条件，直接写个Map就搞定。然后k-v一一对应。
public void doPOSTjd() throws Exception {
Map param = new HashMap<>();
String url = "请求url需要替换成post请求的";
//解析网页（返回浏览器的document对象）
document document =Jsoup.connect(url)
.data(param) //这个就是存放post请求的参数
.timeout(30000)
.post();
//获取div，js里面的方法这里都能用
Element element = document.getElementById("J_goodsList");
//获取div里面的每个li
Elements elements = element.getElementsByTag("li");
for (Element el :elements){
String pprice = el.getElementsByClass("p-price").eq(0).text();
String pname = el.getElementsByClass("p-price").eq(0).text();
String pbookdetails = el.getElementsByClass("p-bookdetails").eq(0).text();
System.out.println("----------------");
System.out.println(pprice);
System.out.println(pname);
System.out.println(pbookdetails);
}
}
}
