栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

JAVA使用okhttp爬取数据

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

JAVA使用okhttp爬取数据

本文通过okhttp获取百度百科okhttp介绍信息,也就是这一块的信息

主要分为四步
1、 通过控制台找到对应的链接请求。
2、 构建请求
3、 发起请求拿到返回对象,获取返回对象中html页面
4、 解析html页面拿到所需要的值

获取链接请求

用浏览器打开 okhttp 百度百科,找到返回信息的链接信息

使用maven引入okhttp和解析页面所需要使用到的 jar包

    com.squareup.okhttp3
    okhttp
    3.6.0



    org.jsoup
    jsoup
    1.8.3

构建请求

// 创建OkHttpClient对象
OkHttpClient client = new OkHttpClient();
// 请求对应的百度百科地址
URL urlStr = new URL("https://baike.baidu.com/item/okhttp/20447138?fr=aladdin");
// 构建请求
Request request = new Request.Builder()
//请求接口。如果需要传参拼接到接口后面。
.url(urlStr)
// 请求类型
.get()
.build();

发起请求拿到返回对象,获取返回对象中html页面

// 创建 response 对象,用于获取返回信息
Response response = null;
// 发起请求,并拿到返回的 response
response = client.newCall(request).execute();
// 拿到返回的html代码,如果返回的是json信息可以直接转正对象
String jsong = response.body().string();

拿到请求 解析html页面拿到所需要的值

// 解析 html 页面,获取其数据
document document = Jsoup.parse(jsong);
// 拿到对应class下面的内容
Elements divLemmaSummary = document.getElementsByClass("lemma-summary");
//根据 div 标签来划分,得到数据数组
Elements div = divLemmaSummary.select("div");
// 最后得到的okhttp数据信息
System.out.println(div.get(0).text());

最后获取的内容:

android网络框架之OKhttp 一个处理网络请求的开源项目,是安卓端最火热的轻量级框架,由移动支付Square公司贡献(该公司还贡献了Picasso) [1]  用于替代HttpUrlConnection和Apache HttpClient(android API23 6.0里已移除HttpClient,现在已经打不出来)

最后的 Elements div 对象有4条数据,下标为0的内容如上,另外三个和页面显示的一样,一行就是一条数据,代码的功能作用都写在代码注释中了。

成功导入jar包,按顺序复制代码即可使用

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/732884.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号