第一个 java爬虫

String baseUrl http://youth.swust.edu.cn ; String grabUrl http://youth.swust.edu.cn/7671/list.htm?fbtdqnaywsrpcvoc ; document Jsoup.parse(new URL(grabUrl), 30000); String titleDivs #wp_news_w21 ul.wp_article_list ; Element uls document.selectFirst(titleDivs); //抓取失败的时候 if(uls.childNodeSize() 2){ Map String ,String map new HashMap (); map.put( title , 数据抓取失败 请重试 或者查看网站【 http://youth.swust.edu.cn/7671/list.htm?fbtdqnaywsrpcvoc 】是否正常运行 ); list.add(map); return list; //抓取成功了 int j uls.childNodeSize()/2; for (int i 0;i j;i ){ String title uls.child(i).child(0).child(1).text(); String time uls.child(i).child(1).child(0).text(); String url baseUrl uls.child(i).child(0).child(1).toString().split( target _blank )[0].split( a href )[1]; Map String ,String map new HashMap (); map.put( title ,title); map.put( time ,time); map.put( url ,url); list.add(map); return list;

返回样式

 msg : 操作成功 ,
 code : 200,
 data: [
 time : 2020-10-12 ,
 title : 中国青年志愿者扶贫接力计划研究生支教团 ,
 url : http://youth.swust.edu.cn/2021/0301/c7671a129922/page.htm 
 time : 2020-10-09 ,
 title : 中国青年志愿者扶贫接力计划第23届研究生支教团暨西南科技大学第... ,
 url : http://youth.swust.edu.cn/2021/0207/c7671a129858/page.htm 
 time : 2020-06-16 ,
 title : “中国创翼”青年创业创新大赛 ,
 url : http://youth.swust.edu.cn/2021/0301/c7671a129921/page.htm 
 time : 2019-10-24 ,
 title : “创青春”全国大学生创业大赛 ,
 url : http://youth.swust.edu.cn/2019/1024/c7671a113077/page.htm 
 time : 2019-10-23 ,
 title : 西南科大与中国文联亲密携手合作育人以文化人 ,
 url : http://youth.swust.edu.cn/2019/1023/c7671a113051/page.htm 
 time : 2019-04-02 ,
 title : “挑战杯”全国大学生课外学术科技作品竞赛和中国大学生创业计划... ,
 url : http://youth.swust.edu.cn/2019/1024/c7671a113061/page.htm 
 time : 2018-11-26 ,
 title : 中国文艺支教志愿服务活动 ,
 url : http://youth.swust.edu.cn/2019/1024/c7671a113081/page.htm 
 time : 2018-11-01 ,
 title : “挑战杯”全国大学生课外学术科技作品竞赛和中国大学生创业计划... ,
 url : http://youth.swust.edu.cn/2019/1024/c7671a113062/page.htm 
 time : 2016-03-30 ,
 title : 全国互联网 创新创业大赛 ,
 url : http://youth.swust.edu.cn/2021/0301/c7671a129923/page.htm