栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Java 使用jsoup下载网页内容到本地

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Java 使用jsoup下载网页内容到本地

输入需要下载小说的网址
Document document = Jsoup
                .connect("https://www.xxxxx")
                .get();

分析网页中的标签,获取小说的名字,章节和对应章节链接

Element element=document.selectFirst("#maininfo #info h1");
String novelName=element.text();
//获取小说章节 标签元素同class处理
Elements elements=document.select("div.box_con");
Element element1 = elements.get(1);
//获取小说章节 链接
Elements nodes = element1.select("#list dd > a");

获取小说对应的章节后,下载小说章节内容

//获取小说 对应章节文档
Document document = Jsoup.connect(url).get();
//通过 选择器 快速选中正文内容
List element = document.selectXpath("//div[@id='content']/text()", TextNode.class); StringBuilder sb = new StringBuilder();
                element.stream()
                .map(e -> e.text().trim().replaceAll("s+", ""))
                .filter(t -> !"".equals(t))
                .filter(t -> !t.contains("www.shumilou.co") && !t.contains("无弹窗阅读"))
                .filter(t -> !t.contains("divstyle"))
                .forEach(sb::append);
        return sb.toString();

设置小说下载位置,例如电脑磁盘E:/  磁盘位置可以自己设置

 System.out.println("【"+novelName+"】下载完成");
        //将 存储在内存中数据,写入 磁盘
        File file = new File("E:/",novelName+".doc");
        if (file.exists()) file.delete();//如果文件存在,则删除
        //遍历 存储小说 章节的Map
        for (int i=0;i 

小说章节多,加快下载速度,开启多线程

 //创建一个列表  ,用来存储多个线程对象
        List threads = new ArrayList<>();
        for (int i=0;i 

完整代码贴上,,

package june.day10;
import org.apache.commons.io.FileUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.nodes.TextNode;
import org.jsoup.select.Elements;
import java.io.File;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentMap;
import java.util.concurrent.TimeUnit;

public class test {
    public static void main(String[] args) throws IOException, InterruptedException {
        //获取小说网址
        Document document = Jsoup
                .connect("https://www.xxxxxxx")
                .get();
        //获取小说名字
        Element element=document.selectFirst("#maininfo #info h1");
        String novelName=element.text();
        //获取小说章节 标签元素同class处理
        Elements elements=document.select("div.box_con");
        Element element1 = elements.get(1);
        //获取小说章节 链接
        Elements nodes = element1.select("#list dd > a");

        //创建一个 存储  键值对结构的 Map
        final ConcurrentMap novelMap = new ConcurrentHashMap<>();
        //创建一个列表  ,用来存储多个线程对象
        List threads = new ArrayList<>();
        for (int i=0;i element = document.selectXpath("//div[@id='content']/text()", TextNode.class);
        StringBuilder sb = new StringBuilder();
        element.stream()
                .map(e -> e.text().trim().replaceAll("s+", ""))
                .filter(t -> !"".equals(t))
                .filter(t -> !t.contains("www.shumilou.co") && !t.contains("无弹窗阅读"))
                .filter(t -> !t.contains("divstyle"))
                .forEach(sb::append);
        return sb.toString();
    }
}

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/980740.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号