Jsoup+selenium爬取iframe内容的方法

  io.github.bonigarcia
    webdrivermanager
    5.0.3



    org.seleniumhq.selenium
    selenium-java
    3.141.59


    org.seleniumhq.selenium
    selenium-api
    3.141.59




    com.google.guava
    guava
    23.0



    com.google.code.gson
    gson
    2.8.2

chromedriver下载地址
选择一个版本（例如：101.0.4951.15），选择对应操作系统下载：如：chromedriver_win32.zip， 下载后解压安装即可。
centOS7安装chromedriver的教程
docker安装chromedriver

WebDriverManager.chromedriver().setup();

以上代码调会自动将正确的浏览器驱动程序放在代码将看到的位置

private static String getPageBySelenium(String url){
    //应用驱动
    WebDriverManager.chromedriver().setup();

    //加载驱动
    WebDriver driver = new ChromeDriver();
    //指定页面地址
    driver.get(url);
    
    //获取页面的iframe元素， “g_iframe”是元素的ID, 根据实际页面来获取
    WebElement iframe = driver.findElement(By.ById.id("g_iframe"));

    //跳转到iframe页面内
    driver.switchTo().frame(iframe);
 
    //返回iframe的全部页面html内容
    return driver.getPageSource();
}

    String body = getPageBySelenium("初始网址");

    //body 已经是页面下iframe中的内容了
    //用Jsoup来解析， 也可用别的xml解析框架
    Document document = Jsoup.parse(body);
    
    //后续操作， 根据实际页面解析需要的元素
    Elements elements = document.getElementsByClass("xxx");
    Element element = elements.get(0);
    Node node = element.childNode(0);
    String name = node.toString();
    
    //...