Java爬虫样例

package cn.demo;


import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import java.util.concurrent.TimeUnit;


public class Temp {
    public static void main(String[] args) {
        System.setProperty("webdriver.chrome.driver","D:\learn\environment\chromedriver_win32\chromedriver.exe");
        //不打开浏览器窗口
        WebDriver driver = new ChromeDriver(new ChromeOptions().addArguments("headless"));
        //通过隐式等待，WebDriver在试图查找_任何_元素时在一定时间内轮询DOM。
        // 当网页上的某些元素不是立即可用并且需要一些时间来加载时是很有用的。
        driver.manage().timeouts().implicitlyWait(10L, TimeUnit.SECONDS);
        driver.get("http://www.baidu.com/");
        WebElement body = driver.findElement(By.cssSelector("body"));
        System.out.println(body.getAttribute("outerHTML"));
        driver.quit();
    }
}