Selenium

Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。

支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。
适用于自动化测试，js动态爬虫（破解反爬虫）等领域。

1）Selenium IDE：嵌入到Firefox浏览器中的一个插件，实现简单的浏览器操作录制与回放功能，主要用于快速创建BUG及重现脚本，可转化为多种语言
2）Selenium RC： 核心组件，支持多种不同语言编写自动化测试脚本，通过其服务器作为代理服务器去访问应用，达到测试的目的
3）Selenium WebDriver（重点）：一个浏览器自动化框架，它接受命令并将它们发送到浏览器。它是通过特定于浏览器的驱动程序实现的。它直接与浏览器通信并对其进行控制。Selenium WebDriver支持各种编程语言，如Java、C# 、PHP、Python、Perl、Ruby
4）Selenium grid：测试辅助工具，用于做分布式测试，可以并行执行多个测试任务，提升测试效率

1）开源、免费
2）多浏览器支持:FireFox、Chrome、IE、Opera、Edge;
3）多平台支持:Linux、Windows、MAC;
4）多语言支持:Java、Python、Ruby、C#、JavaScript、C++;
5）对Web页面有良好的支持；
6）简单(API 简单)、灵活(用开发语言驱动);
7）支持分布式测试用例执行。

爬虫：数据采集、数据清晰、数据分析！！！

java爬虫入门

1.下载驱动包

http://chromedriver.storage.googleapis.com/index.html

根据自己Google的版本对应下载

 2.创建项目并导入依赖

        org.seleniumhq.selenium
        selenium-java
        3.141.59

 3.入门

//设置驱动
     System.setProperty("webdriver.chrome.driver","D:\chromedriver.exe");
     //创建驱动
     WebDriver driver=new ChromeDriver();
     //与将要爬取的网站建立连接
     driver.get("https://www.baidu.com");
     //关闭浏览器
     driver.close();
     //释放资源
     driver.quit();

相关API

元素选择方式

1）Class选择：driver.findElement(By.className("s_ipt"));

//示例一：Class选择：driver.findElement(By.className("s_ipt"));
List elements = driver.findElements(By.className("hotsearch-item"));
        for (WebElement element : elements) {
            System.out.println(element.getText());
}

2）ID选择：   driver.findElement(By.id("kw"));

//示例二：ID选择：   driver.findElement(By.id("kw"));
WebElement kw = driver.findElement(By.id("kw"));
System.out.println(kw.getAttribute("name"));

 3）name选择： driver.findElement(By.name("wd"));

//示例三：name选择： driver.findElement(By.name("wd"));
WebElement tn = driver.findElement(By.name("tn"));
System.out.println(tn.getAttribute("value"));

4）tag选择：  driver.findElements(By.tagName("input"));

//示例四：tag选择：  driver.findElements(By.tagName("input"));
List input = driver.findElements(By.tagName("input"));
        for (WebElement webElement : input) {
            String value = webElement.getAttribute("value");
            System.out.println(value);
        }

 5）link选择： driver.findElement(By.linkText("地图"));

//示例五：link选择： driver.findElement(By.linkText("地图")); （必须精准匹配）
List elements = driver.findElements(By.linkText("地图"));
        for (WebElement element : elements) {
            System.out.println(element.getText());
        }

 6）Partial link选择（a标签文本内容模糊匹配）：driver.findElement(By.partialLinkText("使用百"));

//示例六：Partial link选择（a标签文本内容模糊匹配）：driver.findElement(By.partialLinkText("使用百"));
List elements = driver.findElements(By.partialLinkText("下"));
        for (WebElement element : elements) {
            System.out.println(element.getText());
        }

 7）css选择器：driver.findElement(By.cssSelector("#kw"));

//示例七：css选择器：driver.findElement(By.cssSelector("#kw"));
//#hotsearch-content-wrapper > li:nth-child(2)
List elements = driver.findElements(By.cssSelector("#hotsearch-content-wrapper > li:nth-child(even)"));
        for (WebElement element : elements) {
            System.out.println(element.getText());
        }

 8）xpath选择：driver.findElement(By.xpath("/ //定义浏览器参数 ChromeOptions chromeOptions = new ChromeOptions(); //设置不打开浏览器 chromeOptions.addArguments("--headless"); //初始化驱动 driver = new ChromeDriver(chromeOptions); //初始化驱动 driver = new ChromeDriver();

2.点开JD网址并指定关键字搜索

 3.设定睡眠时间（可根据网络速度实际调整）

Thread.sleep(i * 1000);

sleep(3);
        //设置滚动条移动到最下面
        ((JavascriptExecutor) driver).executeScript("window.scrollTo(0,document.body.scrollHeight)");
        sleep(2);

4.查找商品列表并获取相关信息

/ try { //爬取图片路径 getImgs(); //循环打印图片路径 for (String img : imgs) { System.out.println(img); } //保存图片 saveImg(); } catch (Exception e) { e.printStackTrace(); } finally { //一定要记得下载完图片之后释放资源 if(null!=driver) driver.quit(); } } }

至此,Selenium介绍完毕,由于作者水平有限难免有疏漏，欢迎留言纠错。