栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

java爬虫

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

java爬虫

工作常用
  • 最近用到的做个记录
    • 1. java爬虫客户端常用
    • 2. Selenium新窗口跳转
    • 3. 等待当前页面加在到标签
    • 4. 取出标签ul下的所有li标签,遍历li标签取出包含“设立”的li标签
    • 5. 获取当前页面的Cookie
    • 6. 获取当前时间戳—new Date().getTime()
    • 7. 获取一个随机小数—Math.random()
    • 8. 解决响应信息乱码
    • 9. net.sf.json.JSONObject 放入空值null
    • 10. BigDecimal类型做运算

最近用到的做个记录 1. java爬虫客户端常用
driver.get(""); // 打开网站
driver.findElement(By.xpath("")).click();  //点击标签
WebDriverWait webDriverWait = new WebDriverWait(driver, 180);  //180s
webDriverWait.until(ExpectedConditions.urlToBe(""));  //等待判断当前页面的url是否精确等于预期
webDriverWait.until(ExpectedConditions.urlContains(""));  //等待判断当前页面的url是否包含预期字符串

2. Selenium新窗口跳转

点击按钮打开一个新的网页,driver跳转到新的页面上

 
String currentHandle = driver.getWindowHandle();     //获取当前窗口的句柄
Set handles = driver.getWindowHandles();     //获取所有窗口的句柄
String windowTitle = driver.getTitle();
for (String handle : handles) {
    if (!currentHandle.equals(handle)){      //(原来的页面打开了一个新的页面,driver还在原来的网页上,获取所有网页排除原来的页面就是新的页面),这里只有两个页面不需要考虑那么多
        driver.switchTo().window(handle);
    }
}

3. 等待当前页面加在到标签
webDriverWait.until(ExpectedConditions.presenceOfElementLocated(By.xpath("")));  //等待当前页面加在到标签

4. 取出标签ul下的所有li标签,遍历li标签取出包含“设立”的li标签
List liElements = driver.findElements(By.xpath("/html/body/div[10]/ul/li[2]/ul/li"));
liElements.stream().filter(l->l.getText().contains("设立")).collect(Collectors.toList()).get(0).findElement(By.xpath("div[2]/a[1]")).click();
5. 获取当前页面的Cookie
Set cookies = driver.manage().getCookies();
for (org.openqa.selenium.Cookie next : cookies) {
Cookie cookie = new Cookie(next.getDomain(), next.getName(), next.getValue(), next.getPath(), next.getExpiry(), true);
webClient.getCookieManager().addCookie(cookie);
}

获取Cookie主要用于后续走服务端访问页面放在请求头里面,有的页面还需要自定义拼接Cookie。

关于切换窗口的

  1. Selenium切换窗口driver.switchTo().window(handle)

  2. selenium–driver.switchTo()

关于ExpectedConditions 的用法

  1. Selenium 中ExpectedConditions 用法说明(最全整理)
6. 获取当前时间戳—new Date().getTime()
System.out.println(new Date().getTime()); //1653982699060
7. 获取一个随机小数—Math.random()
System.out.println(Math.random()); //0.23471684988800412
8. 解决响应信息乱码
String str = data.getString("formSchema");
String formSchema = new String(str.getBytes("ISO-8859-1"),"UTF-8"); 
9. net.sf.json.JSONObject 放入空值null

在使用net.sf.json.JSONObject的过程中,发现net.sf.json.JSONObject 放入空值后,结果在对象里连空值的KEY都找不到。而这里希望即便是空值,KEY也予以保留。

这里的空值不是“”也不是“null”——是null
jsonObject.put(“nullobj”, null);
在JSONObject中存放一个value值为null时,,JSONObject默认就不会把key添加进去了,会引起数据丢失。

利用JSONNull.getInstance()可以很好的解决这个问题

jsonObject.put("nullobj", JSONNull.getInstance());

10. BigDecimal类型做运算
BigDecimal jcbl1 = list1.getBigDecimal("jcbl");  // 比例 8
BigDecimal proportin = jcbl1.multiply(new BigDecimal(0.01)).setScale(2, BigDecimal.ROUND_DOWN);  //比例  0.08  保留两位小数

BigDecimal jcbl = userInfo.getBase().multiply(proportin).setScale(0, BigDecimal.ROUND_UP);  //进位制,小数点上存在0除外的数字都会进位   个人
BigDecimal jcbl2 = jcbl.multiply(new BigDecimal(2)).setScale(0, BigDecimal.ROUND_UP);  //[月缴额]    个人+公司
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/939031.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号