page

一般来说，selenium的page_source方法可以直接返回页面源代码

爬取网页ICP号：

from selenium import webdriver
import re

html_list=[
    "http://anzhuo.paojiao.cn/",
    "http://sj.zol.com.cn/android_app/",
    "https://appgallery.huawei.com/#/Apps",
]
for url in html_list:
    browser = webdriver.Chrome()
    browser.set_page_load_timeout(20)       # 网页超时加载时间
    try:
        browser.get(url)
        result = browser.page_source
    except:
        print("{}超时".format(url))
        browser.quit()
    else:
        icp_name = ""
        icp_list = re.findall("([京津冀晋苏浙皖闽豫鄂湘粤桂琼川蜀蒙辽吉黑沪赣鲁贵黔云滇渝藏陕秦新甘陇青宁港澳台]ICP[备|证]d{6,8}号*(?:-[1-9]d?)?)", result)
        if icp_list:
            icp_name = icp_list[0]
            print(url, icp_name)
        browser.quit()

如上，给了三个网页：

第一个网页超时，

第二个网