首先，检查所需的数据是否已经存在-在html中（它在背景中-在那里）。
另一种选择是selenium:：
from selenium import webdriverimport timebrowser = webdriver.Firefox()browser.get("http://www.prudential.com.hk/PruServlet?module=fund&purpose=searchHistFund&fundCd=MMFU_U")elem = browser.find_element_by_xpath('//*[@id="disclaimer"]/div/div')elem.click()time.sleep(0.2)elem = browser.find_element_by_xpath("//*")print elem.get_attribute("outerHTML")另一种选择是使用
mechanize。它无法执行js代码，但是根据源代码，
AgreeClick只需将
cookie设置为
ListFundShowDisclaimer即可
true。这是一个起点（不确定是否可行）：
import cookielibimport mechanizebr = mechanize.Browser()cj = cookielib.cookieJar()ck = cookielib.cookie(version=0, name='ListFundShowDisclaimer', value='true', port=None, port_specified=False,domain='www.prudential.com.hk', domain_specified=False, domain_initial_dot=False, path='/',path_specified=True, secure=False, expires=None, discard=True, comment=None, comment_url=None,rest={'HttpOnly': None}, rfc2109=False)cj.set_cookie(ck)br.set_cookiejar(cj)br.open("http://www.prudential.com.hk/PruServlet?module=fund&purpose=searchHistFund&fundCd=MMFU_U")print br.response().read()然后，你可以使用
BeautifulSoup或任何你喜欢的内容解析结果。
