鍍金池/ 問答/Python/ python用什么方式能獲取到和chrome開發(fā)者工具(F12)Elements

python用什么方式能獲取到和chrome開發(fā)者工具(F12)Elements標(biāo)簽里一致的源碼?

在處理百度貼吧
http://tieba.baidu.com/p/5530...
頁(yè)面時(shí),通過selenium的driver.get().PageSource和requests.get().text兩種方式都不能獲得和開發(fā)者工具Elements標(biāo)簽里一致的源碼,小白不懂動(dòng)態(tài)頁(yè)面啥的,只想拿到和開發(fā)者工具Elements標(biāo)簽里一致的源碼來進(jìn)行處理....有沒有辦法?

回答
編輯回答
來守候

你拿到的是源代碼,你看到的是經(jīng)過js渲染后的代碼。

2017年7月2日 01:58
編輯回答
愛是癌

借用其它webview工具,如phantomjs之類的來抓取js渲染后的代碼即能滿足你的要求

2017年10月24日 23:01
編輯回答
空白格

有些東西可能需要異步獲取的,但是selenium的driver.get()只是獲取到異步請(qǐng)求之前的,之后的獲取不了,可以延時(shí)一下看看

2018年2月4日 06:57
編輯回答
神曲
def getHtml(url, loadmore = False, waittime = 2):
    # browser = webdriver.Firefox()
    browser = webdriver.Chrome('chromedriver')
    browser.get(url)
    time.sleep(waittime)
    if loadmore:
        while True:
            try:
                next_button = browser.find_element_by_class_name("more")
                next_button.click()
                time.sleep(waittime)
            except:
                break
    html = browser.page_source
    browser.quit()
    return html
2018年3月21日 20:51