鍍金池/ 問答/數(shù)據(jù)分析&挖掘  Python  HTML/ Selenium + Firefox無法爬取到j(luò)s解析后的頁面

Selenium + Firefox無法爬取到j(luò)s解析后的頁面

嘗試爬取 https://m.baidu.com/ala/c/m.b... 里的文章內(nèi)容,因為會調(diào)JS,所以就是用selenium來爬取,但是發(fā)現(xiàn)page_source里面的內(nèi)容依舊不是我看到的頁面。求指導(dǎo)。

pip show selenium
selenium: 3.11.0
firefox --version
Mozilla Firefox 58.0.1
#_*_ coding:utf-8 _*_
from __future__ import print_function

import os, sys
import json
import time
from tqdm import tqdm

import urllib2
import requests
from bs4 import BeautifulSoup

from selenium import webdriver
from selenium.webdriver.firefox.options import Options
options = Options()
options.add_argument("--headless")
driver = webdriver.Firefox(firefox_options=options)
url = "https://m.baidu.com/ala/c/m.baikemy.com/kepu/mip/12440694237185"

driver.get(url)
print(driver.page_source)
回答
編輯回答
心夠野

你wait一會兒,有可能呢頁面還沒渲染好,或者你用until來判斷一下頁面是否加載完全,隨后你再去獲取頁面的html

2017年11月14日 11:47
編輯回答
櫻花霓

最后應(yīng)該是獲取頁面的html

2018年2月15日 08:18