鍍金池/ 問(wèn)答/Python  HTML/ 用node js 模擬瀏覽器來(lái)爬取網(wǎng)頁(yè)上的數(shù)據(jù)

用node js 模擬瀏覽器來(lái)爬取網(wǎng)頁(yè)上的數(shù)據(jù)

在用node js 爬取網(wǎng)站的數(shù)據(jù)的時(shí)候,偶然間發(fā)現(xiàn)用我自己的程序并不是所有的網(wǎng)站都可以爬取到,debug的時(shí)候發(fā)現(xiàn)獲取不了網(wǎng)站的源代碼,不知道是不是做了什么處理?我現(xiàn)在想模擬瀏覽器的方式來(lái)爬取數(shù)據(jù),node js里面有沒(méi)有這樣的模塊呢??或者各位大神有沒(méi)有參考的例子??感謝!??!

回答
編輯回答
鹿惑

https://github.com/GoogleChro...

google官方出的headless Chrome了解一下

2017年1月3日 10:12