鍍金池/ 問答/HTML/ NodeJs如何爬取動態(tài)網(wǎng)頁?

NodeJs如何爬取動態(tài)網(wǎng)頁?

我想去爬一些電商網(wǎng)站,里面有很多圖片的?,F(xiàn)在用的是cheerio,我發(fā)現(xiàn)它不能獲得頁面中通過懶加載的圖片,也就是通過js處理生成的圖片。有什么辦法或者別的庫可以實現(xiàn)這種功能?

回答
編輯回答
無標(biāo)題

一般懶加載圖片的url應(yīng)該是保存在img標(biāo)簽中的,比如data-src之類的,你查看一下那些圖片的屬性。
如果不行的話,就用 phantomjs 。

2017年5月6日 06:46
編輯回答
故林

只能自己分析網(wǎng)頁的js來獲取,或者用chrome的無頭模式,運行一個真正的瀏覽器來爬

2017年5月15日 02:31
編輯回答
陪妳哭

推薦谷歌團隊自己研發(fā)的操控chrome無頭瀏覽器的接口puppeteer

2018年9月14日 06:10
編輯回答
有你在

爬頁面最好的方式還是爬接口,分析接口調(diào)用方式,入?yún)ⅲ琧ookie。

2018年7月1日 16:05