鍍金池/ 問答/數(shù)據(jù)分析&挖掘  Java  網(wǎng)絡(luò)安全  HTML/ 如何用爬蟲爬去整個網(wǎng)站

如何用爬蟲爬去整個網(wǎng)站

如題,如果我要爬取一個僅僅只是提供文檔說明的網(wǎng)站,但它經(jīng)常不穩(wěn)定,所以我想把它整站下載下來方便以后查看。(注:希望提供下思路和方法,就是想順便學(xué)習(xí)下)

回答
編輯回答
莫小染

直接用 瀏覽器離線模式吧,沒有必要寫爬蟲

2017年10月25日 02:37
編輯回答
懶豬
wget -r -p -np -k http://example.com/index.html

-r 遞歸
-p 下載頁面相關(guān)的其它內(nèi)容
-np 不追溯至父級
-k 頁面內(nèi)鏈接轉(zhuǎn)換為相對鏈接

2017年5月20日 11:14