鍍金池/ 問答/HTML/ node爬蟲,很多數(shù)據(jù),爬到中途就不動(dòng)了,有什么解決辦法

node爬蟲,很多數(shù)據(jù),爬到中途就不動(dòng)了,有什么解決辦法

爬蟲爬到中途就不動(dòng)了,不報(bào)錯(cuò),也不繼續(xù)執(zhí)行。

有沒有不動(dòng)的時(shí)候,繼續(xù)從當(dāng)前執(zhí)行的辦法。node的解決辦法,或是編譯器有這方面的解決辦法。

回答
編輯回答
柚稚

不動(dòng)了是個(gè)很模糊的概念
你該看看日志在輸出什么,遇到了什么問題

2018年4月29日 17:04
編輯回答
放開她

弄個(gè)文件記錄你爬過的信息。
不動(dòng)的時(shí)候殺掉重新讀取文件記錄爬。
不過建議你先解決不動(dòng)的問題

  1. 有可能死循環(huán)
  2. 有可能異步等待沒設(shè)超時(shí)

建議打斷點(diǎn)或者console.log調(diào)試一下

2017年11月28日 19:30