鍍金池/ 問答/HTML/ node寫爬蟲,mongdb存儲數(shù)據(jù)。上千條的量把mongodb卡死了

node寫爬蟲,mongdb存儲數(shù)據(jù)。上千條的量把mongodb卡死了

for循環(huán),幾百頁,每頁二十條數(shù)據(jù)。不知道是不是連接數(shù)太多的緣故,跑幾條就提示連接不到mongodb了。

不知道有沒有什么辦法解決下。

回答
編輯回答
心沉

mongodb鏈接不是一個就夠了么,好像不會有問題吧。還是有問題你可以寫成隊列同時執(zhí)行20條,有執(zhí)行完的出隊新任務(wù)入隊。

2018年5月3日 07:46