鍍金池/ 問答/Python  HTML/ 網(wǎng)絡(luò)請求沒有回應(yīng)?

網(wǎng)絡(luò)請求沒有回應(yīng)?

node練習(xí)爬蟲,循環(huán)發(fā)送了 300多次的請求 出現(xiàn)的問題是,部分請求沒有返回任何值,報錯也沒有，請問可能原因是什么

背景：我把小說章節(jié)的地址都儲存了,然后循環(huán)請求這些地址獲取文本內(nèi)容,異步的請求很快, 幾秒內(nèi)就會得到200多章的內(nèi)容,但是這時就會停住,沒有了反應(yīng),其他的請求到哪去了？

回答
編輯回答
糖豆豆

可能是超時，可以設(shè)置一下socket的超時時間。如果不設(shè)置超時，那么是默認時間，需要等很久。
代碼如下：

# 單位為秒
timeout = 2
socket.setdefaulttimeout(timeout)

另外，可以加入except異常做超時處理。

except socket.timeout:

詳見Python爬蟲之urllib庫—進階篇，希望幫到樓主。

2017年7月23日 12:11