鍍金池/ 問答/Python  HTML/ python有什么處理大量文件下載的方法

python有什么處理大量文件下載的方法

有幾百個(gè) 文件。但都不大，最大的也就幾兆

我用pycurl下載。

我把下載地址放到 列表 里了。

取出第一個(gè)下載，等下完了，在取第二個(gè)。

但問題是，幾百個(gè)下載連接，pycurl怎么判斷當(dāng)前文件下載完了，然后開始下一個(gè)。

回答
編輯回答
詆毀你
但問題是，幾百個(gè)下載連接，pycurl怎么判斷當(dāng)前文件下載完了，然后開始下一個(gè)。

pycurl 懂 HTTP 協(xié)議，你不用替它擔(dān)心。

2018年2月4日 22:53
編輯回答
她愚我

使用tomorrow并發(fā)執(zhí)行

from tomorrow import threads

@threads(10)
def get_data(url):
    ...
    return res
    
urls = [...]

res = [get_data(url) for url in urls]

類似的吧。你沒給示例，我就演示一下。具體怎么用可以到官網(wǎng)去看。

2018年3月17日 02:22