鍍金池/ 問答/人工智能  HTML/ 弱弱地問下,scrapy 的closed函數(shù)怎么調(diào)用?

弱弱地問下,scrapy 的closed函數(shù)怎么調(diào)用?

希望達到的目的,就是當這個spider項目滿足某些條件后,就整個停止下來,不需要繼續(xù)運行下去。
大致類似如下:

clipboard.png

原先用sys.exit(0),但這個不管用。
后來用 raise CloseSpider(),這個能達到目的。但是受限于settings里設(shè)置的最大并發(fā)數(shù)。比如默認是16個并發(fā),那就要等每個進程都達到條件,才能退出。
目標是不管多少個并發(fā),任何一個滿足條件就可以退出這個項目。所以想問下scrapy里應(yīng)該有自帶的closed函數(shù),該怎么調(diào)用呢?

回答
編輯回答
做不到

試試直接os._exit(0)

2018年6月20日 16:45