鍍金池/ 問答/人工智能/ scrapy-redis的dupefilter的數(shù)據(jù)如何重置或者清空呢

scrapy-redis的dupefilter的數(shù)據(jù)如何重置或者清空呢

使用scrapy-redis蜘蛛爬過以后，再爬就無法爬了。如果給蜘蛛改個(gè)名字，就可以重新爬取，如果改回原來的名字就又開始了去重機(jī)制，雖然需要dupefilter，但是如果調(diào)試中生成一些數(shù)據(jù)，想重新爬取的話，如何解決這個(gè)問題呢。

如何刪除dupefilter之前記錄的爬過的url數(shù)據(jù)呢。

回答
編輯回答
獨(dú)特范

SCHEDULER_FLUSH_ON_START = True
在設(shè)置里面可以添加這一句就可以,自動(dòng)清理redis里面的key

2017年10月13日 01:08
編輯回答
病癮

已解決
挺難得等了好幾天沒人回復(fù)

2018年5月22日 16:22
編輯回答
毀與悔

我也遇到了同樣的問題，還是你上面說的話給了我思路。我改了一下蜘蛛名字就可以用了。然后就發(fā)現(xiàn)redis中保存了爬蟲名字的key，刪除這個(gè)key就行了。圖片描述

2017年12月6日 03:39