Scrapy 如何控制多個采集網(wǎng)站的啟動周期，優(yōu)先度、采集頻率等設置，采集網(wǎng)站數(shù)據(jù)采集完成狀態(tài)，完成時間展示

想要采集一些網(wǎng)上的數(shù)據(jù)，網(wǎng)上都推薦Scrapy框架，我看了一下官方文檔與網(wǎng)上的文章但是其中還是幾個地方一頭霧水，想要整理一下學習思路，初學者，有些東西都是只是想法，不正確請指點，一起討論。
Scrapy框架感覺只是提供了一個爬蟲解決方案的殼子，官方只給出了簡單情況的使用方法，你可以使用中間件或者修改配置應對更多的情況，我覺得這樣就是為了應對復雜并不斷成長的爬蟲領域，想法挺好的。
爬蟲制作主要解決3件事情：
1、針對網(wǎng)站結(jié)構(gòu)與頁面分析寫出能遍歷所有頁面與數(shù)據(jù)的Spider；
2、編寫對爬到的數(shù)據(jù)清洗、去重、重構(gòu)后并保存下來的Item Pipeline；
3、采集網(wǎng)站的啟動周期，優(yōu)先度、采集頻率等設置，采集網(wǎng)站數(shù)據(jù)采集完成狀態(tài)，完成時間展示；

Spider制作過程：
給出初始URL地址，下載器完成后對頁面分析結(jié)構(gòu)，比如要采集首頁是列表，分析分頁數(shù)據(jù)制作分頁url連接，發(fā)送新頁的采集URL地址，保存列表數(shù)據(jù)到Item，分析并發(fā)送詳細頁采集URL地址，詳細頁數(shù)據(jù)采集后保存到Item。
（我的理解：列表頁與詳細頁是不是都應該放到一個Spider實現(xiàn)，也就是關于這個網(wǎng)站的一個采集信息項目都放到一個Spider中，比如列表與詳細頁面，詳細頁做成一個新函數(shù)，列表采集只是重復調(diào)用）

數(shù)據(jù)存儲Item PipeLine制作過程：
把Spider采集到的Item進行數(shù)據(jù)庫保存，數(shù)據(jù)保存前進行清洗，比如去重，數(shù)據(jù)格式標準化，分別處理全量采集數(shù)據(jù)保存，增量采集數(shù)據(jù)保存，更新數(shù)據(jù)的數(shù)據(jù)保存。
（Item只是定義保存的數(shù)據(jù)結(jié)構(gòu)嗎？PipeLine中是數(shù)據(jù)存儲的方式，數(shù)據(jù)清洗與保存方法應該放到PipeLine中嗎？Item與PipeLine如何關聯(lián)起來的呢？）

采集網(wǎng)站的啟動周期，優(yōu)先度、采集頻率等設置，采集網(wǎng)站數(shù)據(jù)采集完成狀態(tài)，完成時間展示：
Spider的啟動方式只能通過使用scrapy命令參數(shù)的方式調(diào)用嗎？這樣是不是只能通過編寫shell或者Python程序然后通過命令的方式執(zhí)行呢？啟動周期、優(yōu)先度、采集頻率在什么地方設置，如何獲得采集網(wǎng)站的完成狀態(tài)與完成時間，
比如失敗后重復采集降低優(yōu)先度這種操作如何操作？我看文檔了解官網(wǎng)沒有Web方式管理的平臺，ScrapyD是做什么用的？我了解到SpiderKeeper是一個Python寫的維護Scrapy任務的Web系統(tǒng)，還有類似的或者PHP編寫的項目嗎？

寫了很多如果能找到可以參考的開源項目就好了，歡迎熟悉爬蟲采集的高手來解惑。