鍍金池/ 問答/HTML5  Python  數(shù)據(jù)庫/ 我想使用flask寫個爬蟲,通過點(diǎn)擊前端的按鈕來啟動。

我想使用flask寫個爬蟲,通過點(diǎn)擊前端的按鈕來啟動。

我想使用flask寫個爬蟲,通過點(diǎn)擊前端的按鈕來啟動, 然后將爬取的內(nèi)容保存在數(shù)據(jù)庫中,前端來展示數(shù)據(jù)。
主要是怎么調(diào)用爬蟲,給個思路,謝謝了

回答
編輯回答
下墜
  1. flask監(jiān)聽一個http接口,如/api/spider/start?token=xxx
  2. 接口里面驗(yàn)證下token(主要是安全),然后啟動爬蟲邏輯
2017年5月12日 17:03
編輯回答
帥到炸

1.首先看你的爬蟲是如何啟動的
2.封裝一個api給頁面,在這個api里調(diào)用subprocess.call(command, shell=True)執(zhí)行啟動爬蟲的目錄
3.前端按鈕點(diǎn)擊之后調(diào)用這個api

2017年3月9日 18:10
編輯回答
紓惘

可以另外配置一個celery,用來接收flask上啟動爬蟲的命令并負(fù)責(zé)調(diào)用爬蟲。
一般做比較復(fù)雜的操作都會用到celery。

2017年9月7日 01:23
編輯回答
葬憶

項(xiàng)目結(jié)構(gòu)就用flask 應(yīng)用的項(xiàng)目結(jié)構(gòu):

---App/
    ---form/
    ---models/
    ---static/
    ---templates/
    ---view/ 
    ---spider/



可以把spider放到spider文件夾中,在models文件中設(shè)計(jì)數(shù)據(jù)表結(jié)構(gòu),在form里驗(yàn)證輸入的url,在view中調(diào)用爬蟲進(jìn)行爬取,并用視圖函數(shù)渲染模板展示數(shù)據(jù)。

2017年11月25日 13:54