鍍金池/ 問答/人工智能  PHP  Python/ python(scrapy)如何與php搭配爬取頁面內(nèi)容?

python(scrapy)如何與php搭配爬取頁面內(nèi)容?

說下我天真無暇的思路:
① 我的后端使用的php作為api接口;
② 現(xiàn)在網(wǎng)頁通過post請求發(fā)送過來一個(gè)企業(yè)的名稱到服務(wù)器;
③ 通過服務(wù)器的代理將請求使用python處理;
④ 獲取post發(fā)過來的數(shù)據(jù),用scrapy爬取頁面,并返回json結(jié)果;

雖然php完全可以處理,但是似乎scrapy分析頁面比較方便,最近正在學(xué)習(xí)python,想2者一起用在項(xiàng)目,求大佬教育下...

回答
編輯回答
莫小染

相當(dāng)于就是php給python下發(fā)要訪問的網(wǎng)頁?
php的內(nèi)容可以存到redis里,scrapy繼承一個(gè)RedisSpider的類就實(shí)現(xiàn)了從redis里面獲取數(shù)據(jù)分布式爬,可以去了解一下

2017年3月1日 11:31