鍍金池/ 教程/ Python/ Ubuntu 軟件包
Benchmarking
命令行工具(Command line tools)
下載器中間件(Downloader Middleware)
信號(hào)(Signals)
Telnet 終端(Telnet Console)
初窺 Scrapy
數(shù)據(jù)收集(Stats Collection)
Scrapyd
通用爬蟲(Broad Crawls)
Item Loaders
試驗(yàn)階段特性
Scrapy 入門教程
自動(dòng)限速(AutoThrottle)擴(kuò)展
Settings
Scrapy 終端(Scrapy shell)
下載項(xiàng)目圖片
DjangoItem
調(diào)試(Debugging)Spiders
選擇器(Selectors)
Feed exports
Spiders Contracts
借助 Firefox 來爬取
Logging
Spiders
Ubuntu 軟件包
實(shí)踐經(jīng)驗(yàn)(Common Practices)
安裝指南
Item Exporters
擴(kuò)展(Extensions)
Items
Spider 中間件(Middleware)
異常(Exceptions)
例子
發(fā)送 email
架構(gòu)概覽
常見問題(FAQ)
Jobs:暫停,恢復(fù)爬蟲
核心 API
使用 Firebug 進(jìn)行爬取
Item Pipeline
Link Extractors
Web Service
調(diào)試內(nèi)存溢出

Ubuntu 軟件包

新版功能。

Scrapinghub 發(fā)布的 apt-get 可獲取版本通常比 Ubuntu 里更新,并且在比 Github 倉庫 (master & stable branches)穩(wěn)定的同時(shí)還包括了最新的漏洞修復(fù)。

用法:

  • 把 Scrapy 簽名的 GPG 密鑰添加到 APT 的鑰匙環(huán)中:
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
  • 執(zhí)行如下命令,創(chuàng)建/etc/apt/sources.list.d/scrapy.list 文件:
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list
  • 更新包列表并安裝 scrapy-0.25:
sudo apt-get update && sudo apt-get install scrapy-0.25

注解

如果你要升級(jí) Scrapy,請(qǐng)重復(fù)步驟 3。

警告

debian 官方源提供的 python-scrapy 是一個(gè)非常老的版本且不再獲得 Scrapy 團(tuán)隊(duì)支持。

上一篇:初窺 Scrapy下一篇:Item Pipeline