鍍金池/ 教程/ Python/ 安裝指南
Benchmarking
命令行工具(Command line tools)
下載器中間件(Downloader Middleware)
信號(Signals)
Telnet 終端(Telnet Console)
初窺 Scrapy
數(shù)據(jù)收集(Stats Collection)
Scrapyd
通用爬蟲(Broad Crawls)
Item Loaders
試驗階段特性
Scrapy 入門教程
自動限速(AutoThrottle)擴展
Settings
Scrapy 終端(Scrapy shell)
下載項目圖片
DjangoItem
調(diào)試(Debugging)Spiders
選擇器(Selectors)
Feed exports
Spiders Contracts
借助 Firefox 來爬取
Logging
Spiders
Ubuntu 軟件包
實踐經(jīng)驗(Common Practices)
安裝指南
Item Exporters
擴展(Extensions)
Items
Spider 中間件(Middleware)
異常(Exceptions)
例子
發(fā)送 email
架構概覽
常見問題(FAQ)
Jobs:暫停,恢復爬蟲
核心 API
使用 Firebug 進行爬取
Item Pipeline
Link Extractors
Web Service
調(diào)試內(nèi)存溢出

安裝指南

安裝 Scrapy

注解

請先閱讀平臺安裝指南。

下列的安裝步驟假定您已經(jīng)安裝好下列程序:

  • Python2.7
  • PythonPackage:pipandsetuptools。現(xiàn)在 pip 依賴 setuptools,如果未安裝,則會自動安裝setuptools。
  • lxml。大多數(shù) Linux 發(fā)行版自帶了 lxml。如果缺失,請查看 http://lxml.de/installation.html
  • OpenSSL。除了 Windows(請查看平臺安裝指南)之外的系統(tǒng)都已經(jīng)提供。

您可以使用 pip 來安裝 Scrapy(推薦使用 pip 來安裝 Pythonpackage)。

使用 pip 安裝:

pip install Scrapy

平臺安裝指南

Windows

您需要修改 PATH 環(huán)境變量,將 Python 的可執(zhí)行程序及額外的腳本添加到系統(tǒng)路徑中。將以下路徑添加到 PATH 中:

C:\Python27\;C:\Python27\Scripts\;

請打開命令行,并且運行以下命令來修改 PATH:

c:\python27\python.exec:\python27\tools\scripts\win_add2path.py

關閉并重新打開命令行窗口,使之生效。運行接下來的命令來確認其輸出所期望的 Python 版本:

python--version

請確認下載符合您系統(tǒng)的版本(win32 或者 amd64)

打開命令行窗口,確認 pip 被正確安裝:

pip--version
  • 到目前為止 Python2.7 及 pip 已經(jīng)可以正確運行了。接下來安裝 Scrapy:
pip install Scrapy

Ubuntu9.10 及以上版本

不要使用 Ubuntu 提供的 python-scrapy,相較于最新版的 Scrapy,該包版本太舊,并且運行速度也較為緩慢。

您可以使用官方提供的 Ubuntu Packages。該包解決了全部依賴問題,并且與最新的 bug 修復保持持續(xù)更新。

Archlinux

您可以依照通用的方式或者從 AUR Scrapy package來安裝 Scrapy:

yaourt-Sscrapy