鍍金池/ 教程/ Python/ 試驗階段特性
Benchmarking
命令行工具(Command line tools)
下載器中間件(Downloader Middleware)
信號(Signals)
Telnet 終端(Telnet Console)
初窺 Scrapy
數(shù)據(jù)收集(Stats Collection)
Scrapyd
通用爬蟲(Broad Crawls)
Item Loaders
試驗階段特性
Scrapy 入門教程
自動限速(AutoThrottle)擴展
Settings
Scrapy 終端(Scrapy shell)
下載項目圖片
DjangoItem
調(diào)試(Debugging)Spiders
選擇器(Selectors)
Feed exports
Spiders Contracts
借助 Firefox 來爬取
Logging
Spiders
Ubuntu 軟件包
實踐經(jīng)驗(Common Practices)
安裝指南
Item Exporters
擴展(Extensions)
Items
Spider 中間件(Middleware)
異常(Exceptions)
例子
發(fā)送 email
架構(gòu)概覽
常見問題(FAQ)
Jobs:暫停,恢復(fù)爬蟲
核心 API
使用 Firebug 進(jìn)行爬取
Item Pipeline
Link Extractors
Web Service
調(diào)試內(nèi)存溢出

試驗階段特性

這部分介紹一些正處于試驗階段的 Scrapy 特性, 這些特性所涉及到的函數(shù)接口等還不夠穩(wěn)定, 但會在以后的發(fā)布版中趨于完善。所以在使用這些特性過程中需更謹(jǐn)慎,并且最好訂閱我們的郵件列表以便接收任何有關(guān)特性改變的通知。

雖然這些特性不會頻繁的被修改,但是這部分文檔仍有可能是過時的、不完整的或是與已經(jīng)穩(wěn)定的特性文檔重復(fù)。所以你需要自行承擔(dān)使用風(fēng)險。

警告

本部分文檔一直處于修改中。請自行承擔(dān)使用風(fēng)險。

使用外部庫插入命令

你可以使用外部庫通過增加 scrapy.commands 部分到 setup.py 的entry_points 中來插入 Scrapy 命令。

增加 my_command 命令的例子:

from setuptools import setup, find_packages

setup(name='scrapy-mymodule',
  entry_points={
    'scrapy.commands': [
      'my_command=my_scrapy_module.commands:MyCommand',
    ],
  },
 )