Logging

crapy 提供了 log 功能。您可以通過 scrapy.log 模塊使用。當(dāng)前底層實現(xiàn)使用了 Twisted logging，不過可能在之后會有所變化。

log 服務(wù)必須通過顯示調(diào)用 scrapy.log.start()來開啟，以捕捉頂層的 Scrapy 日志消息。 在此之上，每個 crawler 都擁有獨立的 log 觀察者(observer)(創(chuàng)建時自動連接(attach)),接收其 spider 的日志消息。

Log levels

Scrapy 提供 5 層 logging 級別:

• CRITICAL - 嚴(yán)重錯誤(critical)
• ERROR - 一般錯誤(regular errors)
• WARNING - 警告信息(warning messages)
• INFO - 一般信息(informational messages)
• DEBUG - 調(diào)試信息(debugging messages)

如何設(shè)置 log 級別

您可以通過終端選項(command line option) –loglevel/-L 或 LOG_LEVEL 來設(shè)置 log 級別。

如何記錄信息(log messages)

下面給出如何使用 WARNING 級別來記錄信息的例子:

from scrapy import log
log.msg("This is a warning", level=log.WARNING)

在 Spider 中添加 log(Logging from Spiders)

在 spider 中添加 log 的推薦方式是使用 Spider 的 log()方法。該方法會自動在調(diào)用 scrapy.log.msg()時賦值 spider 參數(shù)。其他的參數(shù)則直接傳遞給 msg()方法。

scrapy.log 模塊

scrapy.log.start(logfile=None, loglevel=None, logstdout=None)

啟動 Scrapy 頂層 logger。該方法必須在記錄任何頂層消息前被調(diào)用 (使用模塊的 msg() 而不是 Spider.log 的消息)。否則，之前的消息將會丟失。

參數(shù):

• logfile (str) – 用于保存 log 輸出的文件路徑。如果被忽略，LOG_FILE 設(shè)置會被使用。如果兩個參數(shù)都是 None，log 將會被輸出到標(biāo)準(zhǔn)錯誤流(standard error)。
• loglevel – 記錄的最低的 log 級別。可用的值有: CRITICAL，ERROR，WARNING，INFO and DEBUG。
• logstdout (boolean) – 如果為 True，所有您的應(yīng)用的標(biāo)準(zhǔn)輸出(包括錯誤)將會被記錄(logged instead)。 例如，如果您調(diào)用 “print ‘hello’”，則’hello’會在 Scrapy 的 log 中被顯示。 如果被忽略，則 LOG_STDOUT 設(shè)置會被使用。

scrapy.log.msg(message, level=INFO, spider=None)

記錄信息(Log a message)

參數(shù):

• message (str) – log 的信息
• level – 該信息的 log 級別. 參考 Log levels.
• spider (Spider 對象) – 記錄該信息的 spider. 當(dāng)記錄的信息和特定的 spider 有關(guān)聯(lián)時，該參數(shù)必須被使用。

scrapy.log.CRITICAL

嚴(yán)重錯誤的 Log 級別

scrapy.log.ERROR

錯誤的 Log 級別 Log level for errors

scrapy.log.WARNING

警告的 Log 級別 Log level for warnings

scrapy.log.INFO

記錄信息的 Log 級別(生產(chǎn)部署時推薦的 Log 級別)

scrapy.log.DEBUG

調(diào)試信息的 Log 級別(開發(fā)時推薦的 Log 級別)

Logging 設(shè)置

以下設(shè)置可以被用來配置 logging:

• LOG_ENABLED
• LOG_ENCODING
• LOG_FILE
• LOG_LEVEL
• LOG_STDOUT