Scrapy項(xiàng)目加載器（Item Loader）

聲明項(xiàng)目加載器

from scrapy.loader import ItemLoader
from scrapy.loader.processors import TakeFirst, MapCompose, Join

class DemoLoader(ItemLoader):

    default_output_processor = TakeFirst()

    title_in = MapCompose(unicode.title)
    title_out = Join()

    size_in = MapCompose(unicode.strip)

    # you can continue scraping here 

在上面的代碼可以看到，輸入處理器使用 _id 作為后綴以及輸出處理器聲明使用_out 作為后綴聲明。ItemLoader.default_input_processor 和 ItemLoader.default_output_processor 屬性用于聲明默認(rèn)輸入/輸出處理器。

使用項(xiàng)目加載器來填充項(xiàng)目

• 可以使用選擇器來收集值到項(xiàng)目加載器。
• 可以在同一項(xiàng)目字段中添加更多的值，項(xiàng)目加載器將使用相應(yīng)的處理程序來添加這些值。

from scrapy.loader import ItemLoader
from demoproject.items import Demo

def parse(self, response):
    l = ItemLoader(item = Product(), response = response)
    l.add_xpath("title", "http://div[@class='product_title']")
    l.add_xpath("title", "http://div[@class='product_name']")
    l.add_xpath("desc", "http://div[@class='desc']")
    l.add_css("size", "div#size]")
    l.add_value("last_updated", "yesterday")
    return l.load_item()

1. //div[@class="product_title"] 

2. //div[@class="product_name"] 

此后，類似請求用于內(nèi)容描述(desc)字段。size數(shù)據(jù)使用 add_css()方法提取和last_updated 使用add_value()方法使用值“yesterday”來填充。

輸入和輸出處理器

• 當(dāng)提取數(shù)據(jù)時(shí)，輸入處理器處理結(jié)果，交將結(jié)果存儲在數(shù)據(jù)加載器。
• 接下來，收集數(shù)據(jù)后，調(diào)用 ItemLoader.load_item() 方法來獲得 Item 對象。
• 最后，指定輸出處理器到該項(xiàng)目的結(jié)果。

l = ItemLoader(Product(), some_selector)
l.add_xpath("title", xpath1) # [1]
l.add_xpath("title", xpath2) #  [2]
l.add_css("title", css) # [3]
l.add_value("title", "demo") # [4]
return l.load_item() # [5]

• 第1行: 標(biāo)題(title)的數(shù)據(jù)是從xpath1提取并通過輸入處理器，其結(jié)果被收集并存儲在 ItemLoader 中。

• 第2行: 同樣地，標(biāo)題(title)從xpath2提取并通過相同的輸入處理器，其結(jié)果收集的數(shù)據(jù)加到[1]中。

• 第3行: 標(biāo)題(title)被從css選擇萃取和通過相同的輸入處理器傳遞并將收集的數(shù)據(jù)結(jié)果加到[1]及[2]。

• 第4行: 接著，將“demo”值分配并傳遞到輸入處理器。

• 第5行: 最后，數(shù)據(jù)是從所有字段內(nèi)部收集并傳遞給輸出處理器，最終值將分配給項(xiàng)目。

聲明輸入和輸出處理器

輸入和輸出的處理器在項(xiàng)目加載器(ItemLoader )定義聲明。除此之外，它們還可以在項(xiàng)目字段的元數(shù)據(jù)指定。

例如：

import scrapy
from scrapy.loader.processors import Join, MapCompose, TakeFirst
from w3lib.htmll import remove_tags

def filter_size(value):
    if value.isdigit():
        return value

class Item(scrapy.Item):
    name = scrapy.Field(
        input_processor = MapCompose(remove_tags),
        output_processor = Join(),
    )
    size = scrapy.Field(
       input_processor = MapCompose(remove_tags, filter_price),
       output_processor = TakeFirst(),
    )

>>> from scrapy.loader import ItemLoader
>>> il = ItemLoader(item=Product())
>>> il.add_value('title', [u'Hello', u'<strong>world</strong>'])
>>> il.add_value('size', [u'<span>100 kg</span>'])
>>> il.load_item()

{'title': u'Hello world', 'size': u'100 kg'}

項(xiàng)目加載器上下文

def parse_length(text, loader_context):
    unit = loader_context.get('unit', 'cm')
    # You can write parsing code of length here 
    return parsed_length 

通過接收loader_context參數(shù)，它告訴項(xiàng)目加載器可以收到項(xiàng)目加載器上下文。有幾種方法可以改變項(xiàng)目加載器上下文的值：

• 修改當(dāng)前的活動項(xiàng)目加載器上下文：

  loader = ItemLoader (product)
  loader.context ["unit"] = "mm"

• 在項(xiàng)目加載器實(shí)例中修改：

  loader = ItemLoader(product, unit="mm")

• 在加載器項(xiàng)目聲明與項(xiàng)目加載器上下文實(shí)例輸入/輸出處理器中修改：

  class ProductLoader(ItemLoader):
      length_out = MapCompose(parse_length, unit="mm")

ItemLoader對象

class scrapy.loader.ItemLoader([item, selector, response, ]**kwargs)

    >>> from scrapy.loader.processors import TakeFirst
    >>> loader.get_value(u'title: demoweb', TakeFirst(), unicode.upper, re='title: (.+)')
    'DEMOWEB`
		

    loader.add_value('title', u'DVD')
    loader.add_value('colors', [u'black', u'white'])
    loader.add_value('length', u'80')
    loader.add_value('price', u'2500')
    

    loader.replace_value('title', u'DVD')
    loader.replace_value('colors', [u'black', u'white'])
    loader.replace_value('length', u'80')
    loader.replace_value('price', u'2500')
	

    # HTML code: <div class="item-name">DVD</div>
    loader.get_xpath("http://div[@class='item-name']")
    # HTML code: <div id="length">the length is 45cm</div>
    loader.get_xpath("http://div[@id='length']", TakeFirst(), re="the length is (.*)")
    

    # HTML code: <div class="item-name">DVD</div>
    loader.add_xpath('name', '//div[@class="item-name"]')
    # HTML code: <div id="length">the length is 45cm</div>
    loader.add_xpath('length', '//div[@id="length"]', re='the length is (.*)')
    

    # HTML code: <div class="item-name">DVD</div>
    loader.replace_xpath('name', '//div[@class="item-name"]')
    # HTML code: <div id="length">the length is 45cm</div>
    loader.replace_xpath('length', '//div[@id="length"]', re='the length is (.*)')
    

    loader.get_css("div.item-name")
    loader.get_css("div#length", TakeFirst(), re="the length is (.*)")
    

    loader.add_css('name', 'div.item-name')
    loader.add_css('length', 'div#length', re='the length is (.*)')
    

    loader.replace_css('name', 'div.item-name')
    loader.replace_css('length', 'div#length', re='the length is (.*)')
    

    def parse(self, response):
        l = ItemLoader(item=Product(), response=response)
        l.add_xpath('title', '//div[@class="product_title"]')
        loader.load_item()
    

    loader = ItemLoader(item=Item())
    loader.add_xpath('social', 'a[@class = "social"]/@href')
    loader.add_xpath('email', 'a[@class = "email"]/@href')
	

    loader = ItemLoader(item=Item())
    loader.add_css('social', 'a[@class = "social"]/@href')
    loader.add_css('email', 'a[@class = "email"]/@href')	
	

嵌套加載器

這是使用從文檔解析分段的值來創(chuàng)建嵌套加載器。如果不創(chuàng)建嵌套裝載器，需要為您想提取的每個(gè)值指定完整的XPath或CSS。

<header>
  <a class="social" >facebook</a>
  <a class="social" >twitter</a>
  <a class="email" href="mailto:someone@example.com">send mail</a>
</header>

loader = ItemLoader(item=Item())
header_loader = loader.nested_xpath('//header')
header_loader.add_xpath('social', 'a[@class = "social"]/@href')
header_loader.add_xpath('email', 'a[@class = "email"]/@href')
loader.load_item()

重用和擴(kuò)展項(xiàng)目加載器

舉例來說，假設(shè)一個(gè)網(wǎng)站自己的產(chǎn)品名稱是由三條短線封閉的(例如： ---DVD---)。 您可以通過重復(fù)使用默認(rèn)產(chǎn)品項(xiàng)目加載器，如果你不希望它在最終產(chǎn)品名稱所示，下面的代碼刪除這些破折號：

from scrapy.loader.processors import MapCompose
from demoproject.ItemLoaders import DemoLoader

def strip_dashes(x):
    return x.strip('-')

class SiteSpecificLoader(DemoLoader):
    title_in = MapCompose(strip_dashes, DemoLoader.title_in)

可用內(nèi)置處理器

• class scrapy.loader.processors.Identity

  它返回原始的值而并不修改它。 例如：

  >>> from scrapy.loader.processors import Identity
  >>> proc = Identity()
  >>> proc(['a', 'b', 'c'])
  ['a', 'b', 'c']

• class scrapy.loader.processors.TakeFirst

  它返回一個(gè)值來自收到列表的值即非空/非null值。 例如：

  >>> from scrapy.loader.processors import TakeFirst
  >>> proc = TakeFirst()
  >>> proc(['', 'a', 'b', 'c'])
  'a'

• class scrapy.loader.processors.Join(separator = u' ')

  它返回附連到分隔符的值。默認(rèn)的分隔符是 u''，這相當(dāng)于于 u' '.join 的功能。例如：

  >>> from scrapy.loader.processors import Join
  >>> proc = Join()
  >>> proc(['a', 'b', 'c'])
  u'a b c'
  >>> proc = Join('<br>')
  >>> proc(['a', 'b', 'c'])
  u'a<br>b<br>c'

• class scrapy.loader.processors.SelectJmes(json_path)

  此類查詢使用提供JSON路徑值，并返回輸出。
  例如：

  >>> from scrapy.loader.processors import SelectJmes, Compose, MapCompose
  >>> proc = SelectJmes("hello")
  >>> proc({'hello': 'scrapy'})
  'scrapy'
  >>> proc({'hello': {'scrapy': 'world'}})
  {'scrapy': 'world'}

  下面是一個(gè)查詢通過導(dǎo)入JSON值的代碼：

  >>> import json
  >>> proc_single_json_str = Compose(json.loads, SelectJmes("hello"))
  >>> proc_single_json_str('{"hello": "scrapy"}')
  u'scrapy'
  >>> proc_json_list = Compose(json.loads, MapCompose(SelectJmes('hello')))
  >>> proc_json_list('[{"hello":"scrapy"}, {"world":"env"}]')
  [u'scrapy']