鍍金池/ 問答/Python  HTML/ scrapy shell中使用response.xpath抓取為空

scrapy shell中使用response.xpath抓取為空

https://www.gumtree.com/p/pro...,我想提取這個頁面中的第一幅圖片的src,使用的xpath表達(dá)式為'//*[@id="image-gallery"]//li[1]/img/@src',使用火狐瀏覽器,在控制臺用這個xpath可以提取出來,但是進(jìn)行scrapy shell中的response.xpath就返回空值。希望老哥們能幫忙指導(dǎo)下。我是最近才開始接觸爬蟲,可能有些地方不知道,拜托各位指點(diǎn)迷津!

回答
編輯回答
裸橙

你在瀏覽器上提取是在渲染完畢的頁面上提取的,代碼里請求的結(jié)果是原始的response,你應(yīng)該在瀏覽器network里看對應(yīng)請求的原始response結(jié)果,根據(jù)這個結(jié)果來提取。

2017年12月22日 08:29