鍍金池/ 問答/HTML5  Python/ 問大家一個用python進行豆瓣網(wǎng)數(shù)據(jù)抓取的問題

問大家一個用python進行豆瓣網(wǎng)數(shù)據(jù)抓取的問題

1.下圖中的影人簡介可以輕松抓到

圖片描述

2.但是如果我想抓取展開全部后的所有內(nèi)容該怎么做呢?

圖片描述

3.我點開展開全部后,network選項卡中都沒有新的請求,這難道不是JS加載出來的嗎?不太懂。

回答
編輯回答
忠妾

clipboard.png
分析了一下。由上圖可以看出來其實是有兩個span
一個放著簡介的內(nèi)容,一個放著全部展開的內(nèi)容,
是通過控制這兩個span的顯隱來決定顯示的是簡介還是全部的內(nèi)容。

要獲得全部的內(nèi)容,抓取<span class="all"></span>中的內(nèi)容即可

2018年4月21日 15:06