鍍金池/ 問答/Python  HTML/ 這種jsp網(wǎng)站怎么爬蟲?

這種jsp網(wǎng)站怎么爬蟲?

想爬取“中債資信”的數(shù)據(jù),分析到數(shù)據(jù)源是“http://cdi.chinaratings.com.c...”,但是接下來就不知道怎么分析了,看了源代碼,怎么都找不到哪一塊是生成數(shù)據(jù)的代碼,用chrome也沒能分析出來……

回答
編輯回答
不歸路

是通過這個(gè)URL加載的數(shù)據(jù)

http://cdi.chinaratings.com.c...

參數(shù)如下:

curl 'http://cdi.chinaratings.com.cn/smartbi/vision/RMIServlet' -H 'Cookie: JSESSIONID=DA711088E94304CAEE335B698E712F40; _ga=GA1.4.1714100648.1515147029; _gid=GA1.4.190072792.1515147029' -H 'Origin: http://cdi.chinaratings.com.cn' -H 'Accept-Encoding: gzip, deflate' -H 'Accept-Language: zh-CN,zh;q=0.9' -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/63.0.3239.84 Chrome/63.0.3239.84 Safari/537.36' -H 'Content-Type: application/x-www-form-urlencoded;charset=UTF-8' -H 'Accept: */*' -H 'Cache-Control: max-age=0' -H 'Referer: http://cdi.chinaratings.com.cn/smartbi/vision/openresource.jsp?resid=I8a8ae443015cbf9bbf9bb041015e0290e6a55f5c' -H 'Connection: keep-alive' -H 'If-Modified-Since: 0' --data $'encode=tSRp6kjp5w4kWp4gRip+-pkjp5w4kT(k(!RkIxQkQ4pc6L(-p+/JV/uuc\'(\'(pKKN71M79\'M19\'M1(K7i71M7iJiuu~~_7M9~/uu/ut1/ut/uuc\'(\'(pKKN71Ji~_m~~_m~~7K171Jp7um7pM(JJ_Ji/uu/utk4Qp/JT' --compressed

無論是輸出參數(shù)還是返回值,都做了混淆處理。

2017年5月13日 11:43
編輯回答
膽怯

這個(gè)最簡單了, webdriver 5分鐘就能搞定~

2017年8月18日 15:18