鍍金池/ 問答/PHP  Linux/ php curl 無法正常抓取內(nèi)容

php curl 無法正常抓取內(nèi)容

function echo_var_dump($obj){
    echo "<pre>";
    echo var_dump($obj);
    echo "</pre>";  
}

function GetCurl($url) {

    //curl 偽造useragent
    $useragent = array(
        'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)',
        'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)',
        'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)',
        'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
        'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
        'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
        'Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13 ',
        'Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1 Safari/525.13'
    );

    $curl = curl_init();
    curl_setopt($curl, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_0);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($curl, CURLOPT_URL, $url);    

    // 設(shè)置iP和useragent
    curl_setopt($curl, CURLOPT_REFERER, "http://h5.eqxiu.com/s/Rwg9jFlv");
    curl_setopt($curl, CURLOPT_USERAGENT, array_rand($useragent));

    $resp = curl_exec($curl);
    curl_close($curl);
    return $resp;
}

$url = "http://s1.eqxiu.com/eqs/page/119805007?code=Rwg9jFlv&time=1523150497000";
$page_data = GetCurl($url);
$page_arr = json_decode($page_data, true);

echo_var_dump($page_arr);

我已經(jīng)設(shè)置REFERER了，但依然獲取的內(nèi)容不對，訪問如下第一個(gè)鏈接就可以正常獲取第二個(gè)鏈接的json內(nèi)容，而我的程序獲取到的提示“數(shù)據(jù)不合法”。

http://h5.eqxiu.com/s/Rwg9jFlv
http://s1.eqxiu.com/eqs/page/...

回答
編輯回答
膽怯

圖片描述

2017年10月17日 03:10
編輯回答
醉淸風(fēng)

array_rand返回的是數(shù)組的key不是value，userAgent很關(guān)鍵，fix之后再看下

2018年3月20日 19:09
編輯回答
瘋子范

瀏覽器能獲取到，你又設(shè)置了ua頭，把獲取的數(shù)據(jù)輸出來，那應(yīng)該是你的處理程序有問題

2018年9月5日 02:06
編輯回答
忠妾

看 數(shù)據(jù)不合法 在哪報(bào)的錯(cuò)？
是不是需要構(gòu)造cookie？

2017年1月23日 10:20
編輯回答
有你在
//添加這兩行
curl_setopt($curl, CURLOPT_ENCODING, "gzip"); 
curl_setopt($curl, CURLOPT_HTTPHEADER, ['Origin: http://h5.eqxiu.com']);

clipboard.png

clipboard.png

2017年4月3日 19:13