鍍金池/ 問答/PHP/ 瀏覽器能訪問，PHP訪問不了，爬取淘寶店鋪商品時(shí)遇到的問題

瀏覽器能訪問，PHP訪問不了，爬取淘寶店鋪商品時(shí)遇到的問題

如圖，直接用瀏覽器訪問是這樣的：
圖片描述

用PHP的 file_get_contents 訪問是這樣的：
圖片描述

期間我也試過加cookie加header都沒用

$url = 'https://xyboutique.taobao.com/i/asynSearch.htm?mid=w-16121401649-0&wid=16121401649&path=/category-1340035582.htm&catId=1340035582&scid=1340035582&pageNo=1';
$res = file_get_contents($url);
print_r($res);
回答
編輯回答
孤星

做了反爬蟲，看返回的那個(gè)地址啊，在瀏覽器中打開就是登錄頁面
試試 反反爬蟲措施吧。用curl。試試提交cookie 等

https://xyboutique.taobao.com/__x5__/query.htm?action=QueryAction&event_submit_do_css=ok&smApp=shopsystem&smPolicy=shopsystem-search_asyn_interface-anti_Spider-checklogin&smCharset=GBK&smTag=NDIuMTk5LjEzMy4xNTQsLGViZGM0OWZhNWNiYTQ0YjFhNmE5OWU1M2JiNDM2YzNi&captcha=https%3A%2F%2Fxyboutique.taobao.com%2F__x5__%2Fquery.htm&smReturn=https%3A%2F%2Fxyboutique.taobao.com%2Fi%2FasynSearch.htm%3Fmid%3Dw-16121401649-0%26wid%3D16121401649%26path%3D%2Fcategory-1340035582.htm%26catId%3D1340035582%26scid%3D1340035582%26pageNo%3D1&smSign=N4JNLabwZHwIUVTEO4PzEw%3D%3D
2017年11月23日 20:45
編輯回答
巫婆

還有可能是判斷了referer、session之類的，你可以搜搜對應(yīng)的文章

2017年12月11日 22:28