如何編寫(xiě)一個(gè)簡(jiǎn)易的node爬蟲(chóng)獲取任意網(wǎng)址的title呢？

任意是做不到的，因?yàn)橛械木W(wǎng)站對(duì)cookie有要求，不符合的話是直接403的。

對(duì)于沒(méi)有驗(yàn)證要求的網(wǎng)站，最基本的使用http.get獲取html再解析即可。解析可以用正則或者cheerio

使用superagent+cheerio

superagent.get(url)
    .end((err, res) => {
        const $ = cheerio.load(res.text)
        console.log($('title').text())
    })

純前端使用ajax或者iframe都會(huì)存在跨域問(wèn)題。
需要服務(wù)端進(jìn)行請(qǐng)求指定地址，獲取到地址對(duì)應(yīng)的頁(yè)面，然后提取出title標(biāo)簽中內(nèi)容。

獲取任意網(wǎng)址的html頁(yè)面，獲取頁(yè)面中<title>標(biāo)簽里面的內(nèi)容。
如果想封裝成一個(gè)方法，那就將不同的功能分別寫(xiě)成函數(shù)，依次調(diào)用。

需要通過(guò)ajax獲取指定url的頁(yè)面內(nèi)容,然后再?gòu)闹蟹治龀銎錁?biāo)題

// npm install request
var request = require('request');
request('https://www.taobao.com', function (error, response, body) {
    var array = /<title>(.*)<\/title>/gi.exec(body);
    if (array != null) {
        console.log('title:', array[1]);
    }
});