鍍金池/ 問答/數(shù)據(jù)庫/ 更新數(shù)據(jù)庫時(shí),如何快速驗(yàn)證數(shù)據(jù)并進(jìn)行刪添?

更新數(shù)據(jù)庫時(shí),如何快速驗(yàn)證數(shù)據(jù)并進(jìn)行刪添?

我在爬取別人的數(shù)據(jù)并存入庫
假設(shè)爬取的是1個(gè)頁面有25個(gè)數(shù)據(jù)。我爬取了50個(gè)頁面。
由于網(wǎng)站每過一段時(shí)間就有添加數(shù)據(jù)和刪除數(shù)據(jù)
所以我每過一段時(shí)間就要進(jìn)行一次爬取,同樣也是50個(gè)頁面,一個(gè)頁面有25個(gè)數(shù)據(jù)。
第一次與第二次數(shù)據(jù)相比,如果第一次的數(shù)據(jù)沒再出現(xiàn)則把數(shù)據(jù)庫中對(duì)應(yīng)的數(shù)據(jù)標(biāo)記為過期
如果第二次的數(shù)據(jù)有新增的數(shù)據(jù)則加入到數(shù)據(jù)庫中

請(qǐng)問我該如何過濾這些數(shù)據(jù)庫中的數(shù)據(jù)

回答
編輯回答
舊顏

直接全部替換唄,何必這么麻煩。。。

或者:用第三方的唯一id來判斷

2017年10月29日 06:07