鍍金池/ 問(wèn)答/PHP  數(shù)據(jù)庫(kù)/ 采集的數(shù)據(jù)插入數(shù)據(jù)庫(kù)怎樣避免重復(fù)數(shù)據(jù)？

采集的數(shù)據(jù)插入數(shù)據(jù)庫(kù)怎樣避免重復(fù)數(shù)據(jù)？

采集到的數(shù)據(jù)字段比較多，在插入mysql數(shù)據(jù)庫(kù)之前要判斷數(shù)據(jù)庫(kù)里面是否有重復(fù)數(shù)據(jù)，多個(gè)字段一起重復(fù)才算是重復(fù)數(shù)據(jù)，也就是允許一些單個(gè)字段可以重復(fù)，這種怎么避免插入重復(fù)數(shù)據(jù)？
我之前的做法是把要比較的數(shù)據(jù)拼接在一起然后使用sha1一下，在插入數(shù)據(jù)庫(kù)時(shí)候把這個(gè)值也插入數(shù)據(jù)庫(kù)，以后每次插入數(shù)據(jù)之前判斷數(shù)據(jù)庫(kù)里sha1值是否重復(fù)，有重復(fù)就跳過(guò)此條數(shù)據(jù)。但是這種還是會(huì)有個(gè)別重復(fù)的，不知道什么原因。有沒(méi)有更好的辦法？

回答
編輯回答
黑與白

對(duì)采集鏈接SHA1加密之后入庫(kù)比對(duì)

2017年2月2日 06:20
編輯回答
解夏

將多個(gè)字段的值進(jìn)行字典排序sort()后再sha1就好了，這樣比對(duì)就不會(huì)重復(fù)了

2017年9月14日 08:55
編輯回答
鐧簞噯

設(shè)置唯一主鍵，然后過(guò)濾方法 加密的時(shí)候調(diào)用時(shí)間戳

2017年2月15日 00:38
編輯回答
離殤

設(shè)置唯一鍵啊

2017年11月29日 00:07