鍍金池/ 問(wèn)答/數(shù)據(jù)庫(kù)/ 日志數(shù)據(jù)需不需要單獨(dú)存儲(chǔ)？

日志數(shù)據(jù)需不需要單獨(dú)存儲(chǔ)？

目前日志數(shù)據(jù)，大概占了70%以上的存儲(chǔ)量，不得不為此擴(kuò)充數(shù)據(jù)庫(kù)的存儲(chǔ)容量。使用mongodb存儲(chǔ)，目前數(shù)據(jù)上億條了。
寫(xiě)多，讀少。

查看了慢日志記錄，現(xiàn)在寫(xiě)入大概300毫秒左右。都是日志表的insert操作。

目前雖然暫時(shí)還沒(méi)什么大問(wèn)題。但是以后幾億，十幾億條那是存在的。

需不需要單獨(dú)開(kāi)一個(gè)數(shù)據(jù)庫(kù)，用來(lái)存儲(chǔ)日志？或者其他存儲(chǔ)方案？

回答
編輯回答
臭榴蓮

看場(chǎng)景：

  1. 日志是否需要實(shí)時(shí)分析？

如果不需要實(shí)時(shí)分析，可以用文件形式，固定格式存儲(chǔ)，然后進(jìn)行離線分析。

  1. 是否一直都需要所有日志？

如果不需要所有日志，只需要部分日志，那么可以給一定時(shí)間之前的日志刪掉。

現(xiàn)在一般的做法都是，近期日志存在mongodb這種數(shù)據(jù)庫(kù)中，長(zhǎng)期日志存儲(chǔ)在大數(shù)據(jù)平臺(tái)。

2018年2月11日 07:13