鍍金池/ 問答/PHP  數(shù)據(jù)庫/ 如何采集后端數(shù)據(jù)做數(shù)據(jù)分析

如何采集后端數(shù)據(jù)做數(shù)據(jù)分析

大家好,最近公司運行的商城項目需要做數(shù)據(jù)分析,因為后臺的訂單數(shù)據(jù)(不只是訂單)都是用mysql來儲存的,所以想采集數(shù)據(jù)到mongodb或者elasticsearch進(jìn)行數(shù)據(jù)分析。目前想到的有兩種實現(xiàn)方式:
1、埋點,這種不會對數(shù)據(jù)庫產(chǎn)生壓力,但是需要在項目多個位置留下埋點代碼,在開發(fā)維護(hù)上感覺比較麻煩,有可能存在采集數(shù)據(jù)死角,同時采集的也不是用戶行為的數(shù)據(jù),覺得沒什么需要這樣做。
2、直接讀數(shù)據(jù)庫,因為公司的mysql數(shù)據(jù)庫讀寫權(quán)限掌握在自己手中,只要訪問數(shù)據(jù)庫把數(shù)據(jù)取出來更新到mongodb就行了。但是這個方法需要把mysql數(shù)據(jù)庫的部分?jǐn)?shù)據(jù)全部取出來更新一遍,并定時訪問。增大了生產(chǎn)環(huán)境數(shù)據(jù)庫的訪問壓力。
請問大家采用哪一種方案比較好,或者說是否有一個更好的方案呢?
PS:自己了解到的,還可以通過mysql的binlog獲取數(shù)據(jù)

回答
編輯回答
有點壞

我說下我們的做法,我們每天的交易數(shù)據(jù)量是200萬以上,核心在后半夜交易量極少的情況下做跑批清算,這個動作每天只做一次,在早上上班之前跑出結(jié)果,然后由清算人員進(jìn)行人工審核。數(shù)據(jù)庫用的是oracle10g,公司購買的正版。即使是埋點,從運營角度出發(fā),也是要寫入日志庫,然后再做二次分析。

2017年8月13日 19:11