問題描述

現(xiàn)在項(xiàng)目中有張流水表結(jié)構(gòu)大概如下id sdkVersion jarVersion countryCode imei createTime

以前的需求是按sdkVersion,jarVersion,countryCode的分組求總數(shù)和imei排重后的總數(shù)，大致sql如下:

select sdkVersion,jarVersion,countryCode,count(*),count(distinct imei) from xxx where createTime = ’xxxx-xx-xx’group by sdkVersion,jarVersion,countryCode

查出前一天的所有數(shù)據(jù)然后匯總到一張表里，結(jié)構(gòu)大概如下

id sdkVersion jarVersion countryCode count(*) count(distinct imei) createTime

然后現(xiàn)在的需求是要任意緯度的組合查詢,就是可以group by sdkVersiongroup by jarVersiongroup by countryCodegroup by sdkVersion,countryCode等等各種組合，如果按以前的每日匯總方案的話就要為不同的緯度組合建立很多個(gè)表，有什么好的方案可以解決這種問題？或者是用專門的統(tǒng)計(jì)框架可以解決的？

問題解答

樓主可以去看看PipelineDB流式數(shù)據(jù)庫

apache kylin, 亞秒級(jí)olap

每日匯總的話，實(shí)時(shí)性要求并不高，500W 記錄也還在可以處理的范圍內(nèi)，視圖 + 定時(shí)計(jì)劃，可以滿足要求，不需要建多表。題主最好能說明一下有什么瓶頸或者痛點(diǎn)，畢竟 mysql 是個(gè)成熟產(chǎn)品，換用新銳技術(shù)有一定風(fēng)險(xiǎn)。

寫存儲(chǔ)過程,每天定時(shí)跑就行了