建站
咨詢
售后
建站咨詢
新聞中心
關(guān)于千萬(wàn)級(jí)數(shù)據(jù)的OLAP場(chǎng)景是什么樣的，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。
網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、微信小程序開(kāi)發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了陜州免費(fèi)建站歡迎大家使用！
前段時(shí)間接手一個(gè)比較棘手的項(xiàng)目.
6千萬(wàn)的股票行情數(shù)據(jù)聚合場(chǎng)景.
要求:
用戶發(fā)起query, 到解析, 再到聚合, 最后展現(xiàn)給用戶耗時(shí)不超過(guò)2秒.
因?yàn)榫酆暇S度比較多, 可以劃分為時(shí)間維度, 指標(biāo)維度. 指標(biāo)維度多達(dá)10幾個(gè).
設(shè)想1:
使用mongo, 先扔進(jìn)去了2千萬(wàn)左右的數(shù)據(jù), 不加索引的情況下, 幾乎出不了結(jié)果.
如果每個(gè)維度都使用索引的話成本太高, 最后果斷放棄了mongo.
設(shè)想2:
使用MySQL, 數(shù)據(jù)分片, 很細(xì)粒度的, 準(zhǔn)備以空間換時(shí)間.
主要是以時(shí)間維度做數(shù)據(jù)冗余, 針對(duì)幾個(gè)主要的時(shí)間段, 時(shí)間點(diǎn)提前做數(shù)據(jù)準(zhǔn)備.
其他維度采用硬算的方式.
想法是好的, 測(cè)試的結(jié)果對(duì)我來(lái)說(shuō)相當(dāng)殘酷.
1.硬算時(shí)間太長(zhǎng).
2.非主要時(shí)間維度跨度太細(xì), 不是所有都做數(shù)據(jù)pre.
設(shè)想3:
采用elasticsearch, 準(zhǔn)備了5臺(tái)服務(wù)器. 準(zhǔn)備采用5臺(tái)es集群應(yīng)對(duì)OLAP場(chǎng)景.
導(dǎo)進(jìn)5千萬(wàn)數(shù)據(jù)后, 開(kāi)始測(cè)試.
時(shí)間維度+其他單一維度在1秒以內(nèi)
時(shí)間維度+其他多維度(3個(gè)以內(nèi))在3秒內(nèi)
看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)的支持。
當(dāng)前題目：關(guān)于千萬(wàn)級(jí)數(shù)據(jù)的OLAP場(chǎng)景是什么樣的
鏈接地址：http://ef60e0e.cn/article/ghcgis.html
