從ClickHouse遷移ByteHouse,某金融機(jī)構(gòu)實(shí)現(xiàn)億級(jí)數(shù)據(jù)秒級(jí)響應(yīng)

隨著數(shù)字經(jīng)濟(jì)的快速發(fā)展,數(shù)字金融作為數(shù)字經(jīng)濟(jì)的重要支撐和驅(qū)動(dòng)力,得到了各界的高度重視。在2023年12月,國(guó)家數(shù)據(jù)局等十七部門聯(lián)合印發(fā)《“數(shù)據(jù)要素×”三年行動(dòng)計(jì)劃(2024—2026年)》,就數(shù)據(jù)要素×金融服務(wù)場(chǎng)景,提出要提升金融服務(wù)水平。

數(shù)據(jù)驅(qū)動(dòng)在金融領(lǐng)域中的重要作用不言而喻。從業(yè)人員需要處理和分析大量的數(shù)據(jù),以做出業(yè)務(wù)決策、管理風(fēng)險(xiǎn)、提高效率并創(chuàng)新產(chǎn)品和服務(wù)。數(shù)據(jù)驅(qū)動(dòng)的方法可以幫助金融機(jī)構(gòu)更好地了解客戶需求、市場(chǎng)趨勢(shì)和風(fēng)險(xiǎn),從而制定更有效的策略和產(chǎn)品,也能更好識(shí)別和評(píng)估風(fēng)險(xiǎn),提高風(fēng)險(xiǎn)管理的準(zhǔn)確性和效率。

要高效利用數(shù)據(jù)進(jìn)行決策,也離不開扎實(shí)的數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè),擁有一款高性能的數(shù)據(jù)分析和處理引擎更能提升數(shù)據(jù)決策的準(zhǔn)確性和實(shí)效性,幫助金融機(jī)構(gòu)快速洞察數(shù)據(jù)中的關(guān)鍵信息和趨勢(shì)。

在某金融機(jī)構(gòu)的精準(zhǔn)營(yíng)銷場(chǎng)景中,業(yè)務(wù)人員通過引入ByteHouse作為分析引擎,在人群圈選中實(shí)現(xiàn)秒級(jí)反饋結(jié)果,將合適的金融產(chǎn)品和服務(wù)推送給最有可能感興趣和需要的客戶,有效提升了營(yíng)銷效果和效率。

起初,該金融機(jī)構(gòu)主要采用Flink將埋點(diǎn)日志數(shù)據(jù)寫入ClickHouse,并對(duì)數(shù)據(jù)進(jìn)行多表聚合處理,最終圈選人群包進(jìn)行廣告觸達(dá)。但隨著業(yè)務(wù)數(shù)據(jù)體量日漸龐大,類型愈加復(fù)雜,數(shù)據(jù)容量達(dá)到幾十T,日增上億量級(jí),最大數(shù)據(jù)表的行數(shù)百億級(jí)別,以上方案面臨著數(shù)據(jù)重復(fù)且多表關(guān)聯(lián)性能差的問題,并且查詢耗時(shí)長(zhǎng)、更新慢,在一定程度上阻礙了業(yè)務(wù)發(fā)展。

從ClickHouse遷移到ByteHouse之后,該金融機(jī)構(gòu)業(yè)務(wù)查詢場(chǎng)景中的多表關(guān)聯(lián)查詢效率提升三倍以上,在人群圈選場(chǎng)景中達(dá)到秒級(jí)結(jié)果響應(yīng)。在簡(jiǎn)單查詢場(chǎng)景中,Bytehouse 較 ClickHouse 性能也提高了30倍,且數(shù)據(jù)準(zhǔn)確率有明顯提升。

據(jù)介紹,ByteHouse是火山引擎推出的一款云原生數(shù)據(jù)倉庫,具備實(shí)時(shí)、高性能的數(shù)據(jù)計(jì)算能力,提供自研查詢優(yōu)化器等功能,實(shí)現(xiàn)隨用隨取、彈性可擴(kuò)展。其中,ByteHouse 自研HaUniqueMergeTree表引擎,保留了 ClickHouse  高效的查詢性能,還能支撐實(shí)時(shí)去重,幫助業(yè)務(wù)更輕松地開發(fā)實(shí)時(shí)分析應(yīng)用。

近期ByteHouse發(fā)布的白皮書更是揭秘了ByteHouse高性能特性,以TPC-H 數(shù)據(jù)集舉例,在相同硬件和軟件環(huán)境下,ByteHouse 查詢效率高于本次基準(zhǔn)測(cè)試產(chǎn)品幾十倍。這一高性能特性,也為精準(zhǔn)營(yíng)銷、行為分析、實(shí)時(shí)監(jiān)控等場(chǎng)景中的數(shù)據(jù)分析和應(yīng)用保駕護(hù)航。

不僅僅是金融行業(yè)落地,火山引擎ByteHouse還與中國(guó)地震臺(tái)網(wǎng)中心、莉莉絲游戲、極客邦科技等諸多行業(yè)企業(yè)達(dá)成了深度合作,憑借新一代的云原生架構(gòu),高效方便的運(yùn)維模式,以及高性能更靈活的實(shí)時(shí)查詢能力,為企業(yè)夯實(shí)數(shù)字化地基,推動(dòng)企業(yè)的數(shù)智化轉(zhuǎn)型升級(jí)。

本文轉(zhuǎn)載自:,不代表科技訊之立場(chǎng)。原文鏈接:http://zl.yisouyifa.com/html/240521/1126371261237223.html

陳晨陳晨管理團(tuán)隊(duì)

相關(guān)推薦

發(fā)表回復(fù)

登錄后才能評(píng)論