萬億數(shù)據(jù)規(guī)模下,火山引擎ByteHouse助力銀行日志數(shù)據(jù)高效分析

IDC發(fā)布的《銀行數(shù)字科技五大趨勢》報告顯示,截至2023年6月底,中國手機銀行APP月活用戶數(shù)達5.1億。如今,人們通過手機銀行可以隨時隨地進行金融操作,無需前往銀行網(wǎng)點,極大地提高了金融服務(wù)的便捷性和效率。

從日常消費支付到資金管理、投資理財?shù)龋絹碓蕉嗳碎_始高頻、深入使用銀行業(yè)務(wù),這也對銀行數(shù)據(jù)系統(tǒng)造成極大挑戰(zhàn)。一方面,銀行業(yè)務(wù)結(jié)構(gòu)復(fù)雜,數(shù)據(jù)體量大、來源多,不同的業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)格式不同,導致數(shù)據(jù)管理成本高;另一方面,業(yè)務(wù)發(fā)展帶來日志數(shù)據(jù)體量激增,對銀行數(shù)據(jù)系統(tǒng)高并發(fā)、高吞吐的要求也進一步提升。

某銀行底層的數(shù)據(jù)系統(tǒng)涉及儲蓄、信用卡、貸款等多個業(yè)務(wù)系統(tǒng),每日產(chǎn)生大量客戶交易日志,包括文本格式、數(shù)據(jù)庫等多種格式。為了更好為客戶提供定制化服務(wù),銀行內(nèi)部需要根據(jù)日志進行多維數(shù)據(jù)分析,了解客戶行為模式和特征,但現(xiàn)有系統(tǒng)從性能、易用性等方面無法支持這種復(fù)雜、靈活的分析場景。

作為火山引擎推出的一款云原生數(shù)據(jù)倉庫,ByteHouse因其在大規(guī)模數(shù)據(jù)下強大的復(fù)雜查詢能力進入該銀行的視野。

據(jù)介紹,ByteHouse支撐海量的實時數(shù)據(jù)分析和數(shù)據(jù)離線分析,同時具備極強的彈性擴縮容能力、極致分析性能和豐富的企業(yè)級能力,對內(nèi)已經(jīng)服務(wù)于字節(jié)跳動內(nèi)部大量數(shù)據(jù)分析場景,對外也已在多個金融場景落地。

圖片1.png

ByteHouse解決方案

首先,依托于ByteHouse存儲引擎的能力,該銀行能將所有日志數(shù)據(jù)統(tǒng)一匯總存放,避免日志數(shù)據(jù)孤島,降低維護成本,提升運營效率。其次,針對高吞吐的要求,ByteHouse支持單點高吞吐量寫入,其分布式架構(gòu)特性進一步讓寫入能力線性提升;最后,為了解決數(shù)據(jù)格式雜亂的問題,ByteHouse 采用 Map 數(shù)據(jù)類型對接,在保障寫入及查詢性能不降低的同時,更靈活應(yīng)對日志這類數(shù)據(jù)結(jié)構(gòu)。

除此之外,在性能方面,ByteHouse支持實時分析,在復(fù)雜查詢下能提供快速響應(yīng),并具備良好的可擴展性。比如在點查場景中,該銀行系統(tǒng)存在響應(yīng)時間慢等情況,ByteHouse則通過采用短鏈路的執(zhí)行方式、建立unique table 點查索引、提升讀鏈路效率等方式進行優(yōu)化。

引入ByteHouse有效解決了實時運營數(shù)據(jù)入庫瓶頸和延遲的問題,實現(xiàn)了萬億數(shù)據(jù)規(guī)模下的真實數(shù)據(jù)分析,在該銀行的某些營銷活動場景中,實現(xiàn)預(yù)測數(shù)據(jù) 5 秒內(nèi)推送,保障運營人員第一時間獲取信息,并調(diào)整策略。

銀行數(shù)字化轉(zhuǎn)型不斷加速,從基礎(chǔ)業(yè)務(wù)、風險評估、趨勢分析到精準營銷,對數(shù)據(jù)處理和分析的需求越來越強。未來,ByteHouse也會持續(xù)為銀行等金融領(lǐng)域提供高性能、高可用的分析服務(wù),助推數(shù)據(jù)價值進一步釋放。

本文轉(zhuǎn)載自:,不代表科技訊之立場。原文鏈接:http://zl.yisouyifa.com/html/240823/145554219499478.html

陳晨陳晨管理團隊

相關(guān)推薦

發(fā)表回復(fù)

登錄后才能評論