萬物之始，大道至簡。
過去的數(shù)據(jù)基礎(chǔ)設(shè)施，搭建流程長且復(fù)雜，耗費(fèi)人力、資金甚巨，也是拖慢企業(yè)數(shù)字化轉(zhuǎn)型過程的重要原因之一。
近日，衡石科技與云器科技合作發(fā)布的云原生一體化分析解決方案，遵循數(shù)字化領(lǐng)域的“極簡”之道——通過數(shù)據(jù)的全流程一體化，旨在為用戶簡化數(shù)據(jù)基礎(chǔ)的搭建、維護(hù)過程、快速穩(wěn)定地建立BI端應(yīng)用。
從數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加工到數(shù)據(jù)分析及BI呈現(xiàn)，用戶可獲得全量實(shí)時(shí)的數(shù)據(jù)分析體驗(yàn)。這項(xiàng)創(chuàng)新依托于BI分析與一體化平臺(tái)的全棧整合。
這一解決方案意味著，衡石這一業(yè)界獨(dú)樹一幟的 BI PaaS，進(jìn)一步搭載了云器以Single-Engine為核心技術(shù)的數(shù)據(jù)引擎，共同驅(qū)動(dòng)大數(shù)據(jù)分析走向一體化時(shí)代。
新的解決方案希望為企業(yè)帶來全新的數(shù)據(jù)體驗(yàn)——無需擔(dān)憂復(fù)雜、多源的數(shù)據(jù)及架構(gòu)，僅需一個(gè)簡單易用的平臺(tái)，企業(yè)就能從自身的數(shù)據(jù)金礦中不斷獲取價(jià)值、快速成長。
BI PaaS + 云器 Lakehouse 帶來全量實(shí)時(shí)的智能分析體驗(yàn)
通過統(tǒng)一數(shù)據(jù)、存儲(chǔ)、語言，衡石科技與云器科技聯(lián)合解決方案突破了過去離線分析或者離線實(shí)時(shí)Lambda架構(gòu)的桎梏，能夠提供全鏈路一體實(shí)時(shí)BI分析，讓BI分析師能夠更整合、更便利、更全面地分析實(shí)時(shí)和離線數(shù)據(jù)。同時(shí)，在數(shù)據(jù)架構(gòu)上極致簡化，避免實(shí)時(shí)離線多條數(shù)據(jù)煙囪和復(fù)雜的架構(gòu)帶來的指標(biāo)口徑不一致等問題。
“這是行業(yè)內(nèi)第一次，能通過一套方案實(shí)現(xiàn)實(shí)時(shí)和離線的數(shù)據(jù)處理及分析，并且覆蓋全域，對(duì)數(shù)據(jù)時(shí)間有更好地把控、顯著降低成本、不受數(shù)據(jù)量限制，解決了企業(yè)客戶的重要痛點(diǎn)?！焙馐萍紕?chuàng)始人及CEO劉誠忠表示。
“衡石BI一直以來關(guān)注用戶的極致數(shù)據(jù)分析體驗(yàn)，通過和云器Lakehouse融合的解決方案，幫助企業(yè)更好把控?cái)?shù)據(jù)，不再受數(shù)據(jù)離線或?qū)崟r(shí)的限制使用和分析數(shù)據(jù)；真正做到將數(shù)據(jù)分析的全面性和便利性結(jié)合，給客戶一個(gè)簡單且統(tǒng)一的BI分析方案?！?/p>
這也意味著在面對(duì)高頻數(shù)據(jù)時(shí)，用戶能夠根據(jù)需求獲得實(shí)時(shí)結(jié)果；而業(yè)務(wù)需求減緩時(shí)則可以切換為離線。這樣的變化都是基于同一套數(shù)據(jù)、指標(biāo)及同樣的鏈路處理方式，大大減少了搭建多套數(shù)據(jù)產(chǎn)品組合方案的成本，以及多個(gè)產(chǎn)品的運(yùn)維成本，讓智能分析變得更加統(tǒng)一、自由、高效。
在某跨境服務(wù)企業(yè)的實(shí)際體驗(yàn)中，過去其數(shù)據(jù)平臺(tái)類似“組裝式”架構(gòu)，包含離線計(jì)算鏈路、實(shí)時(shí)計(jì)算鏈路和數(shù)據(jù)湖等，導(dǎo)致了產(chǎn)品組件多、運(yùn)維成本高、計(jì)算復(fù)雜等三大問題——一方面是鏈路割裂、數(shù)據(jù)在統(tǒng)一上容易出問題；另一方面，多組件維護(hù)也產(chǎn)生了高昂的運(yùn)維成本；在未來的數(shù)據(jù)要求增長時(shí)，組裝式架構(gòu)也在性能瓶頸、靈活性方面有著難以解決的局限性。
使用Lakehouse前：
使用Lakehouse后：
通過接入這一解決方案，該企業(yè)做到了全鏈路實(shí)時(shí)同步、數(shù)據(jù)架構(gòu)進(jìn)化，打破了組裝式架構(gòu)的種種局限性。從最終效果上來看，降低了5.2倍數(shù)據(jù)資源消耗、2.1倍CPU成本，性能提升。
具體而言，其數(shù)據(jù)平臺(tái)的突破包括：
· 實(shí)現(xiàn)全鏈路實(shí)時(shí)同步
過去的數(shù)據(jù)平臺(tái)，每天需要花費(fèi)4~5個(gè)小時(shí)將所有業(yè)務(wù)表的數(shù)據(jù)拉到計(jì)算平臺(tái)中，數(shù)據(jù)更新的頻率有限，無法實(shí)現(xiàn)實(shí)時(shí)入庫。通過這一解決方案，公司的數(shù)據(jù)處理方式發(fā)生了質(zhì)的變化，從過去的批處理模式轉(zhuǎn)變?yōu)閷?shí)時(shí)同步模式，做到全量數(shù)據(jù)實(shí)時(shí)同步，提升業(yè)務(wù)效率和數(shù)據(jù)新鮮度，并隨著實(shí)時(shí)數(shù)據(jù)的變化不斷獲得新的BI數(shù)據(jù)洞察。
· 降低資源消耗、提升性能
如上文提到，其CPU的成本及任務(wù)資源消耗雙雙降低，大大降低平臺(tái)計(jì)算資源，還提高了客戶平臺(tái)上產(chǎn)品數(shù)據(jù)獲取和查詢的性能，使得數(shù)據(jù)處理和查詢更加高效。
· 擴(kuò)展性強(qiáng)、滿足客戶不斷增加的業(yè)務(wù)需求
而該解決方案的強(qiáng)大之處，也反映在其擴(kuò)展性上：針對(duì)客戶的巨大實(shí)時(shí)數(shù)據(jù)計(jì)算需求，平臺(tái)從過去的無法承載，變?yōu)榭梢詽M足客戶的所有訴求與需求，通過統(tǒng)一管理及全域數(shù)據(jù)治理，一個(gè)平臺(tái)支持BI、AI多種負(fù)載，大大提升服務(wù)的可能性與客戶滿意度。
比如跨境商戶在商品品類統(tǒng)計(jì)分析時(shí)，可以將數(shù)據(jù)湖中的圖片及對(duì)象存儲(chǔ)路徑進(jìn)行l(wèi)ocation定義，在數(shù)據(jù)平臺(tái)界面直接調(diào)用AI模型接口，完成商品圖片品類識(shí)別，并將輸出的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在數(shù)倉中，后續(xù)可以與訂單表、商品維度表等數(shù)據(jù)進(jìn)行關(guān)聯(lián)統(tǒng)計(jì)分析。
能夠通過一個(gè)平臺(tái)賦予企業(yè)這樣的數(shù)據(jù)能力，來自于兩方的數(shù)年研發(fā)投入、對(duì)業(yè)務(wù)需求的深刻洞察與優(yōu)秀配合。
云器作為一體化湖倉平臺(tái)，為這一解決方案打造了優(yōu)秀的數(shù)據(jù)基礎(chǔ)：通過快速創(chuàng)建虛擬計(jì)算環(huán)境、湖倉一體數(shù)據(jù)集成以及針對(duì)實(shí)時(shí)場景的創(chuàng)新技術(shù)設(shè)計(jì)，僅用一套SQL代碼、單引擎（Single Engine）、同一份數(shù)據(jù)，實(shí)現(xiàn)全鏈路的實(shí)時(shí)化數(shù)據(jù)處理。且性能成本比表現(xiàn)優(yōu)異，在分鐘級(jí)及以上實(shí)時(shí)場景性能下，可以達(dá)到數(shù)倍的成本節(jié)省。
而衡石則在過去數(shù)年中，獨(dú)家推出了 BI PaaS 的產(chǎn)品形態(tài)，自研更適合數(shù)據(jù)分析的語義層、完成了端到端的數(shù)據(jù)分析架構(gòu)創(chuàng)新（包括湖倉一體的開放式架構(gòu)以及ELT + Embed的分析管道架構(gòu)）、在云原生架構(gòu)上支持多租戶適配、API 服務(wù)能力和彈性擴(kuò)展。
本次合作中，結(jié)合云器的數(shù)據(jù)平臺(tái)，衡石科技通過獨(dú)特的指標(biāo)中臺(tái)、BI分析、數(shù)據(jù)服務(wù)等一站式數(shù)據(jù)能力，使數(shù)據(jù)真正在企業(yè)端發(fā)揮價(jià)值。
衡石科技指標(biāo)平臺(tái)
解決百倍突發(fā)、降低50%費(fèi)用，新型平臺(tái)展現(xiàn)強(qiáng)大彈性
在未來的大數(shù)據(jù)時(shí)代，除了更實(shí)時(shí)、更簡明的數(shù)據(jù)服務(wù)外，數(shù)據(jù)系統(tǒng)的彈性也將成為評(píng)估其效果的重要指標(biāo)，主要包括兩點(diǎn)：
· 在峰值需求時(shí)的承壓能力及未來擴(kuò)展能力
· 在需求下降時(shí)的自動(dòng)節(jié)省資源能力
本次衡石與云器共同發(fā)布的方案，展現(xiàn)了一個(gè)全新數(shù)據(jù)解決方案的強(qiáng)大彈性——伸縮自如，隨需而動(dòng)。
根據(jù)云器介紹，其自適應(yīng)的虛擬集群模塊（Virtual Cluster） 可以很好地解決業(yè)務(wù)負(fù)載波動(dòng)問題，在其架構(gòu)中，只需創(chuàng)建一個(gè)新的 virtual cluster 并配置其擴(kuò)展的最小和最大值，系統(tǒng)就可以自動(dòng)地根據(jù)C端用戶請(qǐng)求的并發(fā)數(shù)波動(dòng)進(jìn)行自適應(yīng)擴(kuò)容，并感知業(yè)務(wù)的負(fù)載。而在系統(tǒng)探測到負(fù)載下降后，會(huì)自動(dòng)銷毀 virtual cluster 副本，“水位下降”。
自創(chuàng)立以來，衡石開發(fā)了更加靈活的 ELT + Embed 的管道架構(gòu)，將計(jì)算后置，做到指標(biāo)的中心化管理，高效沉淀和復(fù)用指標(biāo)體系，減少數(shù)據(jù)重復(fù)加工，但是這樣追求業(yè)務(wù)靈活的架構(gòu)對(duì)計(jì)算平臺(tái)的性能和算力同樣有著極高要求。
而云器作為承接衡石的計(jì)算平臺(tái)，擁有強(qiáng)大的算力及性能，這一高性能的湖倉平臺(tái)+衡石ELT架構(gòu)意味著二者合作后，可以在性能、彈性和分析靈活度上做到最佳的 trade-off，真正實(shí)現(xiàn)了云端數(shù)據(jù)分析上的最佳實(shí)踐。
在未來業(yè)務(wù)需求增長時(shí)，系統(tǒng)也能做到自動(dòng)擴(kuò)容，持續(xù)支撐從最初企業(yè)小體量數(shù)據(jù)到快速發(fā)展后巨量數(shù)據(jù)的算力需求。
在客戶的真實(shí)體驗(yàn)中，在并發(fā)增長至10倍乃至百倍時(shí)，C端用戶的查詢響應(yīng)體驗(yàn)始終保持在穩(wěn)定的區(qū)間中，這正是因?yàn)榛诓l(fā)數(shù)量增長，系統(tǒng)副本數(shù)做的自適應(yīng)擴(kuò)展，潤物細(xì)無聲地為客戶在需求暴漲時(shí)提供有力的支撐。
而在需求穩(wěn)定下降后，系統(tǒng)同樣會(huì)檢測負(fù)載狀態(tài)，做到定時(shí)自動(dòng)停止、銷毀副本，按量付費(fèi)、停止使用時(shí)0花費(fèi)，避免資源浪費(fèi)、降低費(fèi)用高達(dá)50%。
AI+BI 的未來：無縫、簡單、普惠
隨著ChatGPT引起的再一次全球AI熱，AI+BI結(jié)合將逐步成為各行各業(yè)的標(biāo)配，而它們也將重塑許多數(shù)據(jù)及業(yè)務(wù)場景。
一方面，從Data4AI的角度看，如果說BI更多是分析“過去”和“現(xiàn)在”的已知數(shù)據(jù)，解決已知的問題；AI加入后，將可以幫助企業(yè)探索未知，包括預(yù)測和判斷，探索分析企業(yè)沉淀的數(shù)據(jù)寶藏——半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
隨著AI成為數(shù)據(jù)的“一等公民，僅能做結(jié)構(gòu)化數(shù)據(jù)分析的傳統(tǒng)數(shù)倉將逐漸走向衰敗，未來由湖倉架構(gòu)加持的AI時(shí)代BI分析工具，將具備如下特點(diǎn)：
· 首先，支持多種類型的數(shù)據(jù)存儲(chǔ)，且所有的數(shù)據(jù)存儲(chǔ)在一個(gè)存儲(chǔ)體系內(nèi)；
· 其次，有統(tǒng)一數(shù)據(jù)管理能力，能覆蓋半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)；
· 最后，開放數(shù)據(jù)設(shè)計(jì)，可支持上層已有的數(shù)個(gè)不同計(jì)算引擎，同時(shí)還能面向新的計(jì)算引擎完成擴(kuò)展。
因此，開放式湖倉架構(gòu)上的BI分析工具，將是AI發(fā)揮價(jià)值的最佳選擇。
另一方面，從AI4Data的角度看，AI可以優(yōu)化數(shù)據(jù)的處理鏈路和資源編排，讓數(shù)據(jù)處理更加高效且節(jié)省成本——AI將通過強(qiáng)大的自學(xué)習(xí)和自加強(qiáng)能力，幫助企業(yè)優(yōu)化數(shù)據(jù)的處理鏈路，基于日常使用習(xí)慣來進(jìn)行資源編排。在某SaaS行業(yè)的客戶實(shí)際使用案例中，初步測試帶來了35%的資源消耗節(jié)省。
隨著AI+BI 的逐步落地，新一代一體化的湖倉架構(gòu)將會(huì)成為未來整個(gè)計(jì)算平臺(tái)架構(gòu)的迭代發(fā)展的趨勢。
過去，衡石科技作為數(shù)據(jù)分析及BI PaaS，曾與各個(gè)垂直領(lǐng)域的頂尖SaaS廠商和軟件廠商結(jié)合。本次衡石與云器合作推出的云原生一體化數(shù)據(jù)解決方案，將帶來企業(yè)級(jí)一站式的數(shù)據(jù)體驗(yàn)，按量付費(fèi)、數(shù)據(jù)架構(gòu)靈活，幫助企業(yè)進(jìn)行應(yīng)用AI的能力及數(shù)字化轉(zhuǎn)型。
未來的 AI+BI 可能會(huì)有這樣的趨勢：
· 更加走入業(yè)務(wù)場景：不斷提升交互方式、降低門檻、在各個(gè)行業(yè)及工種的普及速度大大增加
· 更“輕量嵌入”：更加容易地整合進(jìn)現(xiàn)有系統(tǒng)，無縫進(jìn)入業(yè)務(wù)流程
· 更“實(shí)時(shí)”：Copilot的模式會(huì)成為工作的標(biāo)準(zhǔn)配置，智能助手的加持讓業(yè)務(wù)運(yùn)營崗位的效能大大提升，可以做到數(shù)據(jù)驅(qū)動(dòng)的精細(xì)化運(yùn)營
在這個(gè)不那么遙遠(yuǎn)的未來里，我們也許能看見，隨著這樣簡明數(shù)據(jù)基礎(chǔ)設(shè)施的誕生，數(shù)據(jù)能力隨著業(yè)務(wù)流程自由地在企業(yè)各個(gè)部門、職能中流轉(zhuǎn)，時(shí)而化為決策的依據(jù)，時(shí)而指導(dǎo)人們尋找業(yè)務(wù)的疏漏，需要它時(shí)它源源而來，使用完畢后它馬上偃旗息鼓、靜待下一次召喚。真正的一體化云原生大數(shù)據(jù)時(shí)代，也許就此開啟。
原創(chuàng)文章，作者：陳晨，如若轉(zhuǎn)載，請(qǐng)注明出處：http://2079x.cn/article/577044.html
