首頁 > 技術(shù) > 正文

多領(lǐng)域應(yīng)用落地，火山引擎ByteHouse加速云數(shù)倉升級

2023-07-10 19:06:44來源：中關(guān)村在線  

近日，火山引擎數(shù)智平臺VeDI直播活動「超話數(shù)據(jù)」在線舉辦，來自火山引擎的產(chǎn)品及解決方案專家分享了以ByteHouse為代表的云數(shù)倉產(chǎn)品在字節(jié)跳動的演進(jìn)過程、關(guān)鍵技術(shù)以及最佳實(shí)踐，并通過五個步驟拆解，帶領(lǐng)開發(fā)者快速上手云數(shù)倉。


(資料圖片僅供參考)

現(xiàn)如今，企業(yè)正加速走向數(shù)字化、智能化，對數(shù)據(jù)的應(yīng)用也提出了全新要求，特別是在數(shù)據(jù)實(shí)時分析、實(shí)時部署方面的訴求更加強(qiáng)烈，而云數(shù)據(jù)倉庫為用戶實(shí)現(xiàn)云原生、智能運(yùn)維、彈性資源等業(yè)務(wù)需求帶來了很好支撐，成為今天企業(yè)數(shù)字化基礎(chǔ)設(shè)施中的關(guān)鍵“底座”。

ByteHouse則是這樣一款云原生數(shù)據(jù)倉庫。ByteHouse起初是基于開源ClickHouse引擎進(jìn)行技術(shù)架構(gòu)重構(gòu)和優(yōu)化，在字節(jié)跳動內(nèi)部大規(guī)模應(yīng)用，其中部署規(guī)模超過1萬8000臺，單集群超過2400 臺，現(xiàn)已通過火山引擎對外輸出。

火山引擎ByteHouse

據(jù)ByteHouse產(chǎn)品專家介紹，面對企業(yè)級數(shù)據(jù)處理需求，相比起原生的ClickHouse，火山引擎ByteHouse基于獨(dú)家自研的高可用引擎及查詢優(yōu)化器，可以為企業(yè)提供快速、穩(wěn)定、安全的查詢服務(wù)和數(shù)據(jù)寫入性能。在云原生架構(gòu)下，火山引擎ByteHouse提供了極致擴(kuò)展的統(tǒng)一數(shù)據(jù)分析平臺，具有出色的彈性伸縮和可擴(kuò)展性，確保資源可以靈活地水平擴(kuò)展；同時，ByteHouse支持多級資源隔離，為用戶資源提供更安心的安全保障。

除了高可用的基礎(chǔ)能力，火山引擎ByteHouse還從業(yè)務(wù)角度出發(fā)提供了完整的運(yùn)維監(jiān)控和排障能力，幫助企業(yè)實(shí)現(xiàn)業(yè)務(wù)云上托管，降低運(yùn)維成本。

不僅僅具備強(qiáng)大的技術(shù)能力和易用的產(chǎn)品特性，火山引擎ByteHouse在廣告、氣象、行為分析等領(lǐng)域已經(jīng)積累豐富的落地經(jīng)驗(yàn)。在此次活動中，火山引擎解決方案專家通過廣告、氣象、行為分析3個領(lǐng)域案例，詳細(xì)拆解云原生數(shù)據(jù)倉庫如何能在業(yè)務(wù)場景中絲滑落地。

首先，在廣告受眾預(yù)估領(lǐng)域，為了幫助廣告主確定目標(biāo)人群，判斷投放價值，廣告平臺需要為廣告主提供受眾篩選能力，即根據(jù)不同篩選條件、標(biāo)簽或人群包，確定每次營銷活動覆蓋的人員類型、人員規(guī)模。其難度在于，廣告平臺用戶體量大、人群包數(shù)量大，導(dǎo)致單個查詢中涉及多個人群包計(jì)算，使得查詢復(fù)雜度高；另外，廣告平臺對數(shù)據(jù)時效性要求高，數(shù)據(jù)查詢效率要達(dá)到秒級響應(yīng)。

面對此類需求，ByteHouse支持BitMap數(shù)據(jù)格式，降低人群包數(shù)據(jù)內(nèi)存占用，配合uid的數(shù)據(jù)分片方式，提升數(shù)據(jù)查詢并發(fā)能力，實(shí)現(xiàn)高效的人群包交、并、補(bǔ)計(jì)算，滿足QPS峰值查詢需求，最終達(dá)到查詢秒級響應(yīng)的效果。

火山引擎ByteHouse在廣告受眾預(yù)估領(lǐng)域落地

其次，在氣象領(lǐng)域，ByteHouse幫助AI大模型與數(shù)字孿生公司大地量子實(shí)現(xiàn)對氣象數(shù)據(jù)的精準(zhǔn)預(yù)測。根據(jù)風(fēng)向、濕度、溫度、風(fēng)力等歷史氣象數(shù)據(jù)，結(jié)合風(fēng)場、云層等模型能力預(yù)測未來能源情況，是大地量子的主要應(yīng)用場景。大地量子通過將現(xiàn)場采集及大模型生成的氣象數(shù)據(jù)導(dǎo)入到ByteHouse中，由ByteHouse支撐GEO查詢和空間計(jì)算能力，滿足其對預(yù)測系統(tǒng)以及交互式查詢需求。目前，大地量子的平均查詢響應(yīng)時長不僅在50毫秒以內(nèi)，預(yù)測精準(zhǔn)度也得到有效提升。

最后，在行為分析領(lǐng)域，極客邦科技則通過ByteHouse實(shí)現(xiàn)以用戶為中心的精細(xì)化營銷。作為致力于為數(shù)字人才提供全方位、高質(zhì)量新聞資訊、課程內(nèi)容、大會、指導(dǎo)等服務(wù)項(xiàng)目的企業(yè)，極客邦科技會根據(jù)用戶畫像、在端內(nèi)的操作行為等數(shù)據(jù)為用戶精準(zhǔn)推送課程、活動，洞察用戶全鏈路行為，以便提供更好服務(wù)。但隨著用戶數(shù)量變大且持續(xù)增長，數(shù)據(jù)查詢需求愈加復(fù)雜，同時也面臨快速響應(yīng)的問題，在技術(shù)層面遇到很多挑戰(zhàn)。

增長分析平臺DataFinder與云原生數(shù)據(jù)倉庫ByteHouse的組合使用則幫助極客邦科技更好洞悉客戶全鏈路營銷旅途。ByteHouse的高可用引擎和查詢優(yōu)化器可以將用戶表、事件表等數(shù)據(jù)高效去重、分析和計(jì)算，再通過DataFinder SDK實(shí)現(xiàn)事件分析、留存分析、轉(zhuǎn)化分析等能力，實(shí)現(xiàn)用戶精準(zhǔn)洞察和營銷能力升級。

不僅僅在廣告、氣象等領(lǐng)域落地，ByteHouse 還將持續(xù)通過創(chuàng)新的技術(shù)和功能，幫助更多行業(yè)構(gòu)建高效、穩(wěn)定和可擴(kuò)展的實(shí)時數(shù)據(jù)分析平臺，提供強(qiáng)大的數(shù)據(jù)處理和分析能力，助力企業(yè)更好實(shí)現(xiàn)數(shù)字化升級。（作者：周明）

標(biāo)簽：

相關(guān)閱讀

精彩推薦

相關(guān)詞

推薦閱讀