數(shù)據(jù)開發(fā)必看！火山引擎DataLeap如何解決數(shù)據(jù)隔離問題？

2023-03-28 15:44:25來源：中關(guān)村在線

在離線數(shù)倉開發(fā)過程中，研發(fā)人員需要根據(jù)業(yè)務(wù)變化，在開發(fā)/生產(chǎn)環(huán)境中不斷切換、解析、調(diào)試。以往，企業(yè)一般通過人工方式核驗(yàn)，但由于數(shù)據(jù)量大且類型不同，導(dǎo)致研發(fā)人員資源、精力投入大。

如何使同構(gòu)代碼在不同環(huán)境正確運(yùn)行，避免因調(diào)試過程中的誤操作，對生產(chǎn)環(huán)境直接造成數(shù)據(jù)負(fù)面風(fēng)險，成為很多企業(yè)數(shù)倉研發(fā)團(tuán)隊(duì)的痛點(diǎn)之一。

近期，火山引擎DataLeap推出“項(xiàng)目參數(shù)管理”能力，即通過自定義項(xiàng)目參數(shù)分別設(shè)置開發(fā)、生產(chǎn)環(huán)境參數(shù)值，參數(shù)支持配置多種類型，包括Region、DB、shecma、table、date以及自定義等，且支持任務(wù)級別引用，快速幫助研發(fā)團(tuán)隊(duì)實(shí)現(xiàn)資源隔離。

(資料圖片)

火山引擎DataLeap“項(xiàng)目參數(shù)管理”能力

以湖倉一體分析服務(wù)（LAS）引擎為例，介紹如何利用“項(xiàng)目參數(shù)管理”區(qū)分不同環(huán)境庫和時間格式的查詢。

在使用之前，由于1個業(yè)務(wù)需求常常涉及10+任務(wù)、30+參數(shù)，且不同環(huán)境DB中、table基本一致，需要管理2套代碼。數(shù)倉研發(fā)人員難以避免出現(xiàn)測試代碼在生產(chǎn)環(huán)境執(zhí)行、表誤刪、數(shù)據(jù)誤刪等問題。

在使用之后，只需要3個步驟即可解決生產(chǎn)、測試環(huán)境數(shù)據(jù)隔離問題：

· 步驟一：LAS有2套環(huán)境，包括測試環(huán)境庫test_dev、生產(chǎn)環(huán)境庫test_prod 。2套環(huán)境都有相同表名LAS_table01、分區(qū)字段名datetimes。開發(fā)環(huán)境分區(qū)字段為yyyymmdd，生產(chǎn)環(huán)境分區(qū)格式為YYYY-MM-DD。在DataLeap中設(shè)置日期參數(shù)arg，開發(fā)環(huán)境參數(shù)值=\${date}、生產(chǎn)環(huán)境參數(shù)值=\${DATE}。設(shè)置庫參數(shù)env，開發(fā)環(huán)境=test_dev、生產(chǎn)環(huán)境=test_prod。

·步驟二：對于離線數(shù)據(jù)開發(fā)任務(wù)，研發(fā)人員可以直接在代碼中使用項(xiàng)目參數(shù)，點(diǎn)擊“解析”“調(diào)試”，系統(tǒng)會自動替換為相應(yīng)的開發(fā)環(huán)境參數(shù)值，并進(jìn)行語法解析、權(quán)限檢查等。

·步驟三：點(diǎn)擊“提交上線”、“任務(wù)例行執(zhí)行”時，對于項(xiàng)目參數(shù)，系統(tǒng)會自動替換為相應(yīng)的生產(chǎn)環(huán)境參數(shù)值，然后進(jìn)行相應(yīng)的語法解析以及權(quán)限檢查。從而有效提升環(huán)境代碼管理效率。

據(jù)介紹，企業(yè)可以在以下場景使用火山引擎DataLeap“項(xiàng)目參數(shù)管理”能力：

【場景1】開發(fā)生產(chǎn)環(huán)境隔離

·以HSQL任務(wù)為例，為避免在開發(fā)測試階段，因誤操作影響生產(chǎn)庫表的數(shù)據(jù)，研發(fā)人員可以在HSQL代碼中使用項(xiàng)目參數(shù)。調(diào)試時，系統(tǒng)會自動替換為開發(fā)環(huán)境參數(shù)值；上線后的任務(wù)例行執(zhí)行，系統(tǒng)將自動替換為生產(chǎn)環(huán)境參數(shù)值。同時，DataLeap也支持代碼一致，無需在上線前批量將開發(fā)環(huán)境的庫表名稱替換為生產(chǎn)環(huán)境的庫表名稱。

【場景2】跨區(qū)域/項(xiàng)目代碼同構(gòu)

·一般來說，不同Region下的庫、表名不同。為了實(shí)現(xiàn)不同Region、項(xiàng)目下代碼同構(gòu)，研發(fā)人員可以在HSQL代碼中使用項(xiàng)目參數(shù)，來實(shí)現(xiàn)不同環(huán)境下，同一個任務(wù)的代碼同構(gòu)，有效提升環(huán)境代碼管理效率。

火山引擎DataLeap讓研發(fā)人員不再需要通過”調(diào)度設(shè)置-任務(wù)輸入?yún)?shù)”的方式添加項(xiàng)目參數(shù)，只需定義一次參數(shù)即可輕松構(gòu)建，并且實(shí)現(xiàn)生產(chǎn)、測試環(huán)境下的數(shù)據(jù)自動隔離，代碼同構(gòu)。除此之外，DataLeap還具備數(shù)據(jù)集成、開發(fā)、運(yùn)維、治理、資產(chǎn)、安全等數(shù)據(jù)中臺建設(shè)能力，助力企業(yè)提升數(shù)據(jù)研發(fā)效率、降低管理成本，為數(shù)字化轉(zhuǎn)型提供支撐。（作者：楊文文）

標(biāo)簽：