【全球聚看點(diǎn)】火山引擎DataLeap引入任務(wù)模板，助力數(shù)據(jù)研發(fā)提效

2023-04-24 19:42:11來(lái)源：中關(guān)村在線(xiàn)  

在數(shù)倉(cāng)及中臺(tái)研發(fā)過(guò)程中，研發(fā)人員經(jīng)常需要在不同任務(wù)中維護(hù)相同或類(lèi)似代碼，不僅費(fèi)時(shí)費(fèi)力，并且代碼迭代后也面臨不同業(yè)務(wù)單元邏輯性不一致的問(wèn)題，對(duì)運(yùn)維管理形成挑戰(zhàn)。

一般來(lái)說(shuō)，研發(fā)人員往往通過(guò)代碼模板來(lái)解決這一問(wèn)題。具體而言，在核心數(shù)據(jù)處理邏輯相同的情況下，研發(fā)人員通過(guò)代碼模版?zhèn)魅氩煌娜蝿?wù)參數(shù)，解決核心數(shù)據(jù)處理邏輯復(fù)用的問(wèn)題，使得后續(xù)任務(wù)可以批量化，滿(mǎn)足實(shí)時(shí)調(diào)用需求。

目前，任務(wù)模板已是火山引擎DataLeap研發(fā)治理能力之一，主要用于管理常用的任務(wù)邏輯，以此降低常用代碼的運(yùn)維成本。在產(chǎn)品功能上，DataLeap任務(wù)模板支持豐富的引擎能力，包括LAS/EMR HSQL 、LAS/EMR Java Flink、LAS/EMR Flink SQL、shell任務(wù)，滿(mǎn)足離線(xiàn)實(shí)時(shí)任務(wù)的不同需求。此外，DataLeap還支持歷史版本管理，即保存或更新模板后，記錄各個(gè)版本更新情況，方便查看代碼設(shè)置及參數(shù)。


(資料圖)

在使用層面上，研發(fā)人員只需要三步驟即可完成任務(wù)模板創(chuàng)建，便捷復(fù)用核心數(shù)據(jù)處理邏輯。

第一步：選中支持的任務(wù)類(lèi)型

· 在模板列表右側(cè)的“+”（更多）按鈕中，新建子目錄或新建任務(wù)模板。

· 在新建任務(wù)模板窗口中，輸入以下參數(shù)，并新建模板。

第二步：代碼編寫(xiě)參數(shù)設(shè)置

· 在任務(wù)模板的代碼開(kāi)發(fā)編輯界面，通過(guò) DDL 和 DML 編寫(xiě)通用 SQL。

· 表名、字段名分別可以用參數(shù)表示，以下以 LAS Flink SQL的邏輯處理，保存為test02模板。

第三步：在任務(wù)開(kāi)發(fā)中引用

研發(fā)人員可以通過(guò)以下2種方式引用test02模板：

· 方法1：在模板列表中，選擇模板并點(diǎn)擊后即可快速引用。

· 方法2：在代碼編輯界面右上角選擇任務(wù)模板，選擇模板后，按需選擇是否最新版本的模板，在對(duì)參數(shù)設(shè)置之后，預(yù)覽代碼最終生成效果（如圖）。

火山引擎DataLeap任務(wù)模板能力可應(yīng)用于以下場(chǎng)景：

· 場(chǎng)景1：將預(yù)先設(shè)計(jì)好的離線(xiàn)、實(shí)時(shí)任務(wù)模板保存后，即可在多個(gè)任務(wù)中引用此類(lèi)型模板，快速實(shí)現(xiàn)代碼復(fù)用。

· 場(chǎng)景2：將shell任務(wù)代碼制作為前置判斷條件，在數(shù)據(jù)分析前的觸發(fā)檢測(cè)運(yùn)行條件是否滿(mǎn)足。

除了任務(wù)模板之外，作為大數(shù)據(jù)研發(fā)治理套件，火山引擎DataLeap還可以提供數(shù)據(jù)集成、開(kāi)發(fā)、運(yùn)維、治理、資產(chǎn)、安全等能力，幫助用戶(hù)提升數(shù)據(jù)研發(fā)效率、降低管理成本，加速推動(dòng)企業(yè)的數(shù)字化轉(zhuǎn)型。（作者：宋巖）

標(biāo)簽：

相關(guān)閱讀

精彩推薦

相關(guān)詞

推薦閱讀