提供拖拉拽控件的方式,設(shè)計(jì)復(fù)雜的工作流有向無(wú)環(huán)圖,挖掘出有商業(yè)價(jià)值的數(shù)據(jù)
數(shù)據(jù)開(kāi)發(fā)服務(wù)向數(shù)據(jù)開(kāi)發(fā)工程師提供拖拉拽控件的方式,設(shè)計(jì)復(fù)雜的工作流有向無(wú)環(huán)圖,挖掘出有商業(yè)價(jià)值的數(shù)據(jù)
架構(gòu)描述:
數(shù)據(jù)開(kāi)發(fā)工程師創(chuàng)建工作流,設(shè)計(jì)工作流任務(wù)
系統(tǒng)維護(hù)員為工作流設(shè)置定時(shí)調(diào)度策略
系統(tǒng)維護(hù)員監(jiān)控工作流執(zhí)行情況
提供B/S模式的web界面,使有瀏覽器的地方即可開(kāi)發(fā)、管理任務(wù)的需求成為可能
開(kāi)發(fā)工作流時(shí),通過(guò)預(yù)設(shè)任務(wù)的前置任務(wù)和任務(wù)分支,設(shè)計(jì)出復(fù)雜的流程,達(dá)到有條件、有步驟地提煉出數(shù)據(jù)的目的
開(kāi)發(fā)工作流時(shí),通過(guò)預(yù)設(shè)任務(wù)失敗的重試次數(shù)、失敗重試間隔,有效地減少人工干預(yù)任務(wù)執(zhí)行的工作量,提高工作流執(zhí)行成功率
開(kāi)發(fā)工作流時(shí),通過(guò)預(yù)設(shè)超時(shí)告警、發(fā)送郵件,將工作流執(zhí)行信息及時(shí)推送給用戶
數(shù)據(jù)開(kāi)發(fā)工程師通過(guò)使用SHELL、SQL、SPARK、FLINK等控件開(kāi)發(fā)工作流,在一個(gè)工作流中使用多種計(jì)算機(jī)語(yǔ)言、計(jì)算引擎對(duì)數(shù)據(jù)打出組合拳,從海量、雜亂無(wú)章的數(shù)據(jù)中提煉出有效的知識(shí)和信息
啟動(dòng)工作流時(shí),保存輸入?yún)?shù)。任務(wù)執(zhí)行失敗重跑時(shí),可恢復(fù)到故障發(fā)生的執(zhí)行環(huán)境,重新跑出數(shù)據(jù)
復(fù)雜的工作流執(zhí)行失敗時(shí),可從失敗的任務(wù)節(jié)點(diǎn)開(kāi)始跑數(shù),避免從頭開(kāi)始跑數(shù),浪費(fèi)計(jì)算資源
在一個(gè)工作流中,數(shù)據(jù)開(kāi)發(fā)工程師可以只使用MySQL、ORACLE、HIVE等數(shù)據(jù)倉(cāng)庫(kù)中的一種;可以同時(shí)使用MySQL、ORACLE、HIVE等數(shù)據(jù)倉(cāng)庫(kù)中的幾種,使數(shù)據(jù)從一種數(shù)據(jù)倉(cāng)庫(kù)流向另一種數(shù)據(jù)庫(kù)
儀表盤:流程定義統(tǒng)計(jì)、任務(wù)狀態(tài)統(tǒng)計(jì)、流程狀態(tài)統(tǒng)計(jì)
數(shù)據(jù)源中心:數(shù)據(jù)源的管理界面
項(xiàng)目管理:數(shù)據(jù)開(kāi)發(fā)服務(wù)按項(xiàng)目維度組織管理整個(gè)項(xiàng)目的工作流、工作流實(shí)例、任務(wù)實(shí)例
項(xiàng)目管理-工作流定義:界面表格、創(chuàng)建工作流、編輯工作流、運(yùn)行、定時(shí)、定時(shí)管理、復(fù)制刪除工作流
項(xiàng)目管理-工作流實(shí)例:界面表格、編輯、重跑、恢復(fù)失敗、停止、暫定、刪除、甘特圖
項(xiàng)目管理-任務(wù)實(shí)例:界面表格、強(qiáng)制成功、查看日志