實現基于CDH大數據平臺的數倉構建、任務配置執行、日志查看、搜索引擎等前端一站式開發工具。構建數倉管理、任務管理、體系管理、調度管理、搜索引擎等底盤數據處理工具DataIDM,快速實現大數據輸入輸出、模型計算、指標標簽體系計算、搜索引擎的可配置。
大數據分析計算:通過配置快速實現數據抽取、模型計算、大數據分析模型集成,為大數據項目提供完整的解決方案,提升項目開發、實施效率;
客戶標簽體系計算:自動實現客戶標簽計算,并輸出結果信息,為客戶標簽管理提供支撐;
展示分析類項目:通過配置快速實現指標數據抽取、數據倉庫計算、數據計算,為展示分析項目提供支持,提升項目開發、實施效率;
快速查詢與報表:通過搜索引擎的功能,提升數據查詢效率,實現快速實時查詢及報表統計。
通過任務完成情況、任務運行情況、任務執行時長、任務類型分布、近一月出錯排行、調度數量趨勢等指標展示,運維及開發人員可全局上了解任務總體運行情況以及發現執行問題,并進行整改或優化。
(1)通過數據源配置功能,可配置數據輸入、輸出任務使用數據源,并測試其連通性,作為數倉管理前置任務項;
(2)數倉配置用于構建數倉,指定數倉源庫地址及庫名;
(3)大數據表管理功能支持前端管理基于大數據平臺的常規表、分區表、外部表;提供參照源表、源視圖建表,簡化大數據表管理操作,并支持自定義修改表、字段信息等。
可視化流程任務設計工具,支持數據接入、MR計算任務、Spark計算任務、工作流任務、數據輸出等多任務任意組合配置,串行、并行執行的同時提供了日志查看功能。
指標計算、標簽計算,基于工作流任務實現指標、標簽計算配置及執行。
實現了基于Quartz的任務調度功能,工作流任務支持定時調度執行,通過配置完成不同業務需求,提供了任務調度執行日志查看功能,開發、實施人員可通過此功能監控任務運行情況以及分析定位問題。
實現了基于HBase、Key Value Store Indexer、Solr的搜索引擎服務。通過搜索配置功能,可快速完成搜索引擎配置、整合部署,并查看索引狀態;構建完成后,通過數據接入、計算任務產生的數據將會準實時自動構建索引。
任務配置及執行均使用流程圖可視化形式,直觀方便的監控任務執行全周期
很多大數據統計分析,使用交互式SQL計算任務完成,避免MR、Spark等開發周期較長方式實現;數倉構建、大數據建表、數據抽取、輸出等均通過可視化向導模式完成,避免使用各種命令以及后續管理雜亂,從而效率
實現關鍵業務成果沉淀,成果復用度高