Sm@rtDSB統(tǒng)一數(shù)據(jù)交換平臺,旨在建立一個面向全行數(shù)據(jù)采集、交換、共享和開放的標準化的、規(guī)范的、高效的、穩(wěn)定的、可控的數(shù)據(jù)服務總線,實現(xiàn)批量、準實時或者實時的數(shù)據(jù)交換要求,提升業(yè)務系統(tǒng)間多樣化、可配置、易管理的非實時批量及準實時數(shù)據(jù)交換能力。
搭建統(tǒng)一數(shù)據(jù)交換平臺整體框架
實現(xiàn)數(shù)據(jù)交換的統(tǒng)一管理
跨系統(tǒng)間準實時數(shù)據(jù)交互數(shù)據(jù)交換
滿足貼源數(shù)據(jù)層(ODS)與對外圍應用系統(tǒng)的數(shù)據(jù)交換
滿足數(shù)據(jù)倉庫與外圍應用系統(tǒng)的數(shù)據(jù)交換需求
滿足大數(shù)據(jù)平臺及其應用的數(shù)據(jù)交換需求
統(tǒng)一數(shù)據(jù)交換平臺技術(shù)及數(shù)據(jù)支持服務
統(tǒng)一數(shù)據(jù)傳輸和分發(fā),滿足多法人數(shù)據(jù)披露和共享要求
數(shù)據(jù)交換平臺功能分為平臺管理和數(shù)據(jù)交換兩大模塊,平臺管理包含用戶管理、角色管理、機構(gòu)管理、權(quán)限管理等基礎(chǔ)功能。數(shù)據(jù)交換包含數(shù)據(jù)注冊、參數(shù)配置、數(shù)據(jù)服務、調(diào)度服務等模塊,具體的功能細節(jié)如下:
首頁:展示各個系統(tǒng)的近一周的數(shù)據(jù)的交易量。
機構(gòu)管理:增刪改行內(nèi)機構(gòu)信息屬性,支持虛擬機構(gòu)和部門。
角色管理:增刪改行內(nèi)角色信息屬性,主要用戶權(quán)限控制。
用戶管理:增刪改登陸該系統(tǒng)的行內(nèi)用戶信息屬性,結(jié)合角色管理,實現(xiàn)權(quán)限的控制。
菜單管理:增刪改菜單,主要用于開發(fā)階段菜單的詳細配置,一旦上生產(chǎn),不會做改變,所有數(shù)據(jù)均是初始化而來。
數(shù)據(jù)字典、字典維護:用于系統(tǒng)中的各個數(shù)據(jù)字典的相關(guān)信息維護,開發(fā)階段會進行增刪改,生產(chǎn)環(huán)境則不能對其進行操作,所有數(shù)據(jù)均是初始化而來。
密碼規(guī)則配置:配置系統(tǒng)的密碼規(guī)則。
菜單功能組:可以配置頁面上的所有操作按鈕的權(quán)限,所有數(shù)據(jù)均是初始化而來。
關(guān)系數(shù)據(jù)庫定義:定義關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)源(IP,driver,用戶名等相關(guān)配置)。
文件系統(tǒng)定義:定義文件型系統(tǒng)的數(shù)據(jù)源(IP,port,用戶名等相關(guān)配置)。
運行參數(shù)配置:定義遷移的取數(shù)條件(如半年,3個月等)。
遷移頻率:定義遷移頻率(如日頻、月頻等),可自定義corn表達式。
關(guān)系型數(shù)據(jù)注冊:注冊相關(guān)信息(包含:編碼,名稱,數(shù)據(jù)類型,創(chuàng)建人,創(chuàng)建時間等……),點擊紅色箭頭進入下一層系統(tǒng)信息(即數(shù)據(jù)源的信息)。
系統(tǒng)信息(數(shù)據(jù)源):將配置的數(shù)據(jù)源信息在這里注冊,點擊紅色箭頭進入下一層表信息。
表信息:顯示表的基礎(chǔ)信息(包含:編號,表名,中文名等……),若是將該表作為源,則表信息中的取數(shù)SQL就是卸載數(shù)據(jù)的取數(shù)條件。若是將該表作為目標表,則表信息中的前置SQL和后置SQL就是入庫前處理和入庫后處理SQL。點擊紅色箭頭進入下一層字段信息。
字段信息:包含字段的各個屬性。
文件型數(shù)據(jù)注冊:注冊相關(guān)信息(包含:編碼,名稱,數(shù)據(jù)類型,創(chuàng)建人,創(chuàng)建時間等……),點擊紅色箭頭進入下一層文件系統(tǒng)信息。
系統(tǒng)信息(數(shù)據(jù)源):將配置的數(shù)據(jù)源信息在這里注冊,點擊紅色箭頭進入下一層文件信息。
文件信息:文件的各種信息(包含:編碼,文件名,存放路徑,分隔符,編碼等……)點擊紅色箭頭進入下一層字段信息。
數(shù)據(jù)發(fā)布:將注冊后的數(shù)據(jù)進行挑選,發(fā)布出去,供各個下游系統(tǒng)進行使用(可指定使用者),只有指定的使用者才有使用的權(quán)限。
數(shù)據(jù)申請:用戶申請有權(quán)限的數(shù)據(jù)。
數(shù)據(jù)映射:將申請的數(shù)據(jù)進行表映射和字段映射(文件型的,虛擬成表進行映射)。
服務節(jié)點配置:配置服務的運行Datax節(jié)點(后期支持集群)。
運行日期定義:定義任務的運行日期(包含:運行日期,上次運行日期,當前運行日期,下次運行日期,運行結(jié)束日期,日期切換方式)。
任務服務定義:定義任務的相關(guān)信息(如服務編碼,執(zhí)行節(jié)點,日期參數(shù),執(zhí)行計劃,并發(fā)數(shù)等……)。
服務依賴配置:定義任務的依賴。
服務引擎:顯示當前服務的運行狀態(tài),以及進行各種操作。
作業(yè)運行監(jiān)控:監(jiān)控作業(yè)的運行狀態(tài),以及對作業(yè)進行各種操作。
運行日志:查看各個作業(yè)的運行日志,以及數(shù)據(jù)量。