近期,平安壹錢包(以下簡稱“壹錢包”)正式對外發布大數據一體化平臺“瀚海”,在組織打通、產品邏輯重構、技術全面升級三方面全面完善壹錢包數據治理體系。“瀚海”平臺的數據治理實踐也同時入選中國支付清算協會2022金融服務數字化轉型優秀案例,具有較強的業務借鑒和行業推廣價值。
重視數據治理,并形成數據資產,進而轉化成生產力已經成為各行各業數字化升級的具體目標。針對行業數據治理中存在的數據質量不高、數據安全體系不完善、數據治理制度規范的制定缺乏與有效落地等三大難點問題,壹錢包緊扣行業數字化轉型痛點,搭建“瀚海”大數據一體化平臺。
平安壹錢包CTO吳鵬越表示,我們始終在思考和探索如何在保護個人信息安全、保護消費者權益、堅持支付行業嚴監管的前提下,更好地運用這筆數據財富,讓它產生業務價值來反哺社會,我們通過數據治理這個管理手段來對企業全域數據資產實施有效管理,激活與釋放數據要素價值,讓數據成為數字化發展的核心生產力。
自上而下的數據治理體系平安壹錢包數據治理發展階段
作為中國平安旗下專注于支付、賬戶、積分領域提供數字化解決方案的公司,平安壹錢包擁有龐大的用戶數據基礎。
據了解,壹錢包“瀚海”大數據一體化平臺在以下三方面完善數據治理體系:
組織打通。作為一個擁有億級用戶數,業務覆蓋電子錢包、綜合支付解決方案、金融科技輸出等多類業務的大型支付企業,平安壹錢包專門組建數據管理委員會推動數據治理工作。
壹錢包數據管理委員會由高層領導組成決策層,數據、安全、法律合規等部門為秘書,輔以各業務中心為代表,打造了大數據一體系化平臺,建設數據治理標準體系,共同推動數據管理治理工作的有效落地。
壹錢包數據管理委員會采用業務、科技雙線聯席制,共同決策、落實工作,建立業務負責制的數據管理責任體系,助推數字化經營戰略。在數據管理委員會的運轉下,壹錢包實現保障企業數據采集、存儲、計算和使用過程的安全、可控、可追溯,及對數據資產進行精細化運營,盤活整條數據鏈路,實現資產的最大化價值。
產品邏輯重構。壹錢包的數據治理貫穿整個“業務數據資產化,孵化資產類產品實現數據服務化”的數據生產力過程,以數據為核心驅動力,重構前端產品運營邏輯。
平安壹錢包數據治理框架
“整套數據治理體系的難點在于需要保障數據采集、處理、存儲、使用與對外提供服務合法合規的同時,發揮數據這一生產力要素而沉淀出有效的數據資產及產品來讓數據真正產生業務價值。為此,我們貫徹數據開發治理一體化的理念,基于數據全生命周期及數據分類分級管理、數據加解密管理、數據安全合規管理等多個維度,來推進治理工作落地。”壹錢包數據治理委員會數據研發中心負責人傅群慧介紹道。
壹錢包的平臺系統架構,通過基礎平臺實現業務的數據化,目前正從Hive離線數倉及Kafka+Flink的實時數倉兩套框架,轉到IcebergtAlluxio的湖倉一體開放架構中,使其同時具備數據湖的靈活性以及高線數倉的規范性,數據時效從小時級提升到分鐘級。這大大提升了各類數據服務的時效性,使得數據產品能夠更及時、精準地進行業務響應,甚至迭代升級,進而提升用戶體驗。
數據中臺層方面,壹錢包遵循各類對象的建設制度規范,運用數據開發套件、數據資產類工具,建設了低耦合高內聚的數據模型、公司業務核心指標、多對象標簽(如用戶、商戶、商品等),實現數據的資產化。再通過數據輸出服務提供到數據前臺,孵化各類數據產品進行綜合經營分析、畫像圈客營銷、智能營銷推薦、風控反欺詐反洗錢等各場景服務,實現資產服務化產生業務價值。
數據中臺就像是足球場上的中場球員,企業擁有一個好的“中場球員”,就是擁有了觸達服務“前鋒”的驅動力,最終實現并完成前端服務“進球”。
明確整體的數據治理架構之后,壹錢包在研發、數據資產運營、數據資產成本分攤、數據安全全生命周期管理、數據服務等細化領域進行發力,大幅提升數據治理效率。
全面技術升級。為了實現降本增效,并滿足新業務不斷增長的數據需求,壹錢包對數據計算資源、存儲管控、數據安全、數據血緣追溯等方面進行治理,全面提升技術水平。
簡單來說,采用自研調度系統讓計算資源分配更合理、二開Spark組件提升計算效率:優化大數據集群存儲方式及網絡交互的壓縮方式,以降低儲存占用空間:將公司外部數據源通過數據交換前置統一接入后,經過數據入倉系統入倉入湖,將公司內部全業務系統數據,特別是同表異數據庫的數據和行為數據進行實時和離線兩條鏈路入倉入湖,讓數據集成更高效;數據加解密技術構架采用主子任務設計模式,實現分布式彈性擴展批處理能力,嵌入數據交換鏈路,提升數據加解密效率保障入倉入湖的安全性;同時解析平臺不同標準SQL語句得到數據加解密技術構架采用主子任務設計模式,實現分布式彈性擴展批處理能力,嵌入數據交換鏈路,提升數據加解密效率保障入倉入湖的安全性;同時解析平臺不同標準SQL語句得到ASTNode樹并落到圖數據庫中,最終,通過路徑尋找等多種算法應用在數據地圖和調度任務監控上,可以更加直觀的展示數據資產類型、呈現任務擁堵點,讓數據血緣脈絡更清晰。
數據治理背后的“瀚海”價值 減少1秒的收款時間,精準的信貸多讓1個小微企業活下去,多保護1個用戶免受電詐,多讓1個老人享受適老化服務。
這點點滴滴,都需要支付企業通過數據驅動業務,以優秀的數據治理體系,優化前端服務。這同時也是“瀚海”大數據一體化平臺發揮壹錢包數據要素價值,反哺社會,并向行業客戶提供數字化服務能力的具體表象與愿景。
壹錢包認為,通過數據開發治理一體化將數據治理的過程融入到數據開發的全生命周期中,沉淀出一套安全可靠、質量可信的公司全域數據資產,孵化出各類數據產品提升業務運營效率。最終要實現的是,把數據作為企業的第一生產力賦能到用戶、商戶的服務中去,用數據升級金融加科技全鏈路,實現平安壹錢包全面數字化經營,進而產生更大的社會價值。
壹錢包基于平臺全面數據治理產出的數據資產及孵化的數據產品,已運用在深化平安綜合金融、車生態等場景服務模式上,洞察用戶需求滿足不同綜合金融的需求;也結合與支付及積分賬戶整體解決方案賦能合作伙伴,為企業用戶提供多種產品、一站式的綜合金融服務。
值得一提的是,壹錢包始終將用戶的交易資金安全作為業務發展中的核心。為了保障支付的安全性,融合線上線下的海量非金融與金融數據,綜合用戶及商戶畫像特征,采用機器學習、深度學習、知識圖譜等技術建立了精準的風控策略和模型,搭建了以“瀚海”大數據一體化平臺為核心的智能風控平臺,覆蓋賬戶、商戶全生命周期風險管理,實現風險的事先預測、實時處置和事后預警監控的風險閉環管理,達成了公司經營業務風險管控的良好運作、有效地管理和降低風險。
從風險智能管控、自助經營分析、算法推薦營銷、安全監督合規各層面做好數字化運營,其根本是為企業帶來價值。而且數據治理是長期之路,需要持續完善基礎數據能力,聚焦數據資產價值轉化,滿足監管治理要求的前提下解決業務痛點促進業務增長。
近日,中國支付清算協會發布2022金融服務數字化轉型案例,將“瀚海”數據治理平臺實踐就作為優秀案例之一入選。總的來說,壹錢包自研的“瀚海”大數據一體化平臺緊扣行業數字化轉型痛點,深入剖析技術解決方案及創新舉措,具有較強的業務借鑒和行業推廣價值,可以是其他企業數字化升級之路上的參考藍本。