平安壹錢包發(fā)布大數(shù)據(jù)一體化平臺“瀚海”

平安壹錢包數(shù)據(jù)治理發(fā)展階段

　　作為中國平安旗下專注于支付、賬戶、積分領(lǐng)域提供數(shù)字化解決方案的公司，平安壹錢包擁有龐大的用戶數(shù)據(jù)基礎(chǔ)。

　　據(jù)了解，壹錢包“瀚海”大數(shù)據(jù)一體化平臺在以下三方面完善數(shù)據(jù)治理體系：

　　組織打通。作為一個擁有億級用戶數(shù)，業(yè)務(wù)覆蓋電子錢包、綜合支付解決方案、金融科技輸出等多類業(yè)務(wù)的大型支付企業(yè)，平安壹錢包專門組建數(shù)據(jù)管理委員會推動數(shù)據(jù)治理工作。

　　壹錢包數(shù)據(jù)管理委員會由高層領(lǐng)導(dǎo)組成決策層，數(shù)據(jù)、安全、法律合規(guī)等部門為秘書，輔以各業(yè)務(wù)中心為代表，打造了大數(shù)據(jù)一體系化平臺，建設(shè)數(shù)據(jù)治理標(biāo)準(zhǔn)體系，共同推動數(shù)據(jù)管理治理工作的有效落地。

　　壹錢包數(shù)據(jù)管理委員會采用業(yè)務(wù)、科技雙線聯(lián)席制，共同決策、落實工作，建立業(yè)務(wù)負(fù)責(zé)制的數(shù)據(jù)管理責(zé)任體系，助推數(shù)字化經(jīng)營戰(zhàn)略。在數(shù)據(jù)管理委員會的運(yùn)轉(zhuǎn)下，壹錢包實現(xiàn)保障企業(yè)數(shù)據(jù)采集、存儲、計算和使用過程的安全、可控、可追溯，及對數(shù)據(jù)資產(chǎn)進(jìn)行精細(xì)化運(yùn)營，盤活整條數(shù)據(jù)鏈路，實現(xiàn)資產(chǎn)的最大化價值。

　　產(chǎn)品邏輯重構(gòu)。壹錢包的數(shù)據(jù)治理貫穿整個“業(yè)務(wù)數(shù)據(jù)資產(chǎn)化，孵化資產(chǎn)類產(chǎn)品實現(xiàn)數(shù)據(jù)服務(wù)化”的數(shù)據(jù)生產(chǎn)力過程，以數(shù)據(jù)為核心驅(qū)動力，重構(gòu)前端產(chǎn)品運(yùn)營邏輯。

平安壹錢包數(shù)據(jù)治理框架

　　“整套數(shù)據(jù)治理體系的難點在于需要保障數(shù)據(jù)采集、處理、存儲、使用與對外提供服務(wù)合法合規(guī)的同時，發(fā)揮數(shù)據(jù)這一生產(chǎn)力要素而沉淀出有效的數(shù)據(jù)資產(chǎn)及產(chǎn)品來讓數(shù)據(jù)真正產(chǎn)生業(yè)務(wù)價值。為此，我們貫徹數(shù)據(jù)開發(fā)治理一體化的理念，基于數(shù)據(jù)全生命周期及數(shù)據(jù)分類分級管理、數(shù)據(jù)加解密管理、數(shù)據(jù)安全合規(guī)管理等多個維度，來推進(jìn)治理工作落地。”壹錢包數(shù)據(jù)治理委員會數(shù)據(jù)研發(fā)中心負(fù)責(zé)人傅群慧介紹道。

　　壹錢包的平臺系統(tǒng)架構(gòu)，通過基礎(chǔ)平臺實現(xiàn)業(yè)務(wù)的數(shù)據(jù)化，目前正從Hive離線數(shù)倉及Kafka+Flink的實時數(shù)倉兩套框架，轉(zhuǎn)到IcebergtAlluxio的湖倉一體開放架構(gòu)中，使其同時具備數(shù)據(jù)湖的靈活性以及高線數(shù)倉的規(guī)范性，數(shù)據(jù)時效從小時級提升到分鐘級。這大大提升了各類數(shù)據(jù)服務(wù)的時效性，使得數(shù)據(jù)產(chǎn)品能夠更及時、精準(zhǔn)地進(jìn)行業(yè)務(wù)響應(yīng)，甚至迭代升級，進(jìn)而提升用戶體驗。

　　數(shù)據(jù)中臺層方面，壹錢包遵循各類對象的建設(shè)制度規(guī)范，運(yùn)用數(shù)據(jù)開發(fā)套件、數(shù)據(jù)資產(chǎn)類工具，建設(shè)了低耦合高內(nèi)聚的數(shù)據(jù)模型、公司業(yè)務(wù)核心指標(biāo)、多對象標(biāo)簽（如用戶、商戶、商品等），實現(xiàn)數(shù)據(jù)的資產(chǎn)化。再通過數(shù)據(jù)輸出服務(wù)提供到數(shù)據(jù)前臺，孵化各類數(shù)據(jù)產(chǎn)品進(jìn)行綜合經(jīng)營分析、畫像圈客營銷、智能營銷推薦、風(fēng)控反欺詐反洗錢等各場景服務(wù)，實現(xiàn)資產(chǎn)服務(wù)化產(chǎn)生業(yè)務(wù)價值。

　　數(shù)據(jù)中臺就像是足球場上的中場球員，企業(yè)擁有一個好的“中場球員”，就是擁有了觸達(dá)服務(wù)“前鋒”的驅(qū)動力，最終實現(xiàn)并完成前端服務(wù)“進(jìn)球”。

　　明確整體的數(shù)據(jù)治理架構(gòu)之后，壹錢包在研發(fā)、數(shù)據(jù)資產(chǎn)運(yùn)營、數(shù)據(jù)資產(chǎn)成本分?jǐn)?、?shù)據(jù)安全全生命周期管理、數(shù)據(jù)服務(wù)等細(xì)化領(lǐng)域進(jìn)行發(fā)力，大幅提升數(shù)據(jù)治理效率。

　　全面技術(shù)升級。為了實現(xiàn)降本增效，并滿足新業(yè)務(wù)不斷增長的數(shù)據(jù)需求，壹錢包對數(shù)據(jù)計算資源、存儲管控、數(shù)據(jù)安全、數(shù)據(jù)血緣追溯等方面進(jìn)行治理，全面提升技術(shù)水平。

　　簡單來說，采用自研調(diào)度系統(tǒng)讓計算資源分配更合理、二開Spark組件提升計算效率：優(yōu)化大數(shù)據(jù)集群存儲方式及網(wǎng)絡(luò)交互的壓縮方式，以降低儲存占用空間：將公司外部數(shù)據(jù)源通過數(shù)據(jù)交換前置統(tǒng)一接入后，經(jīng)過數(shù)據(jù)入倉系統(tǒng)入倉入湖，將公司內(nèi)部全業(yè)務(wù)系統(tǒng)數(shù)據(jù)，特別是同表異數(shù)據(jù)庫的數(shù)據(jù)和行為數(shù)據(jù)進(jìn)行實時和離線兩條鏈路入倉入湖，讓數(shù)據(jù)集成更高效；數(shù)據(jù)加解密技術(shù)構(gòu)架采用主子任務(wù)設(shè)計模式，實現(xiàn)分布式彈性擴(kuò)展批處理能力，嵌入數(shù)據(jù)交換鏈路，提升數(shù)據(jù)加解密效率保障入倉入湖的安全性；同時解析平臺不同標(biāo)準(zhǔn)SQL語句得到數(shù)據(jù)加解密技術(shù)構(gòu)架采用主子任務(wù)設(shè)計模式，實現(xiàn)分布式彈性擴(kuò)展批處理能力，嵌入數(shù)據(jù)交換鏈路，提升數(shù)據(jù)加解密效率保障入倉入湖的安全性；同時解析平臺不同標(biāo)準(zhǔn)SQL語句得到ASTNode樹并落到圖數(shù)據(jù)庫中，最終，通過路徑尋找等多種算法應(yīng)用在數(shù)據(jù)地圖和調(diào)度任務(wù)監(jiān)控上，可以更加直觀的展示數(shù)據(jù)資產(chǎn)類型、呈現(xiàn)任務(wù)擁堵點，讓數(shù)據(jù)血緣脈絡(luò)更清晰。

　　數(shù)據(jù)治理背后的“瀚海”價值

　　減少1秒的收款時間，精準(zhǔn)的信貸多讓1個小微企業(yè)活下去，多保護(hù)1個用戶免受電詐，多讓1個老人享受適老化服務(wù)。

　　這點點滴滴，都需要支付企業(yè)通過數(shù)據(jù)驅(qū)動業(yè)務(wù)，以優(yōu)秀的數(shù)據(jù)治理體系，優(yōu)化前端服務(wù)。這同時也是“瀚海”大數(shù)據(jù)一體化平臺發(fā)揮壹錢包數(shù)據(jù)要素價值，反哺社會，并向行業(yè)客戶提供數(shù)字化服務(wù)能力的具體表象與愿景。

　　壹錢包認(rèn)為，通過數(shù)據(jù)開發(fā)治理一體化將數(shù)據(jù)治理的過程融入到數(shù)據(jù)開發(fā)的全生命周期中，沉淀出一套安全可靠、質(zhì)量可信的公司全域數(shù)據(jù)資產(chǎn)，孵化出各類數(shù)據(jù)產(chǎn)品提升業(yè)務(wù)運(yùn)營效率。最終要實現(xiàn)的是，把數(shù)據(jù)作為企業(yè)的第一生產(chǎn)力賦能到用戶、商戶的服務(wù)中去，用數(shù)據(jù)升級金融加科技全鏈路，實現(xiàn)平安壹錢包全面數(shù)字化經(jīng)營，進(jìn)而產(chǎn)生更大的社會價值。

　　壹錢包基于平臺全面數(shù)據(jù)治理產(chǎn)出的數(shù)據(jù)資產(chǎn)及孵化的數(shù)據(jù)產(chǎn)品，已運(yùn)用在深化平安綜合金融、車生態(tài)等場景服務(wù)模式上，洞察用戶需求滿足不同綜合金融的需求；也結(jié)合與支付及積分賬戶整體解決方案賦能合作伙伴，為企業(yè)用戶提供多種產(chǎn)品、一站式的綜合金融服務(wù)。

　　值得一提的是，壹錢包始終將用戶的交易資金安全作為業(yè)務(wù)發(fā)展中的核心。為了保障支付的安全性，融合線上線下的海量非金融與金融數(shù)據(jù)，綜合用戶及商戶畫像特征，采用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、知識圖譜等技術(shù)建立了精準(zhǔn)的風(fēng)控策略和模型，搭建了以“瀚?！贝髷?shù)據(jù)一體化平臺為核心的智能風(fēng)控平臺，覆蓋賬戶、商戶全生命周期風(fēng)險管理，實現(xiàn)風(fēng)險的事先預(yù)測、實時處置和事后預(yù)警監(jiān)控的風(fēng)險閉環(huán)管理，達(dá)成了公司經(jīng)營業(yè)務(wù)風(fēng)險管控的良好運(yùn)作、有效地管理和降低風(fēng)險。

　　從風(fēng)險智能管控、自助經(jīng)營分析、算法推薦營銷、安全監(jiān)督合規(guī)各層面做好數(shù)字化運(yùn)營，其根本是為企業(yè)帶來價值。而且數(shù)據(jù)治理是長期之路，需要持續(xù)完善基礎(chǔ)數(shù)據(jù)能力，聚焦數(shù)據(jù)資產(chǎn)價值轉(zhuǎn)化，滿足監(jiān)管治理要求的前提下解決業(yè)務(wù)痛點促進(jìn)業(yè)務(wù)增長。

　　近日，中國支付清算協(xié)會發(fā)布2022金融服務(wù)數(shù)字化轉(zhuǎn)型案例，將“瀚?！睌?shù)據(jù)治理平臺實踐就作為優(yōu)秀案例之一入選?？偟膩碚f，壹錢包自研的“瀚海”大數(shù)據(jù)一體化平臺緊扣行業(yè)數(shù)字化轉(zhuǎn)型痛點，深入剖析技術(shù)解決方案及創(chuàng)新舉措，具有較強(qiáng)的業(yè)務(wù)借鑒和行業(yè)推廣價值，可以是其他企業(yè)數(shù)字化升級之路上的參考藍(lán)本。