財(cái)通證券有限責(zé)任公司總部位于中國杭州，其前身是成立于 1993 年 5 月的浙江財(cái)政證券公司。公司經(jīng)營范圍為：證券經(jīng)紀(jì)，證券自營，證券資產(chǎn)管理，證券投資咨詢等，截止 2017 年 6 月末，財(cái)通證券共設(shè)有 113 家證券營業(yè)部，其中 95 家分布在浙江，占比 83.9%。2018 年，財(cái)通證券將 “金融科技發(fā)展戰(zhàn)略” 定為公司戰(zhàn)略，以打造一流的數(shù)字生態(tài)證券作為戰(zhàn)略目標(biāo)。

面臨挑戰(zhàn)

數(shù)據(jù)安全

核心交易系統(tǒng)部署在核心區(qū)，而下游風(fēng)控、反洗錢、經(jīng)營分析等系統(tǒng)部署在非核心區(qū)，核心區(qū)與非核心區(qū)之間存在網(wǎng)絡(luò)隔離，需要通過跳板機(jī)。

難以靈活應(yīng)對數(shù)據(jù)源變化

數(shù)據(jù)源發(fā)生變化時(shí)，需要修改任務(wù)的配置和腳本，靈活性差。且核心交易系統(tǒng)在夜間完成數(shù)據(jù)清算后，需工程師手動同步數(shù)據(jù)，費(fèi)時(shí)費(fèi)力。

缺少監(jiān)控預(yù)警

需要依賴下游用數(shù)環(huán)節(jié)判斷數(shù)據(jù)是否存在異常，缺少過程監(jiān)控和預(yù)警。

解決方案

實(shí)施跳板機(jī)

適配安全隔離網(wǎng)絡(luò)架構(gòu)，自動完成跨網(wǎng)的數(shù)據(jù)采集、中轉(zhuǎn)、處理。

智能分區(qū)

識別清算數(shù)據(jù)表的日期變化，自動觸發(fā)數(shù)據(jù)同步任務(wù)。

靈活取數(shù)

針對無主鍵數(shù)據(jù)，可靈活設(shè)置過濾規(guī)則，同步指定的增量數(shù)據(jù)。

客戶價(jià)值

解決數(shù)據(jù)跨網(wǎng)傳輸難題

通過跳板機(jī)的方式，讓跳板機(jī)承擔(dān)數(shù)據(jù)中轉(zhuǎn)服務(wù)，整體采集的控制端存放在非內(nèi)網(wǎng)環(huán)境，確保出現(xiàn)問題可以在外部環(huán)境中進(jìn)行直接管理和問題排查。

提高數(shù)據(jù)采集效率

采取批量化的采集方式，同時(shí)對同個(gè)系統(tǒng)的幾十幾百個(gè)表一并采集，使用老版工具，幾百張表的抽取配置需要花費(fèi) 50 個(gè)小時(shí)，現(xiàn)在基本可以在 5 分鐘內(nèi)完成，大大提高了數(shù)據(jù)采集效率。

監(jiān)控預(yù)警，保障下游用數(shù)不受影響

之前，使用傳統(tǒng)工具的財(cái)通證券最高能消費(fèi)掉系統(tǒng)生產(chǎn)備庫 50% 的性能，單庫每秒的流量條數(shù)接近 10 萬，易觸發(fā)上游系統(tǒng)的預(yù)警。DataPipeline 定義了采集條數(shù)和采集流量的雙重閾值，保證了企業(yè)應(yīng)用的安全性。