項目背景

國內(nèi)外高度關注大數(shù)據(jù)技術(shù)發(fā)展，大數(shù)據(jù)已上升為我國的國家戰(zhàn)略。隨著智能電網(wǎng)的深化建設，電力系統(tǒng)生產(chǎn)、運行、銷售、管理等過程產(chǎn)生出大量數(shù)據(jù)，迫切需要利用大數(shù)據(jù)技術(shù)，高效挖掘多源異構(gòu)電力數(shù)據(jù)，深度發(fā)現(xiàn)電數(shù)據(jù)價值，提升電網(wǎng)發(fā)展運營水平，提高對社會經(jīng)濟的服務水平。基于這樣的情況，國家電網(wǎng)上海市電力公司籌備建設電力大數(shù)據(jù)實驗平臺。

問題與需求

1、數(shù)據(jù)的統(tǒng)一儲存

在電力系統(tǒng)不斷的生產(chǎn)、運行、管理過程中，會產(chǎn)生非常大量的數(shù)據(jù)，每年都有30%的增長。這些數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)有26.7T，而圖形數(shù)據(jù)、音頻數(shù)據(jù)、以及文檔數(shù)據(jù)合計有300T之多。如何將不同類型的數(shù)據(jù)統(tǒng)一存儲，是非常大的挑戰(zhàn)。

2、深度挖掘電力數(shù)據(jù)價值

國網(wǎng)公司希望建設電力大數(shù)據(jù)的數(shù)據(jù)倉庫和數(shù)據(jù)集市，提供電力大數(shù)據(jù)應用模擬環(huán)境，提供電力大數(shù)據(jù)應用集成方案。

解決方案

選用目前主流的分布式技術(shù)，面向電力應用研發(fā)了大數(shù)據(jù)基礎平臺。擁有Inceptor SQL引擎，支持完整的SQL語法，可降低應用開發(fā)難度；擁有Hyperbase列式數(shù)據(jù)庫，通過多種索引技術(shù)的組合使用，可實現(xiàn)范圍查詢、模糊查詢等高速反饋；支持聚類、回歸等通用算法和機器學習算法的調(diào)用，以及面向電力應用算法的自定義開發(fā)；支持流式數(shù)據(jù)的實時處理；可對數(shù)據(jù)進行行列安全控制，安全管理體系做到和Oracle一致。

實施效果

1、數(shù)據(jù)模型和信息模型

利用大數(shù)據(jù)應用平臺的工作流和數(shù)據(jù)流管理，實現(xiàn)數(shù)據(jù)從數(shù)據(jù)緩存區(qū)到原始庫，通過數(shù)據(jù)清洗、修正后轉(zhuǎn)存至中間庫，根據(jù)用戶行為分析和用電預測場景算法分析、計算后，將最終數(shù)據(jù)存儲至Hbase分析結(jié)果庫，提供示范應用可視化展示。共根據(jù)業(yè)務場景建成結(jié)果數(shù)據(jù)模型一百八十多張。實現(xiàn)數(shù)據(jù)從數(shù)據(jù)緩存區(qū)到原始庫。通過建立基礎數(shù)據(jù)模型，如用戶臺賬、臺區(qū)臺賬、日凍結(jié)電量等，為上層數(shù)據(jù)分析提供數(shù)據(jù)支撐，最終建立可視化信息模型，使可視化得以高效的展示和交互 。

2、數(shù)據(jù)交換及共享機制實現(xiàn)

完成了上海浦東新區(qū)電網(wǎng)數(shù)據(jù)、用戶數(shù)據(jù)和社會環(huán)境經(jīng)濟數(shù)據(jù)等多源異構(gòu)數(shù)據(jù)的接入，結(jié)構(gòu)化數(shù)據(jù)按oracle格式存儲至緩存區(qū)，非結(jié)構(gòu)化數(shù)據(jù)如地理拓撲信息，按xml/svg文件格式存儲。接入了9個業(yè)務數(shù)據(jù)源包括電力系統(tǒng)內(nèi)部數(shù)據(jù)源和外部氣象信息和社會經(jīng)濟數(shù)據(jù)（能量管理系統(tǒng)、配電自動化系統(tǒng)、電能質(zhì)量監(jiān)測系統(tǒng)、生產(chǎn)管理系統(tǒng)、用電信息采集系統(tǒng)、負荷控制系統(tǒng)、營銷應用系統(tǒng)、氣象信息系統(tǒng)和上海社會經(jīng)濟數(shù)據(jù)），其中包括了結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，接入用戶數(shù)達到千萬。

3、數(shù)據(jù)檢索性能提升

為智能配用電大數(shù)據(jù)系統(tǒng)提供多種高性能的存儲方式并，實現(xiàn)了對數(shù)據(jù)的高速查詢和檢索，分別采用了Search、Hbase、Holodesk等數(shù)據(jù)存儲技術(shù)進行實現(xiàn)，結(jié)合并發(fā)查詢，結(jié)果緩存等實現(xiàn)技術(shù)，將最終信息檢索速度提升到1秒以內(nèi)。