項(xiàng)目背景 

深度分析云是中國(guó)移動(dòng)總部集中經(jīng)分系統(tǒng)的重要組成部分，負(fù)責(zé)歷史數(shù)據(jù)存儲(chǔ)與深度分析，用于匯集經(jīng)分主數(shù)據(jù)倉(cāng)庫(kù)、B域、O域、M域數(shù)據(jù)，以及Hadoop云的互聯(lián)網(wǎng)分析結(jié)果、采樣數(shù)據(jù)，用以支撐各類開(kāi)放式分析環(huán)境，合理分配數(shù)據(jù)空間、運(yùn)算資源。數(shù)據(jù)分布采用更為合理的多層結(jié)構(gòu)，構(gòu)建數(shù)據(jù)和應(yīng)用的生命周期管理機(jī)制，規(guī)劃進(jìn)行科學(xué)部署。

需求分析 

深度分析云定位于集中經(jīng)分系統(tǒng)的歷史數(shù)據(jù)存儲(chǔ)與深度分析，在確保數(shù)據(jù)一致性的基礎(chǔ)上，對(duì)外提供自助分析、深度挖掘服務(wù)的支撐。本次建設(shè)需求，重點(diǎn)包括：

元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、系統(tǒng)管理服務(wù)；

Sandbox應(yīng)用的管理；

針對(duì)自助分析的各類數(shù)據(jù)挖掘，查詢、報(bào)表、多維分析；

不良治理數(shù)據(jù)運(yùn)算和分析展現(xiàn)；

與主數(shù)據(jù)倉(cāng)庫(kù)和Hadoop平臺(tái)高效的數(shù)據(jù)傳輸。

解決方案 
集中經(jīng)營(yíng)分析系統(tǒng)由三個(gè)庫(kù)構(gòu)成，三個(gè)庫(kù)分別為主數(shù)據(jù)倉(cāng)庫(kù)、GBase 8a MPP數(shù)據(jù)倉(cāng)庫(kù)、Hadoop云，各庫(kù)通過(guò)獨(dú)立的集群進(jìn)行建設(shè)，三庫(kù)之間數(shù)據(jù)通過(guò)ETL平臺(tái)來(lái)進(jìn)行調(diào)度和轉(zhuǎn)移。

深度分析云是由GBase 8a MPP Cluster分布式數(shù)據(jù)庫(kù)構(gòu)成，集群節(jié)點(diǎn)數(shù)共計(jì)1186個(gè)，其中包括1期266節(jié)點(diǎn)個(gè)數(shù)據(jù)倉(cāng)庫(kù)節(jié)點(diǎn)，2期920節(jié)點(diǎn)；13.3PB實(shí)際入庫(kù)，每日增量9.7TB，數(shù)據(jù)來(lái)源于全國(guó)31省上傳的業(yè)務(wù)數(shù)據(jù)。深度分析云作為存儲(chǔ)數(shù)據(jù)的平臺(tái)，由以下四類數(shù)據(jù)組成：

來(lái)自B域、O域、M域的融合數(shù)據(jù)；

來(lái)自非結(jié)構(gòu)化數(shù)據(jù)，即Hadoop云的互聯(lián)網(wǎng)分析及匯總的結(jié)果；

來(lái)自自助分析提供的沙盒數(shù)據(jù)、采樣驗(yàn)證數(shù)據(jù)等；

來(lái)自數(shù)據(jù)集市數(shù)據(jù)。

數(shù)據(jù)規(guī)模為“12+1”月明細(xì)數(shù)據(jù)。

MPP數(shù)據(jù)庫(kù)集群組成的深度分析云，重點(diǎn)包含如下功能：

實(shí)現(xiàn)底層結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的輕度匯總，并在匯總數(shù)據(jù)基礎(chǔ)上實(shí)現(xiàn)多維分析、趨勢(shì)分析、TopN分析、原因影響分析和What IF分析等；

通過(guò)海量的跨域數(shù)據(jù)間的關(guān)聯(lián)計(jì)算實(shí)現(xiàn)深度分析與挖掘，生成準(zhǔn)確的用戶畫(huà)像；

自助分析查詢能力；

提供數(shù)據(jù)集市應(yīng)用；

借用MPP數(shù)據(jù)倉(cāng)庫(kù)的OLAP數(shù)據(jù)處理能力，生成數(shù)據(jù)沙盒（Data Sandbox）。

價(jià)值體現(xiàn)
自助分析：自助報(bào)表、多維分析查詢實(shí)現(xiàn)秒級(jí)響應(yīng)，解決大數(shù)據(jù)量查詢效率低下問(wèn)題，有效提升用戶滿意度；

動(dòng)態(tài)擴(kuò)展：系統(tǒng)可擴(kuò)展能力強(qiáng)，支持集群動(dòng)態(tài)擴(kuò)展，且性能隨著節(jié)點(diǎn)的增加而線性提升；

低投高效：GBase 8a MPP Cluster運(yùn)行于低成本X86 PC Server，成本低廉，性能高效；

國(guó)產(chǎn)化：產(chǎn)品完全自主研發(fā)，國(guó)產(chǎn)可控，響應(yīng)去IOE的發(fā)展趨勢(shì)；

混搭架構(gòu)支撐海量數(shù)據(jù)：通過(guò)分布式計(jì)算和存儲(chǔ)以及Hadoop + MPP + 主數(shù)據(jù)倉(cāng)庫(kù)的混搭結(jié)構(gòu)有效支撐海量數(shù)據(jù)。