根據(jù)時(shí)間維度，網(wǎng)站匯總，進(jìn)行用戶的來源地區(qū)、來路域名和頁面訪問次數(shù)、停留時(shí)間、有效訪問次數(shù)、跳出率、回訪者、新訪問者、回訪次數(shù)、回訪相隔天數(shù)等相關(guān)數(shù)據(jù)的統(tǒng)計(jì)。要能夠動(dòng)態(tài)添加條件，通過對(duì)用戶行為監(jiān)測(cè)獲得的數(shù)據(jù)進(jìn)行分析，更加詳細(xì)、清楚地了解用戶的行為習(xí)慣。

 

每天數(shù)據(jù)量幾千萬條，而不同網(wǎng)站客戶的分析需求是各自不同的，靈活變化的多維度分析需求對(duì)分析性能提出了更高的挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)庫(kù)以及Hadoop架構(gòu)已經(jīng)無法滿足高性能的即時(shí)分析需求。

1、90天細(xì)節(jié)數(shù)據(jù)約50億條導(dǎo)入永洪的數(shù)據(jù)集市，直接定制Dashboard分析。
2、ETL方案:歷史數(shù)據(jù)集中導(dǎo)入，增量數(shù)據(jù)自動(dòng)導(dǎo)入。數(shù)據(jù)關(guān)聯(lián)，打標(biāo)簽，入集市。
3、定制需求:具有定制數(shù)據(jù)庫(kù)函數(shù)的能力，步長(zhǎng)函數(shù)，inContains函數(shù)等。
4、前端展現(xiàn):Dashboard設(shè)計(jì)器，自帶Portal，權(quán)限管理，任務(wù)調(diào)度，監(jiān)控系統(tǒng)。

1、業(yè)務(wù)效率提升:線下報(bào)告交付周期從3-4周縮短至小于1周。
2、項(xiàng)目來源增加，收入空間加大。
3、后續(xù)的創(chuàng)新模式轉(zhuǎn)型，基于敏捷BI工具構(gòu)建了新型的SaaS平臺(tái)，向提供大數(shù)據(jù)服務(wù)的互聯(lián)網(wǎng)應(yīng)用提供商 轉(zhuǎn)變。

一周實(shí)現(xiàn)大數(shù)據(jù)可視化分析

—敏捷BI助艾瑞咨詢集團(tuán)實(shí)現(xiàn)互聯(lián)網(wǎng)大數(shù)據(jù)分析

導(dǎo)語:相對(duì)傳統(tǒng)分析方法，通過敏捷BI和Hadoop的互補(bǔ)，艾瑞咨詢集團(tuán)的業(yè)務(wù)效率獲得數(shù)倍的提升“線下報(bào)告交付周期從3至4周縮短至小于1周，軟件交付從半年縮短至一個(gè)月。
當(dāng)前，一提到大數(shù)據(jù)人們就會(huì)想Hadoop，它似乎成為大數(shù)據(jù)的“代言人”。不可否認(rèn)，Hadoop在集群擴(kuò)展性和成本上都有巨大的優(yōu)勢(shì)，但是，Hadoop并不適合做實(shí)時(shí)分析系統(tǒng)。
因此，很多企業(yè)都會(huì)利用Hadoop實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)，再通過其他工具實(shí)現(xiàn)對(duì)大數(shù)據(jù)的高速捕獲和實(shí)時(shí)分析。這里，我們將通過艾瑞咨詢集團(tuán)(Research)的一個(gè)真實(shí)案例，解讀一下敏捷BI如何和Hadoop進(jìn)行互補(bǔ)，幫助其實(shí)現(xiàn)互聯(lián)網(wǎng)大數(shù)據(jù)分析的。

 

定制化項(xiàng)目效率低下

艾瑞咨詢集團(tuán)是一家專注于網(wǎng)絡(luò)媒體、電子商務(wù)、網(wǎng)絡(luò)游戲、無線增值等新經(jīng)濟(jì)領(lǐng)域，深入研究和了解消費(fèi)者行為，并為網(wǎng)絡(luò)行業(yè)和傳統(tǒng)行業(yè)客戶提供市場(chǎng)調(diào)查研究和戰(zhàn)略咨詢服務(wù)的專業(yè)市場(chǎng)調(diào)研機(jī)構(gòu)。

 

目前，艾瑞咨詢集團(tuán)可以向企業(yè)提供線下報(bào)告和軟件兩種定制化咨詢報(bào)告服務(wù)。但是，企業(yè)客戶的定制化需求非常多變，艾瑞咨詢集團(tuán)生成一份線下報(bào)告交付周期需要3至4周，提供軟件的交付周期則需要半年。再加上項(xiàng)目所需人工成本升高、迭代周期延長(zhǎng)，艾瑞咨詢集團(tuán)往往不敢承接太多定制化項(xiàng)目。

 

通過調(diào)研，筆者發(fā)現(xiàn)了艾瑞咨詢集團(tuán)的真正需求:
根據(jù)時(shí)間維度和網(wǎng)站匯總對(duì)用戶的來源地區(qū)、來路域名、頁面訪問次數(shù)、停留時(shí)間、有效訪問次數(shù)、跳出率、回訪者、新訪問者、回訪次數(shù)和回訪相隔夭數(shù)等相關(guān)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，并且還能夠在動(dòng)態(tài)添加條件之后，通過對(duì)監(jiān)測(cè)用戶行為獲得的數(shù)據(jù)進(jìn)行分析，以最終得出更加詳細(xì)、清楚的用戶行為習(xí)慣。 因此，艾瑞咨詢集團(tuán)迫切需要一種更加敏捷、高效的大數(shù)據(jù)分析工具提升定制化業(yè)務(wù)的效率。

 

大數(shù)據(jù)面前:敏捷BI PK傳統(tǒng)BI
在解決艾瑞咨詢集團(tuán)面臨的難題時(shí)，傳統(tǒng)BI的做法是，IT人員事先根據(jù)需求分析進(jìn)行建模，建好二次表或打Cube并提前匯總好數(shù)據(jù)，業(yè)務(wù)人員才能在前端查若到分析結(jié)果的報(bào)表。雖然這種做法很成熟，但是解決不了艾瑞咨詢集團(tuán)的難題。

 

首先，業(yè)務(wù)人員查詢的報(bào)表相對(duì)動(dòng)態(tài)，分析的維度和度量的計(jì)算方式已在建模時(shí)預(yù)先設(shè)定好，不能更改。例如，定好了求和或求平均數(shù)，再想改成求方差必須再去修改模型。
其次，分析需求變更時(shí)，業(yè)務(wù)人員不能直接調(diào)整報(bào)表，需要IT人員重新建模或修改已有分析模型，耗時(shí)較長(zhǎng)，響應(yīng)速度較慢。

 

最后，有些企業(yè)的數(shù)據(jù)量很小，也需要按照此流程和架構(gòu)來進(jìn)行大費(fèi)周折的數(shù)據(jù)分析。造成這些問題的本質(zhì)原因是，過去的技術(shù)架構(gòu)針對(duì)海量數(shù)據(jù)的計(jì)算能力不足，企業(yè)用戶需要通過建模、二次表、Cube提前進(jìn)行數(shù)據(jù)運(yùn)算匯總。

 

艾瑞咨詢集團(tuán)希望為企業(yè)客戶提交這樣一份分析報(bào)告，不僅能看還能動(dòng)態(tài)分析。對(duì)于艾瑞咨詢集團(tuán)來說，數(shù)據(jù)展現(xiàn)應(yīng)該是起點(diǎn)而不是終點(diǎn)。看到了數(shù)據(jù)，要能交互式分析、深入向下挖掘，要能發(fā)現(xiàn)問題并找到答案，還要能采取行動(dòng)。與數(shù)據(jù)交互的過程要足夠快:如果用戶每次點(diǎn)擊需要等三五分鐘才出結(jié)果，就無法進(jìn)行交互分析。

 

并且，分析報(bào)告應(yīng)能讓非IT部門的同事直接在分析平臺(tái)上做出來。不能把所有的分析報(bào)告需求都提交到IT部門，這樣會(huì)嚴(yán)重增加IT部門的工作負(fù)擔(dān)。同時(shí)，敏捷BI的實(shí)施和操作要簡(jiǎn)單化，讓業(yè)務(wù)人員可直接使用。

 

同時(shí)，分析報(bào)告需求經(jīng)常需要牽涉到數(shù)據(jù)層的改動(dòng)，需要IT部門去改進(jìn)數(shù)據(jù)層和業(yè)務(wù)層，傳統(tǒng)BI平臺(tái)需要一兩個(gè)月才能完成模型梳理。敏捷BI無需事先建模，可以在分析過程中靈活調(diào)整分析維度和報(bào)表展現(xiàn)，需求變更可以在一天之內(nèi)響應(yīng)，提升企業(yè)的洞察力決策力。與傳統(tǒng)BI的重量建模、統(tǒng)一視圖不同，敏捷BI采取輕量建模、N個(gè)視圖的方法，不建二次表和Cube，數(shù)據(jù)導(dǎo)入后可以直接進(jìn)行分析，并且業(yè)務(wù)人員可以實(shí)時(shí)調(diào)整分析的維度和度量的計(jì)算方式，極大地增加了靈活性，真正做到和數(shù)據(jù)對(duì)話。

 

既然有這么便捷的方式，為何傳統(tǒng)BI不采用這種架構(gòu)呢?那是因?yàn)椋瑐鹘y(tǒng)技術(shù)架構(gòu)沒有引入大數(shù)據(jù)技術(shù)，面對(duì)海量數(shù)據(jù)無法在用戶點(diǎn)擊后的幾秒內(nèi)就展現(xiàn)企業(yè)客戶需要的分析結(jié)果，因此必須通過建模提前把數(shù)據(jù)匯總好，才能保證分析報(bào)表展現(xiàn)時(shí)的速度。
因此，實(shí)現(xiàn)敏捷Bl的前提是采用新架構(gòu)處理數(shù)據(jù)，其涉及的技術(shù)包括分布式計(jì)算、內(nèi)存計(jì)算、列存儲(chǔ)、庫(kù)內(nèi)計(jì)算等。敏捷BI可以通過更低的成本、更短的上線周期，快速讓企業(yè)洞察到數(shù)據(jù)的義和價(jià)值。

 

業(yè)務(wù)效率數(shù)倍提升。
深入研究艾瑞咨詢集團(tuán)要分析的數(shù)據(jù)， 分析的數(shù)據(jù)就會(huì)發(fā)現(xiàn)，艾瑞咨詢集團(tuán)每天要分析的數(shù)據(jù)量達(dá)幾千萬條，且不同企業(yè)客戶的分析需求各不相同。因此，復(fù)雜多變的多維度分析需求對(duì)分析工具的分析性能提出了更高的挑戰(zhàn)，而傳統(tǒng)的數(shù)據(jù)庫(kù)和Hadoop架構(gòu)已經(jīng)無法滿足高性能和即

 

時(shí)分析的需求。
為此，艾瑞咨詢集團(tuán)考察過國(guó)外一些知名的產(chǎn)品，但是當(dāng)他們獲知產(chǎn)品的價(jià)格和后續(xù)的服務(wù)費(fèi)用之后只能放棄。而國(guó)內(nèi)大多數(shù)的分析工具大多是上一代BI，需事先建模再進(jìn)行分析，難以應(yīng)對(duì)靈活的多維度分析變化需求，且針對(duì)大數(shù)據(jù)量的處理能力不能滿足要求。
最終，艾瑞咨詢集團(tuán)選擇了Yonghong Z-Suite。當(dāng)艾瑞咨詢集團(tuán)將三個(gè)月的細(xì)節(jié)數(shù)據(jù)(約50億條)導(dǎo)入敏捷BI系統(tǒng)，直接就可以展現(xiàn)出定制分析報(bào)告。對(duì)比原先基于Excel和SQL編程的分析方法，艾瑞咨詢集團(tuán)的業(yè)務(wù)效率獲得數(shù)倍的提升:線下報(bào)告交付周期從3至4周縮短至小于1周，軟件交付從半年縮短至一個(gè)月。

 

同時(shí)，艾瑞咨詢集團(tuán)原來由于擔(dān)心需求變化導(dǎo)致沒有能力交付的很多項(xiàng)目被收入囊中。采用敏捷BI工具后，艾瑞咨詢集團(tuán)可以在幾天內(nèi)快速搭建原型向客戶展示，任意的需求變更都可以一周內(nèi)調(diào)整完畢。這種快速原型試錯(cuò)的方式，使得艾瑞咨詢集團(tuán)有能力承接很多此類項(xiàng)目。

由于業(yè)務(wù)效率的極大提升，有能力承接更多的項(xiàng)目，艾瑞咨詢集團(tuán)的收入空間也出現(xiàn)了數(shù)倍的增長(zhǎng)。與此同時(shí)，艾瑞咨詢集團(tuán)的客戶滿意度也穩(wěn)步提升。

 

不僅如此，為了提供更加直觀可交互的分析報(bào)告，提升企業(yè)用戶體驗(yàn)，艾瑞咨詢集團(tuán)基于敏捷BI工具，構(gòu)建了一個(gè)新型SaaS平臺(tái)，艾瑞咨詢集團(tuán)把企業(yè)客戶“用Hadoop架構(gòu)存儲(chǔ)”數(shù)據(jù)，通過敏捷BI，提供的接口導(dǎo)入到數(shù)據(jù)集市內(nèi)，然后通過敏捷BI快速呈現(xiàn)出結(jié)果。事實(shí)上:Hadoop和敏捷BI都有各自適用的不同業(yè)務(wù)場(chǎng)景，兩者是相互補(bǔ)充的關(guān)系。當(dāng)前，很多企業(yè)都采用

 

Hadoop實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)，然后把Hadoop數(shù)據(jù)導(dǎo)入敏捷BI基于分布式內(nèi)存計(jì)算的高性能數(shù)據(jù)集市中，之后再進(jìn)行數(shù)據(jù)可視化分析。鑒于現(xiàn)在Hadoop在企業(yè)的應(yīng)用相當(dāng)廣泛，永洪敏捷BI產(chǎn)品也支持Hadoop數(shù)據(jù)源的連接。

 

艾瑞咨詢集團(tuán)合理利用了自己以前花費(fèi)人力和資金搭建起來的Hadoop架構(gòu)，使得他們之前的投入沒有浪費(fèi)。但是，對(duì)于以前沒有Hadoop架構(gòu)的企業(yè)來說，Yonghong Z-Suite也可以很好地集成。

 

通過銷售SaaS賬號(hào)也為艾瑞咨詢集團(tuán)新增一項(xiàng)長(zhǎng)期穩(wěn)定的收入，一改原來僅僅依靠獨(dú)立項(xiàng)目的單一業(yè)務(wù)模式。艾瑞咨詢集團(tuán)旗下子機(jī)構(gòu)迅速跟進(jìn)敏捷BI的使用和新模式的改變。同時(shí)，SaaS平臺(tái)的構(gòu)建也使得艾瑞咨詢集團(tuán)將自己的價(jià)值定位從媒體/咨詢服務(wù)公司向提供大數(shù)據(jù)服務(wù)的互聯(lián)網(wǎng)應(yīng)用提供商轉(zhuǎn)變，大幅提升了公司在資本市場(chǎng)的價(jià)值。