網(wǎng)易有數(shù)合作浙江日?qǐng)?bào)集團(tuán):部署數(shù)據(jù)中樞
(1)客戶(hù)介紹
《浙江日?qǐng)?bào)》是中共浙江省委機(jī)關(guān)報(bào),于1949年5月9日在杭州創(chuàng)刊,是浙江歷史上第一張?jiān)谌》秶鷥?nèi)公開(kāi)出版發(fā)行的中國(guó)共產(chǎn)黨黨報(bào)。
(2)項(xiàng)目背景
互聯(lián)網(wǎng)時(shí)代,新媒介層出不窮,自媒體發(fā)展速度極快,用戶(hù)需求變化頻繁,浙報(bào)集團(tuán)作為國(guó)內(nèi)領(lǐng)先的傳媒集團(tuán),主要關(guān)注以下4個(gè)技術(shù)內(nèi)容:
1. 實(shí)時(shí)數(shù)據(jù)分析。媒體融合對(duì)新聞生產(chǎn)和分發(fā)的時(shí)效性要求很高,對(duì)用戶(hù)行為數(shù)據(jù)的實(shí)時(shí)采集和分析需求顯為重要。
2. 數(shù)據(jù)統(tǒng)一管理。實(shí)現(xiàn)多數(shù)據(jù)系統(tǒng)的統(tǒng)一存儲(chǔ)、管理和業(yè)務(wù)系統(tǒng)數(shù)據(jù)的統(tǒng)一。不再需要從多個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)中提取數(shù)據(jù)再進(jìn)行整合。
3. 平臺(tái)易用,提高效率。減少開(kāi)發(fā)和運(yùn)維平臺(tái)的精力,專(zhuān)注于業(yè)務(wù)數(shù)據(jù)處理、分析和相關(guān)應(yīng)用開(kāi)發(fā),且有足夠充分的中文文檔。
4. 數(shù)據(jù)安全,私有應(yīng)用。黨政媒體新聞信息敏感,通過(guò)網(wǎng)絡(luò)傳輸?shù)皆粕戏治觯哂袛?shù)據(jù)泄露的風(fēng)險(xiǎn),且大規(guī)模分析速度受到限制。希望保證數(shù)據(jù)安全,并建立數(shù)據(jù)權(quán)限體系,供集團(tuán)內(nèi)、外媒體單位使用。
(3)解決方案
在對(duì)自身狀況和需求進(jìn)行分析以后,浙報(bào)集團(tuán)選擇了以網(wǎng)易猛犸和有數(shù)bi為主的大數(shù)據(jù)解決方案。
首先,通過(guò)網(wǎng)易猛犸建立數(shù)據(jù)中樞平臺(tái)。猛犸提供 HDFS、Hbase、Kudu 等從 GB 到 PB 級(jí)別的存儲(chǔ)方案,提供全量離線接入,將業(yè)務(wù)數(shù)據(jù)從各類(lèi)數(shù)據(jù)源離線導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)以及其他相關(guān)大數(shù)據(jù)環(huán)境,提供關(guān)系型數(shù)據(jù)庫(kù)和日志的增量實(shí)時(shí)/準(zhǔn)實(shí)時(shí)接入,將業(yè)務(wù)庫(kù)中增量數(shù)據(jù)和APP日志實(shí)時(shí)導(dǎo)入到大數(shù)據(jù)環(huán)境,并且延遲可控制在秒級(jí)。
其次,實(shí)現(xiàn)用戶(hù)行為數(shù)據(jù)實(shí)時(shí)采集、實(shí)時(shí)分析和全網(wǎng)媒體內(nèi)容及傳播效果實(shí)時(shí)監(jiān)測(cè)分析。網(wǎng)易猛犸可實(shí)時(shí)分析訪問(wèn)數(shù)據(jù),展示流量變化和用戶(hù)分布情況,滿(mǎn)足高可用(分布式),高吞吐(1000w/s),低延遲(毫秒級(jí)),精準(zhǔn)計(jì)算(Exactly-once)等需求。同時(shí),在猛犸平臺(tái)上調(diào)試和提交流SQL任務(wù),無(wú)需增加組件,無(wú)需增加硬件投入,大大降低技術(shù)方面的投入。
同時(shí),通過(guò)有數(shù)BI進(jìn)行數(shù)據(jù)可視化分析,對(duì)全網(wǎng)內(nèi)容和媒體行業(yè)云的運(yùn)營(yíng)狀況進(jìn)行實(shí)時(shí)監(jiān)測(cè),為集團(tuán)內(nèi)容創(chuàng)作優(yōu)化、集團(tuán)運(yùn)營(yíng)重大決策提供直觀、科學(xué)的依據(jù)。
此外,針對(duì)安全方面的顧慮,網(wǎng)易猛犸通過(guò)認(rèn)證、授權(quán)、審計(jì)三個(gè)方面來(lái)保證數(shù)據(jù)安全。平臺(tái)采用Kerberos做用戶(hù)級(jí)別的認(rèn)證,針對(duì)角色授權(quán)數(shù)據(jù)訪問(wèn)。利用審計(jì)實(shí)現(xiàn)事件跟蹤,包括實(shí)時(shí)監(jiān)測(cè)對(duì)系統(tǒng)敏感信息的訪問(wèn)和操作行為,根據(jù)規(guī)則設(shè)定報(bào)警并及時(shí)阻斷違規(guī)操作,收集并記錄用戶(hù)行為。
(4)價(jià)值體現(xiàn)
1. 成功建立統(tǒng)一的數(shù)據(jù)中樞,提供平臺(tái)支持,幫助集團(tuán)理解用戶(hù)、內(nèi)容以及二者的關(guān)系,理解媒體革新趨勢(shì),保證媒體融合戰(zhàn)略的先進(jìn)性和執(zhí)行效果,從而保持行業(yè)領(lǐng)先優(yōu)勢(shì)。
2. 實(shí)現(xiàn)智能可視化分析,讓集團(tuán)管理層和員工能夠快速、直觀地了解不同環(huán)節(jié)的狀況,提升運(yùn)營(yíng)數(shù)據(jù)統(tǒng)計(jì)分析的工作效率。
3. 將數(shù)據(jù)中樞部署在內(nèi)網(wǎng)環(huán)境,嚴(yán)格保障數(shù)據(jù)處理和分析過(guò)程中的數(shù)據(jù)安全性。
4. 降低平臺(tái)建設(shè)和運(yùn)維成本,以及數(shù)據(jù)分析成本。
客戶(hù)評(píng)價(jià)
網(wǎng)易猛犸場(chǎng)景豐富、性能好、易用性強(qiáng)的特點(diǎn),給我們留下了深刻的印象。在我們以“數(shù)據(jù)驅(qū)動(dòng)傳播,智能重構(gòu)媒體”的理念,構(gòu)建以數(shù)據(jù)和AI賦能的“媒立方”技術(shù)支撐平臺(tái)的同時(shí),借助網(wǎng)易大數(shù)據(jù)技術(shù)打造傳媒的數(shù)據(jù)中樞平臺(tái),建立智能融合型的信息服務(wù)體系,理解用戶(hù)及其與內(nèi)容的關(guān)系,使提供個(gè)性化服務(wù)成為可能。未來(lái),我們會(huì)加強(qiáng)與網(wǎng)易云的合作,為媒體融合發(fā)展提供示范經(jīng)驗(yàn),促進(jìn)新聞出版業(yè)轉(zhuǎn)型升級(jí)。