未來企業(yè)業(yè)務(wù)都是智能化的，且都是基于數(shù)據(jù)的。根據(jù)IDC白皮書《數(shù)據(jù)時(shí)代2025》預(yù)測(cè)，2025年全球的數(shù)據(jù)總量將會(huì)升至175ZB，且超過25%的數(shù)據(jù)將成為實(shí)時(shí)數(shù)據(jù)，規(guī)模化數(shù)據(jù)智能時(shí)代即將到來。

企業(yè)數(shù)據(jù)平臺(tái)的建設(shè)將成為數(shù)據(jù)價(jià)值呈現(xiàn)的關(guān)鍵因素，從而推動(dòng)全行業(yè)探索新一代實(shí)時(shí)數(shù)據(jù)智能平臺(tái)，并基于云原生技術(shù)的中立性大幅度提升企業(yè)一線部門的數(shù)據(jù)應(yīng)用效能。

滴普科技自主研發(fā)的FastData，核心愿景是打造低成本、高性能、易使用的一站式云原生數(shù)據(jù)平臺(tái)底座，幫助企業(yè)從BI到AI實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的數(shù)字化轉(zhuǎn)型。

本文是關(guān)于新一代云原生數(shù)據(jù)智能平臺(tái)FastData的開篇，接下來，我們會(huì)用8個(gè)專題詳細(xì)介紹FastData的相關(guān)能力，每周推送一篇，幫助大家進(jìn)一步了解FastData的細(xì)節(jié)和場(chǎng)景。

FastData通過一站式數(shù)據(jù)智能服務(wù)能力，解決企業(yè)技術(shù)架構(gòu)和數(shù)據(jù)架構(gòu)固有的成本問題和復(fù)雜問題，加強(qiáng)業(yè)務(wù)與技術(shù)團(tuán)隊(duì)更高效的協(xié)作和創(chuàng)新。

即便忽略人工智能規(guī)模化應(yīng)用的挑戰(zhàn)，大數(shù)據(jù)平臺(tái)的建設(shè)也是企業(yè)的一件大事情：數(shù)據(jù)處理過程中將部署大規(guī)模數(shù)量的機(jī)器，與此同時(shí)，使用Hadoop等技術(shù)組件的選型對(duì)企業(yè)技術(shù)人員的能力要求都是巨大的挑戰(zhàn)。

回歸本質(zhì)，企業(yè)要想更好地使用數(shù)據(jù)，應(yīng)該聚焦在快速的數(shù)據(jù)融合與分析預(yù)測(cè)上，而不是把精力浪費(fèi)在數(shù)據(jù)技術(shù)的選擇及大規(guī)模機(jī)器的部署維護(hù)。

一家企業(yè)要想擁有大量繁多而有深度的技術(shù)專家：諸如OLAP數(shù)據(jù)庫(kù)專家、分布式系統(tǒng)專家、多語(yǔ)言開發(fā)工程師，XXX-SQL工程師……這也是不可想象的。出于這樣的目的，F(xiàn)astData提供的一站式數(shù)據(jù)智能平臺(tái)，就能夠方便企業(yè)低門檻且便捷地使用數(shù)據(jù)。

如果把時(shí)間拉長(zhǎng)到3至5年之后，大數(shù)據(jù)和人工智能必定會(huì)緊密配合，它們之間的協(xié)同能力將對(duì)企業(yè)的智能應(yīng)用起到?jīng)Q定性作用。在“Hidden Technical Debt in Machine Learning Systems”(機(jī)器學(xué)習(xí)系統(tǒng)中隱藏的技術(shù)債務(wù)）論文中，Google認(rèn)為：在任何人工智能系統(tǒng)應(yīng)用過程中，絕大多數(shù)不是算法的聰明與否，而是圍繞這些算法的“管道”，即數(shù)據(jù)收集、清洗、驗(yàn)證等基礎(chǔ)設(shè)施的到位程度，這樣才能有效支撐你想做到的任何機(jī)器學(xué)習(xí)。

在AI/ML場(chǎng)景中，更多的數(shù)據(jù)將比更智能的算法對(duì)企業(yè)更有價(jià)值，尤其對(duì)于頂級(jí)的互聯(lián)網(wǎng)公司來看，大數(shù)據(jù)處理的基礎(chǔ)設(shè)施已經(jīng)是核心部分，AI/ML帶來價(jià)值只是時(shí)間問題。

1. 統(tǒng)一流式處理

相比傳統(tǒng)的Lambda架構(gòu)，F(xiàn)astData采用的Kappa Plus架構(gòu)可實(shí)現(xiàn)一套架構(gòu)同時(shí)滿足流和批的處理，尤其面向未來，大多數(shù)BI或數(shù)據(jù)分析場(chǎng)景都是需要實(shí)時(shí)性的。因此，統(tǒng)一的架構(gòu)一方面簡(jiǎn)化了企業(yè)的數(shù)據(jù)基礎(chǔ)設(shè)施，更有效地利用資源；另一方面，也消除了原來Lambda架構(gòu)下對(duì)企業(yè)人員技能要求過多的問題。

2. 支持多模數(shù)據(jù)的存儲(chǔ)與分析

對(duì)企業(yè)來說，未來更多智能業(yè)務(wù)將基于計(jì)算機(jī)視覺、語(yǔ)音和文本挖掘的ML/AI，F(xiàn)astData可用于存儲(chǔ)、優(yōu)化、分析和訪問多種新數(shù)據(jù)應(yīng)用所需的數(shù)據(jù)類型。FastData提供端到端的數(shù)據(jù)能力，使得包括數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)以及SQL分析在內(nèi)的多種差距很大的應(yīng)用，采用統(tǒng)一的數(shù)據(jù)存儲(chǔ)和調(diào)度執(zhí)行方案。

FastData SQL 對(duì)多維度數(shù)據(jù)的支持，更進(jìn)一步屏蔽了許多繁瑣的非結(jié)構(gòu)化數(shù)據(jù)處理過程，極大提升數(shù)據(jù)處理的體驗(yàn)。

3.云原生架構(gòu)

面對(duì)企業(yè)上云的需求，F(xiàn)astData堅(jiān)持云中立的理念，采用云原生的技術(shù)架構(gòu)，對(duì)于不同公有云廠商和私有云環(huán)境，提供無(wú)差別的PaaS服務(wù)，保證企業(yè)投資的有效性和延續(xù)性。

4.事務(wù)支持

企業(yè)內(nèi)許多數(shù)據(jù)的處理過程通常會(huì)并發(fā)讀寫數(shù)據(jù)，對(duì)ACID事務(wù)的支持確保了多方并發(fā)讀寫數(shù)據(jù)的一致性問題。

5.數(shù)據(jù)治理和執(zhí)行的工具箱

FastData提供一站式的數(shù)據(jù)采集、加工、開發(fā)、管理服務(wù)，支持完整數(shù)據(jù)治理和演進(jìn)模式，支持DW模式架構(gòu)，同時(shí)能對(duì)數(shù)據(jù)完整性和血緣關(guān)系等進(jìn)行推理分析，并執(zhí)行安全穩(wěn)健的審計(jì)機(jī)制。

6.存儲(chǔ)計(jì)算分離

在實(shí)際部署中，F(xiàn)astData采用獨(dú)立的存儲(chǔ)和計(jì)算集群，它們都能獨(dú)立擴(kuò)展支持更大的用戶并發(fā)和數(shù)據(jù)量，資源按需使用進(jìn)一步降低成本。

7.開放性

FastData支持的存儲(chǔ)格式是開放式和標(biāo)準(zhǔn)化的，并提供API讓各種工具和上層計(jì)算引擎有效地直接使用數(shù)據(jù)，包括機(jī)器學(xué)習(xí)的Python庫(kù)。

8. ABI支持

FastData支持直接在源數(shù)據(jù)上對(duì)接各種ABI工具，降低傳統(tǒng)的數(shù)倉(cāng)場(chǎng)景下多個(gè)數(shù)據(jù)副本的成本。

FastData是為解決規(guī)模化機(jī)器學(xué)習(xí)和深度學(xué)習(xí)場(chǎng)景下帶來的海量數(shù)據(jù)挑戰(zhàn)問題，而研發(fā)的新一代PB級(jí)實(shí)時(shí)數(shù)據(jù)平臺(tái)，并采用云原生的架構(gòu)實(shí)現(xiàn)低成本、高性能的設(shè)計(jì)理念。FastData的目標(biāo)是成為企業(yè)快速構(gòu)建其數(shù)據(jù)分析和數(shù)據(jù)科學(xué)相關(guān)的各種智能應(yīng)用的一站式數(shù)據(jù)平臺(tái)底座。