基于指標(biāo)中臺(tái)的AI+BI

衡石科技

+ 關(guān)注

2023-05-30 14:32

876次閱讀

管理學(xué)大師德魯克曾說過，沒有指標(biāo)就沒有管理。混亂的指標(biāo)口徑帶來的是分析上的低效和研發(fā)人力成本的高消耗，甚至影響業(yè)務(wù)決策。指標(biāo)中臺(tái)的出現(xiàn)非常有效的解決了這一問題。

衡石科技從4.0版本開始引入指標(biāo)管理能力，更是在4.3版本中重磅發(fā)布了指標(biāo)中臺(tái)，輕量化指標(biāo)定義的過程，讓用戶能夠?qū)χ笜?biāo)進(jìn)行統(tǒng)一創(chuàng)建和管理，實(shí)現(xiàn)指標(biāo)可復(fù)用，降低了分析門檻，并基于ELT+指標(biāo)中臺(tái)的能力形成完整的分析閉環(huán)，讓數(shù)據(jù)分析進(jìn)一步走進(jìn)業(yè)務(wù)端，提升業(yè)務(wù)數(shù)據(jù)價(jià)值。今天我們就一起來了解下指標(biāo)中臺(tái)的緣起、現(xiàn)在和未來。

緣起：從傳統(tǒng)BI到敏捷BI

基于指標(biāo)中臺(tái)的AI+BI

在傳統(tǒng)BI階段，業(yè)務(wù)人員通過查看報(bào)表和看板的方式進(jìn)行業(yè)務(wù)分析，而查看報(bào)表僅僅是數(shù)據(jù)分析流程中的末端，在這之前是非常重的數(shù)據(jù)加工和處理過程，也就是傳統(tǒng)ETL的過程。

一方面，這種過重的前端數(shù)據(jù)處理過程，導(dǎo)致中間表數(shù)量快速膨脹，造成了大量存儲(chǔ)及計(jì)算資源的浪費(fèi)。另一方面，分析的本質(zhì)是強(qiáng)運(yùn)營(yíng)的，業(yè)務(wù)運(yùn)營(yíng)過程中會(huì)不斷產(chǎn)生新的分析需求，導(dǎo)致數(shù)據(jù)研發(fā)團(tuán)隊(duì)疲于應(yīng)對(duì)隨時(shí)變化的報(bào)表需求，研發(fā)投入的價(jià)值大大降低。同時(shí)，由于前端數(shù)據(jù)處理過程嚴(yán)重依賴于研發(fā)人員的技術(shù)支持，業(yè)務(wù)人員無法實(shí)現(xiàn)自主分析，必然導(dǎo)致業(yè)務(wù)分析效率低下。

而敏捷BI階段是通過將建模過程后置，并將物理建模改為了邏輯建模的方式，即將數(shù)據(jù)處理的過程從ETL模式改變?yōu)镋LT模式，業(yè)務(wù)團(tuán)隊(duì)可以自主完成建模，不需要再依賴于數(shù)據(jù)團(tuán)隊(duì)，由此來提供分析的敏捷性。

現(xiàn)在：從敏捷BI到指標(biāo)中臺(tái)

基于指標(biāo)中臺(tái)的AI+BI

敏捷BI方式也帶來了一些新的問題，首當(dāng)其沖的是口徑混亂。由于建模過程是由不同業(yè)務(wù)團(tuán)隊(duì)完成的，每個(gè)團(tuán)隊(duì)定義同一指標(biāo)的方式可能不一樣，從而導(dǎo)致口徑不一致引發(fā)管理混亂。第二個(gè)問題是重復(fù)建模，同一個(gè)模型或指標(biāo)可能在不同的團(tuán)隊(duì)被進(jìn)行重復(fù)建模和定義，造成較大的人力成本浪費(fèi)。第三個(gè)問題是由于數(shù)據(jù)建模和數(shù)據(jù)處理的門檻高，業(yè)務(wù)團(tuán)隊(duì)并不能輕松完成建模的過程，無法完全實(shí)現(xiàn)分析平民化、自主化。

指標(biāo)中臺(tái)的出現(xiàn)很好的解決了這些問題。指標(biāo)中臺(tái)與敏捷BI的最大差別是，大部分?jǐn)?shù)據(jù)建模的過程是被抽象出來進(jìn)行中心化管理的，這部分中心化管理的建模過程圍繞指標(biāo)這一核心概念而構(gòu)建，通過指標(biāo)中臺(tái)來解耦底層的數(shù)據(jù)與上層的分析應(yīng)用。指標(biāo)中臺(tái)為實(shí)現(xiàn)分析平民化帶來的價(jià)值體現(xiàn)在三個(gè)方面：一是通過集中管理和分發(fā)使用的中心化管理方式，實(shí)現(xiàn)了口徑的統(tǒng)一管理，消除了口徑不一致帶來的混亂。二是提升了建模效率，指標(biāo)的統(tǒng)一定義就是數(shù)據(jù)建模過程的復(fù)用，大大減少了重復(fù)建模和中間表的工作。三是極大降低了分析門檻，業(yè)務(wù)人員面對(duì)的是具有業(yè)務(wù)意義的指標(biāo)和維度等業(yè)務(wù)概念，而不是晦澀難懂的物理數(shù)據(jù)表和字段，真正落地和實(shí)現(xiàn)業(yè)務(wù)人員的自助分析。

指標(biāo)中臺(tái)的關(guān)鍵能力

基于指標(biāo)中臺(tái)的AI+BI

合格的指標(biāo)中臺(tái)需要具備三個(gè)能力：

首先是建模語(yǔ)言能力。指標(biāo)最關(guān)鍵的特性是可復(fù)用性，不同的SQL數(shù)據(jù)庫(kù)有不同的方言，基于某一種SQL語(yǔ)義定義的指標(biāo)邏輯，在其它數(shù)據(jù)環(huán)境中可能無法計(jì)算，很難實(shí)現(xiàn)一處定義隨處可用的復(fù)用效果。另外SQL語(yǔ)義本身是面向結(jié)構(gòu)化查詢的語(yǔ)言，書寫較為復(fù)雜，在建模上表達(dá)能力較弱，而指標(biāo)體系構(gòu)建是不斷迭代的業(yè)務(wù)建模過程，要求建模語(yǔ)義表達(dá)能力足夠強(qiáng)，才能高效完成指標(biāo)制定和迭代工作。所以大部分指標(biāo)中臺(tái)產(chǎn)品都會(huì)有自己的建模語(yǔ)言。

其次是指標(biāo)計(jì)算加速能力。指標(biāo)層本身是一個(gè)邏輯語(yǔ)義層，不存儲(chǔ)任何實(shí)際數(shù)據(jù)，只存儲(chǔ)一段計(jì)算邏輯。所以在指標(biāo)中臺(tái)的分析場(chǎng)景下，相較于傳統(tǒng)查詢，會(huì)產(chǎn)生大量的實(shí)時(shí)計(jì)算，以及對(duì)底層明細(xì)數(shù)據(jù)的查詢。在 HENGSHI SENSE 的架構(gòu)中，是通過內(nèi)置數(shù)倉(cāng)及開放式設(shè)計(jì)的產(chǎn)品架構(gòu)來支撐指標(biāo)中臺(tái)的查詢功能。內(nèi)置數(shù)倉(cāng)有兩方面的作用，一方面是可以落地智能Cube，加速?gòu)?fù)雜指標(biāo)計(jì)算；另一方面，衡石在內(nèi)置數(shù)倉(cāng)做了一個(gè)插件式的設(shè)計(jì)，可以實(shí)現(xiàn)在分鐘級(jí)的時(shí)間內(nèi)通過配置的方式隨時(shí)替換成先進(jìn)的MPP數(shù)據(jù)庫(kù)或云數(shù)倉(cāng)，如Doris、Clickhouse、Redshift、Snowflake等，這就使得衡石的指標(biāo)中臺(tái)具備一個(gè)其它指標(biāo)中臺(tái)沒有的能力：可以隨時(shí)引入業(yè)內(nèi)一些先進(jìn)的計(jì)算引擎，借助業(yè)內(nèi)最先進(jìn)的計(jì)算技術(shù)，幫助加速計(jì)算過程，為指標(biāo)中臺(tái)提供一個(gè)高性能的計(jì)算底座。

最后是直達(dá)分析應(yīng)用的能力。指標(biāo)定義和管理的最終目的，是方便的被業(yè)務(wù)使用，讓業(yè)務(wù)側(cè)的分析工作能夠更靈活、有效的進(jìn)行，所以指標(biāo)中臺(tái)需要有可視化應(yīng)用支撐，需要與分析應(yīng)用層以及底層數(shù)據(jù)緊密結(jié)合。

HENGSHI SENSE 就是以指標(biāo)中臺(tái)為中心構(gòu)建的一站式分析平臺(tái)。在4.3版本之前，衡石的分析應(yīng)用創(chuàng)作和數(shù)據(jù)服務(wù)就已經(jīng)可以非常靈活的引入指標(biāo)層定義的指標(biāo)來進(jìn)行報(bào)表制作，或者封裝數(shù)據(jù)API服務(wù)。在4.3版本中，進(jìn)一步加強(qiáng)了指標(biāo)層和應(yīng)用層的打通，在分析應(yīng)用層增加了自助分析的模塊，使得在應(yīng)用層可以更方便地引用指標(biāo)來完成業(yè)務(wù)上的自助分析，為指標(biāo)提供了更高效的價(jià)值出口。

未來：基于指標(biāo)中臺(tái)的AI+BI

自ChatGPT橫空問世以來，業(yè)內(nèi)討論最多的就是ChatGPT如何在各行業(yè)的場(chǎng)景里落地應(yīng)用，甚至有不少BI行業(yè)伙伴推出了類似Chat2SQL的產(chǎn)品原型。但我們認(rèn)為Chat2SQL的方式并不是AI+BI的最合理、最有效的方式，而應(yīng)該是基于指標(biāo)中臺(tái)的AI+BI，可以稱為Chat2Metrics。

以分析上個(gè)月渠道用戶留存率為例，在Chat2SQL模式下，ChatGPT對(duì)于留存率的定義通常是根據(jù)業(yè)內(nèi)的一些通識(shí)來定義的，和實(shí)際分析場(chǎng)景中的留存率定義可能存在差異，這就需要分析人員進(jìn)行反復(fù)、多輪的信息反饋及同步。

基于指標(biāo)中臺(tái)的AI+BI

AI落地的大模型學(xué)習(xí)，一般包括通識(shí)學(xué)習(xí)和場(chǎng)景化學(xué)習(xí)兩部分，分析場(chǎng)景中往往場(chǎng)景化學(xué)習(xí)的比重更大（包含大量行業(yè)Know-How）。場(chǎng)景化學(xué)習(xí)的效果又取決于prompt和提問質(zhì)量。

如果使用Chat2GPT的方式，就會(huì)對(duì)用戶的prompt及提問者的提問質(zhì)量有非常高的要求，才能讓AI在場(chǎng)景化的學(xué)習(xí)過程中能夠足夠好、足夠細(xì)的學(xué)習(xí)到行業(yè)Know-how，才能幫助用戶完成比較有效的AI+BI分析。

而在基于指標(biāo)中臺(tái)落地的AI+BI形式中，大部分場(chǎng)景化的知識(shí)已經(jīng)通過指標(biāo)定義的過程提前固化在指標(biāo)中臺(tái)中，因此只需要在prompt中將定義好的指標(biāo)提供給ChatGPT，并做一些簡(jiǎn)單的提問，ChatGPT就可以非常清晰地將自然語(yǔ)義中的指標(biāo)概念和指標(biāo)中臺(tái)定義的指標(biāo)關(guān)聯(lián)起來，從而生成一個(gè)基于指標(biāo)的查詢過程，具體查詢過程對(duì)應(yīng)的計(jì)算邏輯以及SQL代碼也已經(jīng)在指標(biāo)中臺(tái)中進(jìn)行了詳細(xì)的定義，無需AI處理，更能保障查詢結(jié)果的準(zhǔn)確性和可解釋性。基于指標(biāo)中臺(tái)的AI+BI的方式，在降低業(yè)務(wù)人員分析門檻的同時(shí)，也大大降低了AI的學(xué)習(xí)成本，幫助AI更好地在分析場(chǎng)景中落地。

此外，AI在分析領(lǐng)域落地的另外一個(gè)場(chǎng)景是幫助用戶更好地進(jìn)行洞察分析，挖掘數(shù)據(jù)價(jià)值。而在指標(biāo)中臺(tái)里，指標(biāo)與指標(biāo)之間存在天然的數(shù)據(jù)關(guān)聯(lián)關(guān)系，更容易落地根因分析、異常定位、預(yù)測(cè)分析等智能分析應(yīng)用。

衡石在4.3版本中重磅發(fā)布指標(biāo)中臺(tái)的能力，基于指標(biāo)中臺(tái)的產(chǎn)品形態(tài)，為以后進(jìn)一步做AI+BI的結(jié)合提供了先天的優(yōu)勢(shì)，以及更有效、更低成本的落地路徑，幫助衡石未來更好地在分析場(chǎng)景中落地AI價(jià)值。

關(guān)于衡石科技

北京衡石科技有限公司是一家數(shù)據(jù)分析和 BI 領(lǐng)域的標(biāo)準(zhǔn)化軟件產(chǎn)品廠商，專注于賦能全行業(yè)的 SaaS / ISV 敏捷構(gòu)建數(shù)據(jù)分析和 BI 能力。旗下核心產(chǎn)品 HENGSHI SENSE 作為定位超前的 BI PaaS 能力平臺(tái)，讓合作伙伴在自己的業(yè)務(wù)場(chǎng)景中輕松上線指標(biāo)體系、數(shù)據(jù)看板、自助分析等功能。衡石科技目前已經(jīng)和亞馬遜云科技、寶尊電商、浩方集團(tuán)、積加ERP、領(lǐng)星ERP、探馬SCRM、微伴助手、紛享銷客、六度人和、衛(wèi)瓴科技、思為科技等數(shù)百家先進(jìn) SaaS / ISV廠商落地深度合作，讓場(chǎng)景化的商業(yè)分析即刻上線，生態(tài)合作已覆蓋數(shù)字營(yíng)銷、ERP、CRM、SCRM、CEM、HR、業(yè)財(cái)費(fèi)控、MES、低代碼、供應(yīng)鏈管理等多個(gè)垂直領(lǐng)域。

- Powered by HENGSHI

[免責(zé)聲明]

原文標(biāo)題：基于指標(biāo)中臺(tái)的AI+BI

本文由作者原創(chuàng)發(fā)布于36氪企服點(diǎn)評(píng)；未經(jīng)許可，禁止轉(zhuǎn)載。