當(dāng)前，數(shù)字化轉(zhuǎn)型已成為很多企業(yè)的必修課。而面對(duì)如今的經(jīng)濟(jì)形勢(shì)，企業(yè)為數(shù)字化轉(zhuǎn)型邁出的每一步都至關(guān)重要。過(guò)去，不少企業(yè)為充分發(fā)揮數(shù)據(jù)價(jià)值，已經(jīng)做了很多相關(guān)努力，從以 Hadoop 為核心的數(shù)據(jù)湖，到 Snowflake、Databricks 等云上數(shù)據(jù)倉(cāng)庫(kù)，再到湖倉(cāng)一體化...... 這些舉措真的解決了與日俱增的數(shù)據(jù)問(wèn)題嗎？未必。今年 Gartner 發(fā)布的《分析查詢加速的市場(chǎng)引導(dǎo)報(bào)告》就曾指出，企業(yè)在享受數(shù)據(jù)湖帶來(lái)靈活性的同時(shí)，也承受著因數(shù)據(jù)使用和管理混亂帶來(lái)的不利影響。

傳統(tǒng)BI 已經(jīng)無(wú)法滿足需求？

事實(shí)上，不管是數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、還是湖倉(cāng)一體，都是典型的中心化模式。隨著云時(shí)代的到來(lái)，中心化的模式已不再適用。整個(gè)行業(yè)、架構(gòu)、信息顯現(xiàn)出新的趨勢(shì)，去中心化的分析模式將是未來(lái)。

傳統(tǒng) BI 主要是依托于數(shù)據(jù)倉(cāng)庫(kù)作為支撐。傳統(tǒng)數(shù)據(jù)集成系統(tǒng)位于本地的數(shù)據(jù)中心，而類(lèi)似 Snowflake 這樣的產(chǎn)品的出現(xiàn)顛覆了企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)（EDW），在云和數(shù)據(jù)倉(cāng)庫(kù)之間找到了平衡。與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)解決方案相比，云數(shù)據(jù)倉(cāng)庫(kù)安全靈活，且能夠提供更多即時(shí)性、自主性和控制性。然而，想要用好云數(shù)據(jù)倉(cāng)庫(kù)卻并不容易。首先，云數(shù)據(jù)倉(cāng)庫(kù)的核心功能并不是為多并發(fā)用戶在大型數(shù)據(jù)集上提供交互式查詢，其查詢優(yōu)化都是在其內(nèi)部完成，因此，查詢性能較差，且用戶的發(fā)揮空間有限。其次，采用云數(shù)據(jù)倉(cāng)庫(kù)一旦超出標(biāo)準(zhǔn)，比如數(shù)據(jù)量過(guò)大或者希望獲得更高的可用性及更快的獲得結(jié)果，用戶就需要負(fù)擔(dān)超額的成本。

數(shù)據(jù)倉(cāng)庫(kù)的位置介于可視化報(bào)表和底層業(yè)務(wù)系統(tǒng)數(shù)據(jù)源之間。即便云數(shù)據(jù)倉(cāng)庫(kù)努力擁抱變化，但仍不能解決企業(yè)數(shù)據(jù)分析面臨的難題，BI 項(xiàng)目解決方案的應(yīng)用依托云數(shù)據(jù)倉(cāng)庫(kù)，也因此受到限制。

從業(yè)務(wù)維度，消費(fèi)數(shù)據(jù)的人群也發(fā)生了變化。過(guò)去分析工具只提供給數(shù)據(jù)分析師這樣專(zhuān)業(yè)的人員使用，而現(xiàn)在，更多的數(shù)據(jù)需要提供給一線業(yè)務(wù)人員使用。在這樣的情況下，傳統(tǒng) BI 已無(wú)法滿足需求。傳統(tǒng) BI 的確是非常專(zhuān)業(yè)的工具，但恰恰是因?yàn)檫^(guò)于專(zhuān)業(yè)，一線業(yè)務(wù)人員很難承擔(dān)復(fù)雜知識(shí)背后的學(xué)習(xí)成本。根據(jù) IBM 的統(tǒng)計(jì)數(shù)據(jù)，實(shí)施傳統(tǒng) BI 的項(xiàng)目失敗率達(dá)到近 70%，大量的 BI 系統(tǒng)并沒(méi)有得到有效的使用。究其原因是???不起來(lái)、不會(huì)?數(shù)據(jù)分析?具把業(yè)務(wù)和數(shù)據(jù)進(jìn)?轉(zhuǎn)換。

此外，采用傳統(tǒng) BI 工具必然會(huì)牽扯到團(tuán)隊(duì)間的協(xié)作，除了學(xué)習(xí)成本，還會(huì)帶來(lái)巨大的溝通成本，導(dǎo)致數(shù)據(jù)無(wú)法及時(shí)、快速地反饋到數(shù)據(jù)使用者的手中。

一方面，數(shù)據(jù)分析項(xiàng)目從提出需求到最終交付，是一個(gè)漫長(zhǎng)而繁瑣的過(guò)程，需要進(jìn)行數(shù)據(jù)源整合、指標(biāo)定義、模型開(kāi)發(fā)、數(shù)倉(cāng)任務(wù)開(kāi)發(fā)及運(yùn)維、報(bào)表開(kāi)發(fā)等一系列流程。更可怕的是，業(yè)務(wù)場(chǎng)景并非一成不變，一旦指標(biāo)邏輯變更，數(shù)倉(cāng)就要重新開(kāi)發(fā)刷數(shù)。

另一方面，在實(shí)際使用過(guò)程中，傳統(tǒng) BI 很容易變成報(bào)表的游戲。傳統(tǒng) BI 的架構(gòu)思維是數(shù)據(jù)通過(guò) ETL 流向數(shù)據(jù)湖或數(shù)據(jù)倉(cāng)庫(kù)，并通過(guò)報(bào)表實(shí)現(xiàn)可視化。報(bào)表的需求與業(yè)務(wù)的需求和個(gè)人習(xí)慣有關(guān)。一旦業(yè)務(wù)需求或者人員發(fā)生變動(dòng)，就需要重新進(jìn)行報(bào)表開(kāi)發(fā)，即使以往有類(lèi)似的需求，報(bào)表也很難復(fù)用，這就造成嚴(yán)重的報(bào)表堆疊。

近年來(lái)，大量互聯(lián)網(wǎng)公司都在不斷使用更多的 SaaS 服務(wù)，而這些 SaaS 服務(wù)背后所產(chǎn)生的數(shù)據(jù)割裂在不同的云和 SaaS 產(chǎn)品之間。在這樣的情況下，已無(wú)法使用以往的方式把數(shù)據(jù)匯集起來(lái)，進(jìn)行建模，再制成報(bào)表給到業(yè)務(wù)人員，而需要更加敏捷的方式，為業(yè)務(wù)人員提供數(shù)據(jù)分析和決策的能力。

數(shù)據(jù)的基礎(chǔ)架構(gòu)、數(shù)據(jù)的使用對(duì)象、數(shù)據(jù)的消費(fèi)方式都發(fā)生了變化。InfoQ 也于近日采訪 Kyligence，一起聊了聊行業(yè)中的最新洞察與實(shí)踐。在采訪中，公司聯(lián)合創(chuàng)始人兼 CEO 韓卿認(rèn)為，當(dāng)今已進(jìn)入 SaaS 時(shí)代，面對(duì) SaaS 時(shí)代帶來(lái)的數(shù)據(jù)割裂及傳統(tǒng)數(shù)據(jù)分析方式難以適用等諸多問(wèn)題，就需要用 SaaS 的方式去解決。

一站式云端指標(biāo)中臺(tái)的技術(shù)架構(gòu)

現(xiàn)代管理學(xué)之?彼得·德魯克有?句?常經(jīng)典的話：“What gets measured gets done”，意思是只有?個(gè)事情能被量化，才能夠被解決。數(shù)據(jù)分析的目標(biāo)就是找到能夠量化業(yè)務(wù)的關(guān)鍵指標(biāo)，從中進(jìn)行洞察，并做出決策。

指標(biāo)中臺(tái)的出現(xiàn)正是為了達(dá)成這一目標(biāo)。

對(duì)于指標(biāo)中臺(tái)，來(lái)自領(lǐng)先的市場(chǎng)研究和咨詢機(jī)構(gòu) Ventana Research 的 David Menninger 給出定義，指標(biāo)中臺(tái)是一個(gè)指標(biāo)的倉(cāng)庫(kù)，存儲(chǔ)了我們之前提到的各項(xiàng)規(guī)則，定義了如何進(jìn)行計(jì)算以及對(duì)齊了與指標(biāo)相關(guān)的各項(xiàng)目標(biāo)。

在指標(biāo)中臺(tái)里，“指標(biāo)”成為數(shù)據(jù)和業(yè)務(wù)交互的主體，通過(guò)對(duì)“指標(biāo)”的標(biāo)準(zhǔn)化，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)開(kāi)發(fā)和管理的標(biāo)準(zhǔn)化，有效衡量業(yè)務(wù)經(jīng)營(yíng)和發(fā)展情況。通過(guò)指標(biāo)中臺(tái)降低數(shù)據(jù)使用門(mén)檻，有效推動(dòng)數(shù)據(jù)賦能一線業(yè)務(wù)，從而推進(jìn)企業(yè)的數(shù)字化經(jīng)營(yíng)。

指標(biāo)中臺(tái)產(chǎn)品陸續(xù)面世，產(chǎn)品均以實(shí)現(xiàn) OLAP 下的數(shù)據(jù)治理，減少計(jì)算邏輯和數(shù)據(jù)邏輯的重復(fù)為目標(biāo)，但最終將走向何方，還需要進(jìn)一步探索與實(shí)踐。Kyligence 也于近日宣布推出了一站式云端指標(biāo)中臺(tái) Kyligence Zen。據(jù)了解，Kyligence Zen 是處于數(shù)據(jù)層和應(yīng)用層之間的指標(biāo)中臺(tái)，可以統(tǒng)一管理所有業(yè)務(wù)指標(biāo)，自動(dòng)完成數(shù)據(jù)加工、指標(biāo)計(jì)算等過(guò)程，企業(yè)可以在不同應(yīng)用中實(shí)現(xiàn)指標(biāo)的復(fù)用，形成以指標(biāo)為核心的共同語(yǔ)言，提高協(xié)同管理的效率。

Kyligence Zen 的本質(zhì)其實(shí)是一款基于 Kyligence OLAP 能力打造的 SaaS 產(chǎn)品。用韓卿的話來(lái)說(shuō)，SaaS 時(shí)代就需要? SaaS 的?式解決數(shù)據(jù)分析面臨的挑戰(zhàn)。作為一款 SaaS 產(chǎn)品，Kyligence Zen 致力于把數(shù)據(jù)指標(biāo)化，把指標(biāo)智能化。相比于 BI 來(lái)說(shuō)，Kyligence Zen 指標(biāo)中臺(tái)以更簡(jiǎn)單的方式，使業(yè)務(wù)人員能夠更加個(gè)性化、自動(dòng)化的使用好指標(biāo)，并通過(guò)提供合適的指標(biāo)模版，快速建立自己的指標(biāo)體系。

隨著云時(shí)代的到來(lái)，大量測(cè)試、開(kāi)發(fā)、應(yīng)用全都部署在了云上。據(jù) Flexera 2020 State of the Cloud Report 統(tǒng)計(jì)，應(yīng)用部署到云上之后將近 30%-35% 的資源被浪費(fèi)。初創(chuàng)公司 Milkie Way 在對(duì) Firebase 和 Cloud Run 進(jìn)行內(nèi)部測(cè)試期間，一不小心在幾個(gè)小時(shí)里就在云上燒掉了 72,000 美元，差點(diǎn)導(dǎo)致這家公司破產(chǎn)。如果沒(méi)有一個(gè)好的云端的費(fèi)用的管控，成本方面就會(huì)形成一個(gè)巨大的黑洞。

通過(guò) Kyligence Zen 可以幫助企業(yè)從事前規(guī)劃、事中監(jiān)控、事后評(píng)估三個(gè)階段實(shí)現(xiàn)云成本管控。事前基于用途進(jìn)行云資源規(guī)劃，事中對(duì)所有云資源的使用情況進(jìn)行持續(xù)監(jiān)控，事后基于云賬單建立指標(biāo)體系，定期對(duì)指標(biāo)進(jìn)行管理和分析，幫助合理管控云成本。

Zoom 公司在 2021 年一季度的財(cái)報(bào)中稱，其毛利率從前一季度的 69.4% 上升至 73.9%，這主要是由于其在公共云資源的優(yōu)化上下了很大功夫。Spotify 自研了追蹤云計(jì)算開(kāi)支的工具，同時(shí)鼓勵(lì)工程師們掌握云計(jì)算支出的所有權(quán)，使其每年節(jié)省了幾百萬(wàn)美元的云計(jì)算開(kāi)支。在企業(yè)全面上云的浪潮之中，Kyligence Zen 指標(biāo)中臺(tái)很好地解決云成本管控場(chǎng)景中的挑戰(zhàn)，幫助企業(yè)內(nèi)部建立可觀測(cè)的管理系統(tǒng)，對(duì)齊所有團(tuán)隊(duì)的運(yùn)營(yíng)過(guò)程。

全球視角下看指標(biāo)中臺(tái)

在海外，近年來(lái)有關(guān)現(xiàn)代化數(shù)據(jù)堆棧的談?wù)摮掷m(xù)掀起熱浪。從更廣闊的視角來(lái)看，指標(biāo)中臺(tái)其實(shí)就是現(xiàn)代化數(shù)據(jù)堆棧中一個(gè)非常重要的組成部分，在 Gartner 最新發(fā)布的 《指標(biāo)中臺(tái)創(chuàng)新洞察報(bào)告》(Innovation Insight: Metrics Stores) 中也證實(shí)了這一點(diǎn)，同時(shí)該報(bào)告將 Kyligence 列為指標(biāo)中臺(tái)的代表廠商。

現(xiàn)代數(shù)據(jù)堆棧技術(shù)是基于云原生數(shù)據(jù)平臺(tái)的技術(shù)集合，用于降低運(yùn)行傳統(tǒng)數(shù)據(jù)平臺(tái)的復(fù)雜性。在現(xiàn)代數(shù)據(jù)堆棧中，為什么需要指標(biāo)中臺(tái)呢？核心原因是現(xiàn)代的企業(yè)使用數(shù)據(jù)的場(chǎng)景加更多元，數(shù)據(jù)驅(qū)動(dòng)已經(jīng)涉及到了企業(yè)運(yùn)用的各個(gè)方面，如果沒(méi)有統(tǒng)一的指標(biāo)中臺(tái)，就會(huì)造成每個(gè)使用數(shù)據(jù)的下游都有自己的指標(biāo)技術(shù)邏輯，利用數(shù)據(jù)進(jìn)行決策時(shí)數(shù)據(jù)的不統(tǒng)一。

從現(xiàn)代化數(shù)據(jù)堆棧的維度，Kyligence Zen 指標(biāo)中臺(tái)更多地關(guān)注到了業(yè)務(wù)和管理，而非技術(shù)本身，更多關(guān)注到服務(wù)業(yè)務(wù)的用戶，而不是服務(wù) IT 或者底層的工程師。據(jù)韓卿介紹，Kyligence 指標(biāo)中臺(tái)曾幫助某股份制銀行管理了超過(guò) 1.4 萬(wàn)多指標(biāo)，成為他們非常核心的運(yùn)營(yíng)決策體系。他說(shuō)：“我們希望 Kyligence Zen 能夠成為數(shù)字化轉(zhuǎn)型的重要平臺(tái)，幫助客戶構(gòu)建整個(gè)數(shù)字化智慧體系。一個(gè)公司，沒(méi)有度量就沒(méi)有管理，而度量的核心就是指標(biāo)，因此，Kyligence Zen 目標(biāo)管理會(huì)更加偏重管理性的能力。”

從產(chǎn)品角度來(lái)看，韓卿表示，Kyligence Zen 未來(lái)將朝著更簡(jiǎn)化、更智能、成本更優(yōu)化的方面不斷改進(jìn)。隨著 AI 增強(qiáng)技術(shù)的演進(jìn)，Kyligence 將通過(guò)更多 AI 能力的融合，給用戶更多的智能的推薦，從而降低人力成本，幫助用戶從數(shù)據(jù)中發(fā)現(xiàn)更多未知且有價(jià)值的洞察。

從行業(yè)趨勢(shì)與價(jià)值來(lái)看，隨著數(shù)字化轉(zhuǎn)型的深入，業(yè)務(wù)人員將需要更加主動(dòng)、自主的使用數(shù)據(jù)，管理指標(biāo)。SaaS 產(chǎn)品本身方便、易用的特點(diǎn)適應(yīng)時(shí)代的需求，而指標(biāo)中臺(tái)所提供的數(shù)據(jù)分析和決策能力，為企業(yè)管理、經(jīng)營(yíng)，更好的數(shù)字化轉(zhuǎn)型提供新的方式和可能，有望引領(lǐng)數(shù)智時(shí)代新一輪數(shù)據(jù)分析的浪潮。