近期,2023年大數(shù)據(jù)產(chǎn)業(yè)發(fā)展大會(huì)——數(shù)據(jù)基礎(chǔ)設(shè)施高質(zhì)量發(fā)展論壇在京隆重召開,在會(huì)上中國(guó)信通院云計(jì)算與大數(shù)據(jù)研究所正式發(fā)布了《湖倉(cāng)一體技術(shù)與產(chǎn)業(yè)研究報(bào)告(2023年)》,作為領(lǐng)先的數(shù)據(jù)基礎(chǔ)軟件提供商,科杰科技憑借著多年深耕數(shù)據(jù)領(lǐng)域的行業(yè)經(jīng)驗(yàn),積極參與報(bào)告的編制工作并提出建議。

本報(bào)告由大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)牽頭,聯(lián)合行業(yè)專家共同編制,聚焦于湖倉(cāng)一體技術(shù),詳細(xì)梳理了數(shù)據(jù)平臺(tái)的發(fā)展歷程、湖倉(cāng)一體實(shí)踐路徑,研究分析了湖倉(cāng)一體的產(chǎn)業(yè)現(xiàn)狀,并對(duì)湖倉(cāng)一體發(fā)展進(jìn)行展望與研判。
湖倉(cāng)一體技術(shù)是當(dāng)前最熱門的數(shù)據(jù)管理話題之一,它具有準(zhǔn)確性、高效性和可靠性等特點(diǎn),以統(tǒng)一管理數(shù)據(jù)資產(chǎn)、降低數(shù)據(jù)冗余、降低大數(shù)據(jù)平臺(tái)架構(gòu)運(yùn)維復(fù)雜性等優(yōu)勢(shì)成為大數(shù)據(jù)平臺(tái)主流架構(gòu)。據(jù)數(shù)字化市場(chǎng)研究咨詢機(jī)構(gòu)愛分析測(cè)算,在2025年,中國(guó)湖倉(cāng)一體軟件市場(chǎng)規(guī)模將達(dá)到百億,并且在2022至2025年這三年期間預(yù)計(jì)復(fù)合增長(zhǎng)率將達(dá)到86%。
湖倉(cāng)一體平臺(tái)軟件具有廣泛的應(yīng)用場(chǎng)景和市場(chǎng)潛力,近兩年主流廠商紛紛推出湖倉(cāng)一體產(chǎn)品與解決方案,主流廠商類型涉及云廠商、數(shù)據(jù)庫(kù)廠商、數(shù)據(jù)倉(cāng)庫(kù)廠商、大數(shù)據(jù)基礎(chǔ)軟件廠商等,根據(jù)愛分析《2022年中國(guó)湖倉(cāng)一體平臺(tái)市場(chǎng)研究報(bào)告》,大數(shù)據(jù)基礎(chǔ)軟件代表廠商科杰科技以11.1%的市場(chǎng)占有率位居行業(yè)第一,這一成績(jī)彰顯了科杰科技在湖倉(cāng)一體平臺(tái)軟件領(lǐng)先地位,同時(shí)也反映了科杰科技湖倉(cāng)一體數(shù)據(jù)智能平臺(tái)KeenData Lakehouse在技術(shù)創(chuàng)新和落地實(shí)踐等方面優(yōu)勢(shì)。
利用大數(shù)據(jù)&AI創(chuàng)新技術(shù)打造數(shù)字化轉(zhuǎn)型基石
湖倉(cāng)一體是一個(gè)復(fù)雜的工程,只有通過合理的設(shè)計(jì)、優(yōu)化和治理才能實(shí)現(xiàn)湖倉(cāng)一體的最佳實(shí)踐。科杰科技湖倉(cāng)一體數(shù)據(jù)智能平臺(tái)KeenData Lakehouse 采用行業(yè)領(lǐng)先的湖倉(cāng)一體架構(gòu),對(duì)數(shù)據(jù)存儲(chǔ)計(jì)算引擎進(jìn)行獨(dú)立研發(fā),產(chǎn)品應(yīng)用了包括Data Fabric、Active Metadata Management、Data Mesh等在內(nèi)的多項(xiàng)領(lǐng)先技術(shù),融合了DataOps和Observability理念。一方面,面向上游提供統(tǒng)一納管能力,兼容數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)等多源異構(gòu)系統(tǒng);另一方面,面向下游提供完善的數(shù)據(jù)基礎(chǔ)能力,基于DataOps理念的數(shù)據(jù)工程體系支持?jǐn)?shù)據(jù)低代碼開發(fā),數(shù)據(jù)治理與數(shù)據(jù)工程融合可實(shí)現(xiàn)主動(dòng)元數(shù)據(jù)探查、基于AI增強(qiáng)的數(shù)據(jù)血緣分析等主動(dòng)實(shí)時(shí)的數(shù)據(jù)治理,以及基于數(shù)據(jù)虛擬化提供智能指標(biāo)、智能標(biāo)簽等數(shù)據(jù)業(yè)務(wù)表達(dá)能力,為企業(yè)提供端到端一站式數(shù)據(jù)底座產(chǎn)品和解決方案。

科杰科技湖倉(cāng)一體數(shù)據(jù)智能平臺(tái)KeenData Lakehous為某世界500強(qiáng)綜合零售企業(yè)規(guī)劃設(shè)計(jì)了未來5-10年的數(shù)據(jù)能力藍(lán)圖,并通過云原生湖倉(cāng)一體數(shù)據(jù)底座,實(shí)現(xiàn)了跨云數(shù)據(jù)集成、統(tǒng)一納管底層基礎(chǔ)設(shè)施、建立數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)管理體系、統(tǒng)一集團(tuán)主數(shù)據(jù)、元數(shù)據(jù)和支持多租戶等重要功能。同時(shí),該平臺(tái)還重構(gòu)了數(shù)據(jù)倉(cāng)庫(kù)體系,構(gòu)建起全域統(tǒng)一的數(shù)據(jù)資源,幫助客戶打通了消費(fèi)者在WEB、APP、小程序、門店系統(tǒng)及各業(yè)務(wù)系統(tǒng)數(shù)據(jù),并進(jìn)行全鏈路數(shù)據(jù)血緣關(guān)系數(shù)據(jù)資產(chǎn)沉淀,形成公司內(nèi)統(tǒng)一的數(shù)據(jù)門戶高效穩(wěn)定地支撐著上層業(yè)務(wù)開展。
此外,該平臺(tái)還實(shí)現(xiàn)了數(shù)據(jù)資產(chǎn)服務(wù)化運(yùn)營(yíng),實(shí)現(xiàn)了組織規(guī)模化數(shù)據(jù)協(xié)作,提升了大規(guī)模項(xiàng)目開發(fā)能力。通過高度可視化的功能,業(yè)務(wù)和運(yùn)營(yíng)人員可以自助分析和分發(fā)業(yè)務(wù)數(shù)據(jù),從而極大地提升了數(shù)據(jù)在企業(yè)內(nèi)的流轉(zhuǎn)和使用效率。
KeenData Lakehouse成為首批通過云原生湖倉(cāng)一體測(cè)評(píng)的平臺(tái)
為了進(jìn)一步規(guī)范湖倉(cāng)一體技術(shù)能力體系,中國(guó)信通院云計(jì)算與大數(shù)據(jù)研究所聯(lián)合了行業(yè)領(lǐng)先企業(yè),包括阿里云、騰訊云以及科杰科技等,共同制定并完成了《湖倉(cāng)一體數(shù)據(jù)平臺(tái)技術(shù)要求》。該標(biāo)準(zhǔn)旨在幫助大數(shù)據(jù)產(chǎn)品供應(yīng)商和用戶方評(píng)估湖倉(cāng)一體數(shù)據(jù)平臺(tái)的技術(shù)能力和研發(fā)方向,并涵蓋了湖倉(cāng)一體數(shù)據(jù)平臺(tái)所具備的五個(gè)關(guān)鍵能力域,分別是湖倉(cāng)數(shù)據(jù)集成、湖倉(cāng)存儲(chǔ)、湖倉(cāng)計(jì)算、湖倉(cāng)數(shù)據(jù)治理以及其他能力。另外值得一提的是,科杰科技成為了首批通過中國(guó)信通院云原生湖倉(cāng)一體測(cè)評(píng)的公司之一。
在數(shù)字經(jīng)濟(jì)時(shí)代,湖倉(cāng)一體技術(shù)將發(fā)揮更加重要的作用,為企業(yè)數(shù)字化轉(zhuǎn)型和創(chuàng)新發(fā)展賦能。未來,科杰科技將持續(xù)創(chuàng)新產(chǎn)品和服務(wù),并與客戶一起開拓?cái)?shù)字化美好未來。