企業的數據應用需求在不斷轉變,傳統的“湖倉分離”模式,一定程度上實現了功能的互相補充,但難于滿足企業在數據運營、價值挖掘、運維等方面的更高需求。湖倉一體作為一種新型的開放式架構,結合了數據倉庫和數據湖的優勢,可以有效提升企業海量數據、實時數據、多模數據的數據處理能力,增強實時業務處理以及非結構化數據的治理能力,讓企業具備更加完善的數據管理能力。正因如此,對于高速增長的企業來說,選擇湖倉一體架構已經成為不可逆轉的趨勢。
在此背景下,中國信通院聚集供需兩側的近十家代表性企業,于近日召開了《湖倉一體》研討會。科杰科技作為國內湖倉一體領域領跑者,在湖倉一體、多架構統一納管、多模數據處理、DataOps、Data?Fabric、Active?Metadata?Management、Data?Mesh等技術有多年的技術沉淀,受邀出席研討會并進行分享,科杰科技CTO高經郡圍繞著《KeenData Lakehouse 湖倉一體技術最佳實踐》進行主題分享。

企業數據架構發展趨勢
企業自建大數據平臺以及第三方云數倉對象存儲,這些架構可以滿足當前應用場景需要。如何既解決不同數據庫的數據統一構建,又能考量到之前建設成果的復用,是橫跨在現階段企業數字化轉型升級的統一難題。湖倉一體架構可以有效解決不同數據庫的數據統一納管,同時又可以將之前的建設成果的進行復用,幫助企業打通業務數據化,數據賦能業務的價值閉環。
首先,不提倡全部企業都選擇構建湖倉一體替代原有數據倉庫和數據湖;這是因為湖倉一體架構雖然能完成統一的數據存儲、加工計算和面向應用端的供給,但是Lakehouse它不是一個全新架構的替代性產品,無法解決企業進行架構升級帶來的數據遷移的巨大成本和原有架構效能持續發揮,所以并不提倡以新的引擎徹底換掉現有的Data Warehouse 或 Data Lake。
其次,企業要接受數據源在一定程度上的分散和割裂,通過多架構融合納管來實現邏輯層面的統一;即使在數字化轉型比較領先的行業,也會面臨著云上數據倉庫和數據平臺整合或者第三方數據的現狀問題。企業如果要進行新引擎的搭建,要選擇技術領先的Lakehouse引擎,同時接受多物理數據,用邏輯的方式把它進行統一,建立邏輯統一數據倉庫,通過產品化的方式提供 Data Virtualization 的能力完成數據業務化表達、數據組織和數據共享。
KeenData?Lakehouse技術實踐
科杰科技湖倉一體數據智能平臺KeenData Lakehouse在設計上采用領先的湖倉一體技術架構,充分融合數據湖和數據倉庫各自優勢,實現一套數據、一套任務在湖和倉之上無縫調度和管理。科杰科技將技術與復雜業務場景相融合,以高度產品化的能力為大型企業數字化轉型提供大數據底座能力。

湖倉一體數據智能平臺KeenData Lakehouse擁有大數據技術工程和AI基礎設施能力、全域數據資產管理與運營能力以及組織性數據共享與規模化協作能力,整體設計在存算分離、湖倉一體、批流一體領先技術架構基礎之上,是持續集成、持續開發、持續運營DataOps方法論的最佳實踐,并以高度產品化的能力,打造一站式全鏈路可視化的大數據底座解決方案。覆蓋數據全生命周期,在貫穿全流程工程化能力的同時提供全局統一數據標準、數據質量、主數據管理、元數據管理以及數據安全的全方面數據治理能力,?是數據治理與數據工程相融合的增強型大數據平臺產品,?提供一站式數據源到數據洞察分析能力,為企業數字化轉型提供數據底座能力。
國產大數據技術引領信創成果
會上,與會嘉賓圍繞信創當下發展,以及企業在推進信創過程中所遇見的困難和挑戰進行討論。作為國內領先的數據基礎軟件構建商,科杰科技積極擁抱信創生態,打造國產化信創大數據解決方案,與華為、麒麟、飛騰、人大金倉等信創企業建立合作關系,共建信創生態圈,先后加入工信部信創工委會、北京信創工委會,通過華為鯤鵬芯片、鯤鵬云、鯤鵬技術棧認證,科杰科技大數據基礎軟件平臺入選國家信創工委會信創技術圖譜,申請大數據相關領域軟著及專利130余項,支持市面主流公有云、私有云、混合云廠商平臺,支持X86、ARM、MIPS架構體系,支持CDH、HDP、Hadoop等存儲引擎。
科杰科技積極參與《企業數智化能力成熟度模型(EDMM)》、DataOps的討論及標準制定工作;首批通過中國信通院云原生數據湖能力評測以及云原生湖倉一體評測,兼容國內主流信創廠商產品,滿足企業信創辦公需求,自主創新、安全穩定。
憑借領先的技術能力、完善的數據底座產品矩陣以及豐富的落地經驗,科杰科技服務范圍輻射國內以及亞太地區,覆蓋金融、工業、能源、汽車、零售等多個行業頭部客戶,打造了中國聯通、中國石化、中國一汽、國家電網、中國人壽、中國航天、三一重工、永旺集團、上汽集團、泰康、吉利汽車、海螺新材、中金公司等典型的最佳數字化實踐,助力其構建大型組織的數據能力。未來,科杰科技將持續聚焦湖倉一體技術,打磨數據底座產品矩陣,把技術與復雜業務場景相融合,以高度產品化的能力為大型企業數字化轉型提供大數據底座能力,賦能企業數字化轉型發展。