近年來，隨著企業數字化轉型進入深水區，數據類型以及分析場景呈現多樣化、多元化態勢。為滿足多樣化的數據分析需求，企業數據平臺架構也在持續演進。在此背景下，湖倉一體概念應時而生，越來越多的大型企業將湖倉一體視為數字化轉型的重要契機，使得湖倉一體受到前所未有的關注。

不過，關注度越高，嘈雜聲也會越多。要理解什么是真正的湖倉一體，需要對技術背景及其數據倉庫、數據湖的演進歷程有清晰的認知。本文將對數據倉庫和數據湖的發展脈絡進行深入剖析，闡述兩者融合演進的新方向——湖倉一體，希望為企業構建湖倉一體架構提供有價值的指引。

數據倉庫與數據湖的發展歷程與挑戰

數據倉庫誕生于1990年，數據倉庫之父Bill Inmon率先提出數據倉庫的概念，它是一個面向主題的、集成的、相對穩定的、反映歷史變化的數據集合，主要用于支持管理決策和信息的全局共享。概言之，數據倉庫的作用在于存儲大量的結構化數據，為管理分析和業務決策提供統一的數據支持，雖然存取過程相對比較繁瑣，對數據類型有一定限制，但在那個年代，數據倉庫的功能性已經夠用了，所以一直到2010年前后，數據倉庫占據市場的主流地位。

到了互聯網時代，企業數據量呈現爆發式增長，具有高多樣性、高速度和高容量的非結構化數據大量涌現，且企業對于數據處理的實時性和易用性也有了更高的要求。但傳統數據倉庫已無法支撐起互聯網時代的商業智能，且數據存儲也帶來成本的激增。隨著Hadoop與對象存儲的技術成熟，數據湖概念隨之而來。

相較于數據倉庫，數據湖是一種不斷演進中、可擴展的大數據存儲、處理、分析的基礎設施。它就像一個大型倉庫，可以存儲任意形式（包括結構化和非結構化）和任意格式（包括文本、音頻、視頻和圖像）的原始數據，它的靈活度和自由度更高，存儲成本也更為廉價，更加適合對異構數據的價值挖掘。

數據湖的優勢很明顯，問題也很突出：數據湖架構太過靈活而缺少對數據監管、控制和必要的治理手段，導致運維成本不斷增加、數據治理效率降低，企業易陷入“數據沼澤”的困境。同時它也不支持事務管理，不保證數據質量，并缺乏一致性/隔離性，從而幾乎無法實現混合追加和讀取數據，以及完成批量處理和流式作業。

那么，有沒有一種新架構，能同時兼顧數據湖的靈活性和數據倉庫的成長性？答案是肯定的！湖倉一體架構就在不斷地演進和迭代中橫空出世。

湖倉一體：下一代大數據平臺

依據DataBricks公司對湖倉一體的定義，湖倉一體是一種結合了數據湖和數據倉庫優勢的新范式，在用于數據湖的低成本存儲上，實現與數據倉庫中類似的數據結構和數據管理功能。湖倉一體的英文名叫“Lakehouse”，有人把“湖倉一體”做了形象的比喻，就好像湖邊搭建了很多小房子，有的負責數據分析，有的運轉機器學習，有的檢索音視頻等，而這些數據源流，都可以從數據湖里輕松取得。

Gartner認為，湖倉一體是將數據湖的靈活性和數倉的易用性、規范性、高性能結合起來的融合架構，無數據孤島。

需要注意的是，湖倉一體并不等同于“數據湖+數據倉庫”，這是一個想當然的錯誤，目前不少企業走了彎路，同時搭建數據倉庫、數據湖兩種存儲架構，一個大的數據倉庫拖著多個小的數據湖，這并不意味著這家企業擁有了湖倉一體的能力，湖倉一體絕不等同于數據湖和數據倉簡單打通，反而會出現架構冗余和重復建設等問題。

科杰科技湖倉一體的探索和實踐

作為自主可控數據基礎軟件主要玩家，科杰科技憑借著領先的大數據產品和最佳實踐助力大型組織完成自主可控能力建設，并在能源、金融、零售等行業打造了一批標桿案例，形成了深厚的行業積淀和技術積累。基于對湖倉一體的深刻洞察，依托多業態復雜場景最佳實踐方法論，科杰科技構建了企業級湖倉一體數據智能平臺（KeenData Lakehouse）。

KeenData Lakehouse采用新一代湖倉一體架構，新架構在數據倉庫高性能與管理能力基礎之上融合了數據湖的靈活特性，具備數據湖開放文件存儲靈活性的同時兼具數據倉庫的使用效率，基于科杰科技KeenData Lakehouse 產品全面建設企業數據底座能力，可以支持企業未來5-10年大數據和AI項目的協同開展。

在平臺能力方面，KeenData Lakehouse以DataOps方法論和工具體系為支撐，幫助企業打通業務數據化，數據賦能業務的生命周期，建設全域數據資產，實現數據統一、標準化、資產化，將數據的設計、部署、管理和交付自動化，大幅度簡化組織處理數據、管理數據與應用數據的難度，讓數據高效的發揮價值，實現體系化數據開放賦能與規模化的數據智能落地。

好的基礎架構設計能夠讓項目快速落地，并支持現有系統上快速開發新功能、引入新數據的能力。屹立于行業之巔，科杰科技數據底座產品從以下幾個維度打造產品的卓越性：

存算分離：匯聚整合多源多態數據，減少數據遷移工作從而確保數據的可靠性、一致性和實時性；支持豐富的計算引擎；更優秀的數據管理能力，更高效的查詢性能。

ACID與事務性：具備完整的ACID特性，提升事務性處理能力。

批流一體：支持批處理和實時計算；可以使用批處理分析數據流；提供批處理、流處理的聯動和轉換。

數據編織：支持在混合云和多云環境中動態管理不同的數據源，以提供高質量的數據來支持應用程序、分析和業務流程自動化。

一站式全流程：統一數據資源、統一開發流程、統一智能調度。

DataOps：數據運營一體化，數據工程、數據集成、數據安全和數據質量全過程自動托管運維，實現“持續集成、持續開發、持續運營”。

無論是技術迭代亦是市場需求，湖倉一體大數據平臺已然成為新一代演進方向。科杰科技KeenData Lakehouse已經率先憑借敏銳的市場洞察力，卓越的產品表現打造多個為行業標桿范本，成為大中型企業數字化轉型的明智之選，助力客戶業務創新更敏捷，業務洞察更準確，加速釋放數據價值。