什么是數據倉庫

數據倉庫是信息（對其進行分析可做出更明智的決策）的中央存儲庫。通常，數據定期從事務系統、關系數據庫和其他來源流入數據倉庫。業務分析師、數據工程師、數據科學家和決策者通過商業智能（BI）工具、SQL 客戶端和其他分析應用程序訪問數據。

數據和分析已然成為各大企業保持競爭力所不可或缺的部分。企業用戶依靠報告、控制面板和分析工具從其數據中獲得洞察力、監控企業績效以及更明智地決策。數據倉庫通過高效地存儲數據以便最大限度地減少數據輸入和輸出（I/O），并快速地同時向成千上萬的用戶提供查詢結果，為這些報告、控制面板和分析工具 由數據倉庫提供支持。

如何架構數據倉庫

數據倉庫的架構包含多個層。頂層是通過報告、分析和數據挖掘工具呈現結果的前端客戶端。中間層包括用于訪問和分析數據的分析引擎。架構的底層是加載和存儲數據的數據庫服務器。數據使用兩種不同類型的方式存儲：1）經常訪問的數據存儲在最快的存儲裝置中（例如，SSD 驅動器），2）不經常訪問的數據存儲在便宜的對象存儲區中，數據倉庫將自動確保經常訪問的數據被移進“快速”存儲以便優化查詢速度。

ETL的作用

數據倉庫接收的數據源是不同的，要做到有效集成，需要抽取、轉換、加載三個步驟，也就是ETL（Extract-Transform-Load）。

• Extract：數據抽取，就是把數據從數據源讀出來
• Transform：數據轉換，就是把數據轉換為特定的格式
• Load：數據加載，把處理后的數據加載到目標處。

使用數據倉庫有哪些優勢

數據倉庫的優勢包括：

• 知情地做出決定
• 整合多個來源的數據
• 歷史數據分析
• 數據質量高、一致且準確
• 將分析處理從事務數據庫中分離出來，從而提高兩個系統的性能

數據倉庫、數據庫和數據湖如何一起工作

通常，企業使用數據庫、數據湖和數據倉庫的組合來存儲和分析數據。

 數據倉庫是專門為數據分析設計的，涉及讀取大量數據以了解數據之間的關系和趨勢。數據庫用于捕獲和存儲數據，例如記錄事務的詳細信息。

與數據倉庫不同，數據湖是所有數據（包括結構化、半結構化和非結構化數據）的中央存儲庫。數據倉庫要求數據使用表格形式進行整理，Schema 通過它發揮作用。需要采用表格形式以便使用 SQL 來查詢數據。但是，并非所有應用程序都要求數據為表格形式。有些應用程序，例如大數據分析、完整文本搜索和機器學習，即使是對于“半結構化”或完全非結構化的數據，也能夠進行訪問。

數據倉庫與數據湖的對比

數據倉庫與數據庫的對比

數據集市與數據倉庫

數據集市是一種數據倉庫，用于滿足特定團隊或業務部門（例如財務、營銷或銷售）的需求。它更小、更集中，并且可能包含最適合其用戶社區的數據匯總。數據集市也可以是數據倉庫的一部分。

數據倉庫與數據集市的對比

主流的數據倉庫

國內最常用的是一款基于Hadoop的開源數據倉庫，名為Hive，它可以對存儲在HDFS的文件數據進行查詢、分析。

Hive對外可以提供HiveQL，這是類似于SQL語言的一種查詢語言。在查詢時可以將HiveQL語句轉換為MapReduce任務，在Hadoop層進行執行。

Hive的最大優勢在于免費，那其他知名的商業數據倉庫有那些呢？比如Oracle，DB2，Teradata。這里就不多加贅述，感興趣的朋友可以，或在文章下方留言共同交流。

關于慧都數倉建模大師

跨行業數據挖掘流程

基于企業的業務目標，進行數據理解、數據準備、數據建模，最后進行評價和部署，真正實現數據驅動業務決策。更多詳情，請。