淺談大數據的核心：云技術和BI

---

關于大數據和云計算的關系人們通常會有誤解。而且也會把它們混起來說，分別做一句話直白解釋就是：云計算就是硬件資源的虛擬化；大數據就是海量數據的高效處理。如果做一個更形象的解釋，云計算相當于我們的計算機和操作系統，將大量的硬件資源虛擬化之后再進行分配使用；大數據則相當于海量數據的“數據庫”。

 整體來看，未來的趨勢是，云計算作為計算資源的底層，支撐著上層的大數據處理，而大數據的發展趨勢是，實時交互式的查詢效率和分析能力，當前的大數據處理一直在向著近似于傳統數據庫體驗的方向發展。

大數據的4V特性，即類型復雜、海量、快速和價值，其總體架構包括三層，數據存儲、數據處理和數據分析。類型復雜和海量由數據存儲層解決，快速和時效性要求由數據處理層解決，價值由數據分析層解決。數據先要通過存儲層存儲下來，然后根據數據需求和目標來建立相應的數據模型和數據分析指標體系對數據進行分析產生價值。而中間的時效性又通過中間數據處理層提供的強大的并行計算和分布式計算能力來完成。三層相互配合，讓大數據最終產生價值。

數據存儲層

數據有很多分法，有結構化、半結構化、非結構化；也有元數據、主數據、業務數據；還可以分為GIS、視頻、文件、語音、業務交易類各種數據。傳統的結構化數據庫已經無法滿足數據多樣性的存儲要求，因此在RDBMS基礎上增加了兩種類型，一種是hdfs可以直接應用于非結構化文件存儲，一種是nosql類數據庫，可以應用于結構化和半結構化數據存儲。

從存儲層的搭建來說，關系型數據庫、NoSQL數據庫和hdfs分布式文件系統三種存儲方式都需要。業務應用根據實際的情況選擇不同的存儲模式，但是為了業務的存儲和讀取方便性，我們可以對存儲層進一步的封裝，形成一個統一的共享存儲服務層，簡化這種操作。從用戶來講并不關心底層存儲細節，只關心數據的存儲和讀取的方便性，通過共享數據存儲層可以實現在存儲上的應用和存儲基礎設置的徹底解耦。

數據處理層

 數據處理層核心解決問題在于數據存儲出現分布式后帶來的數據處理上的復雜度，海量存儲后帶來了數據處理上的時效性要求，這些都是數據處理層要解決的問題。

在傳統的云相關技術架構上，可以將hive，pig和hadoop-mapreduce框架相關的技術內容全部劃入到數據處理層的能力。原來我思考的是將hive劃入到數據分析層能力不合適，因為hive重點還是在真正處理下的復雜查詢的拆分、查詢結果的重新聚合，而mapreduce本身又實現真正的分布式處理能力。

mapreduce只是實現了一個分布式計算的框架和邏輯，而真正的分析需求的拆分、分析結果的匯總和合并還是需要hive層的能力整合。最終的目的很簡單，即支持分布式架構下的時效性要求。

數據分析層

最后回到分析層，分析層重點是真正挖掘大數據的價值所在，而價值的挖掘核心又在于數據分析和挖掘。那么數據分析層核心仍然在于傳統的BI分析的內容。包括數據的維度分析、數據的切片、數據的上鉆和下鉆、cube等。

數據分析我只關注兩個內容，一個就是傳統數據倉庫下的數據建模，在該數據模型下需要支持上面各種分析方法和分析策略；其次是根據業務目標和業務需求建立的KPI指標體系，對應指標體系的分析模型和分析方法。解決這兩個問題基本解決數據分析的問題。

傳統的BI分析通過大量的ETL數據抽取和集中化，形成一個完整的數據倉庫，而基于大數據的BI分析，可能并沒有一個集中化的數據倉庫，或者將數據倉庫本身也是分布式的了，BI分析的基本方法和思路并沒有變化，但是落地到執行的數據存儲和數據處理方法卻發生了大變化。

談了這么多，核心還是想說明大數據兩大核心為云技術和BI，離開云技術大數據沒有根基和落地可能，離開BI和價值，大數據又變化為舍本逐末，丟棄關鍵目標。簡單總結就是大數據目標驅動是BI，大數據實施落地式云技術。

---

慧都大數據團隊將大數據總體架構進行了更細致明確的解讀，并提供自主研發的大數據平臺，實現ETL、數據管理及存儲、數據建模。如下圖所示：

---

關于慧都大數據分析平臺

慧都大數據分析平臺「GetInsight®」升級發布，將基于企業管理駕駛艙、產品質量分析及預測、設備分析及預測等大數據模型的構建，助力企業由傳統運營模式向數字化、智能化的新模式轉型升級，抓住數據經濟的發展勢頭，提供管理效能，精準布局未來。了解更多，請聯系。

慧都大數據專業團隊為企業提供商業智能大數據平臺搭建，免費業務咨詢，定制開發等完整服務，快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。

 歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業的大數據團隊，為您提供免費大數據相關業務咨詢！