Hadoop教程：Smartbi在Hadoop大數據分析中的應用

---

大數據是目前最熱門的話題，雖然不少廠商宣稱推出了大數據的產品，但在實際應用中，Hadoop已經成為大數據處理的事實標準，Facebook、百度、阿里等互聯網企業無一不采用Hadoop。即便是商業數據庫公司，如IBM、Oracle、SAP、Teradata、甚至Microsoft等都采用了Hadoop。國產數據庫廠商的人大金倉在大數據方解決案中也整合了Hadoop產品。

Hadoop之所以這么受歡迎，源于其良好的系統架構，使其能夠以很低的成本、高效率、可靠的存儲和處理千兆字節（PB）數據。Hive是構建在Hadoop的數據倉庫平臺，用于存儲和處理海量結構化數據。它把海量數據存儲于Hadoop文件系統，而不是數據庫，但提供了一套類數據庫的數據存儲和處理機制，并采用 HQL （類 SQL ）語言對這些數據進行自動化管理和處理。我們可以把 Hive中海量結構化數據看成一個個的表，而實際上這些數據是分布式存儲在 HDFS 中的。Hive 經過對語句進行解析和轉換，最終生成一系列基于Hadoop的map/reduce 任務，通過執行這些任務完成數據處理。

傳統上商業智能BI平臺或報表平臺是基于關系數據庫搭建的，即便數據倉庫使用了Hadoop，也是將Hadoop作為計算工具，將計算結果寫入Oracle、DB2等數據庫中，供BI軟件查詢。事實上，隨著Hadoop/Hive產業鏈的成熟，BI工具可以通過JDBC等方式，直接連接Hive查詢數據。這樣，除了專業的IT工程師，眾多普通用戶也能體驗到Hadoop的魅力。

Smartbi作為國內領先的BI平臺，能夠很好的支持Hadoop/Hive產品。Smartbi結合Hadoop/Hive在電信行業中已經取得了成功的應用案例。

下面介紹如何使用Smartbi連接Hadoop/Hive查詢數據。

1.首先安裝好系統環境，示例為Ubuntu 12.04/JDK7/Hadoop-1.2.1/Hive-0.11.0，并裝載數據。然后啟動Hive服務。

2.將下列Hive JDBC驅動等文件拷貝到Smartbi的Lib目錄下（.\smartbi\WEB-INF\lib）。

3.啟動Smartbi，在系統管理中建立Hadopp的JDBC連接，驅動程序類為：org.apache.hadoop.hive.jdbc.HiveDriver，連接串為jdbc:hive://ip:port/default。測試連接通過后保存。

4.在Smartbi數據集定義功能中編寫Hive SQL語句。

5.點擊“預覽”按鈕，查看查詢結果。

6.在Smartbi中展現Hive的報表。

來源：中國大數據