Hadoop教程：Hadoop企業級應用新添重磅案例

---

當下大數據之熱使得技術界對Hadoop的話題熱火朝天。但在日常工作中，企業往往還是遵循既有模式，對于Hadoop到底能否真正幫到企業的應用依然心存顧慮。Hadoop是不是很年輕？這個開源的事物能否符合公司業務級的嚴謹要求？有沒有企業真的應用過？一系列問題縈繞人們心頭。這可以理解，畢竟任何一個新生事物出來都要有一個接受過程 。

對于Hadoop，其實這些都不是問題。專業人士都知道，Hadoop到現在已有15個年頭，這對于一個實用技術的穩定發展已足夠長久。 事實上，雖然“大數據”一詞才出來二三年，但它實際指稱的海量的、多類型的數據現象早就有了，不但在互聯網領域，更在工業、商業、通信、金融、傳媒等存在久遠。比如，生產線上巨量傳感器數據的接收分析、通信系統全程全網的實時日志文件采集與分析、醫療系統密集數據采集與分析從而幫助快速的科學診斷……所有這些都需要新型的數據處理技術來支撐。Hadoop在這些領域突顯了強大競爭力，并在國內外的相關實踐中獲得廣泛應用。

在Hadoop還是開源的時候， 眾多非 IT 型企業不具備自我開發條件，由此限制了Hadoop在企業里的普及。但隨著專注于企業級市場的Hadoop發行版的技術公司出現，這個問題迎刃而解。從此， 各類型企業終于可以安心駕馭真正的企業化“大數據浪潮”了。

在中國，廣電系統正經歷著數字化浪潮的沖擊，基于網絡化的影視播放給傳統廣電運營商很大挑戰。 在此背景下，廣電系統的生力軍華數傳媒敏銳地意識到，要想獲得未來網絡化傳媒的生存與競爭優勢，現在就必需向用戶傾斜，以適應未來發展的數據基礎架構為依托，才能打造“精準型”廣電內容及傳播運營商。

2013年，華數傳媒的大數據系統完成了從無到有的基礎建設，實現了基本應用。然而，華數大數據仍面臨很多挑戰：數據量增加帶來的服務性能壓力、數據分析無法滿足高時效性業務、業務支撐功能無法滿足復雜的商用需求、對網絡和服務器質量等數據分析仍為空白、等等。為此，華數傳媒亟需解決方案以解決如下幾個問題：

1. 數據采集、存儲和轉發。通過大數據技術滿足海量、多來源、多樣性數據的存儲、管理要求，支持平臺硬件的線性擴展，并提供快速實時的數據分析結果，并迅速作用于業務。

2. 個性化用戶推薦。不僅限于數據本身的分析和決策價值，通過構建在大數據平臺之上整合業務能力，為用戶提供融合、個性化的內容服務。

3. 從內容傳輸到內容制造。使用大數據挖掘技術提前先于觀眾知道他們需求，預知將受到追捧的電視。另外， 還可通過觀眾對演員、情節、基調、類型等元數據的標簽化，來了解受眾偏好，從而進行分析觀測，為后續的影視制作等內容開發做好準備。

作為眾多廣電運營商其中的重要一員，華數傳媒的這些需求，也是廣電運營商們的共同訴求。

針對華數傳媒的需要，國內首家專業的企業級Hadoop發行版廠商星環科技給出了令人滿意的答卷。 星環科技基于自主研發的一站式Hadoop發行版Transwarp Data Hub (TDH)，綜合運用了其中的TDH Hadoop、Inceptor分布式內存引擎、Hyperbase實時數據庫等技術產品組件，為華數傳媒提供了如下的綜合方案：

數字電視分析系統

TDH平臺用以整合各個相關數據源數據，包括Portal、CA、CDN、SRM日志、用戶使用瀏覽信息、AAA、BOSS結構化數據、用戶基本信息、消費數據、用戶上網流量數據、網管數據等。通過TDH的快速分布式數據查詢引擎，實現海量數據的秒級查詢。為用戶提供智能推薦、實時榜單和新媒體指數分析。

1. 提供基于全量數據的實時榜單。以時間（小時/天/周）、用戶等維度，對點播節目、直播節目、節目類別、搜索關鍵詞等進行排名分析、同比環比分析、趨勢分析等。地區風向標主要以城市和時間等維度分析點播排行、劇集排行、分類排行、熱搜排行及用戶數量的變化。另外，從時間、頻道、影片類型、劇集等維度，根據在看數量、新增數量、結束觀看數量、完整看完等分析用戶走向。

圖一：華數傳媒以企業級Hadoop發新版為基礎的大數據架構

2. 新媒體指數分析。通過對用戶行為分析獲取很多的隱性指標，從側面反映用戶對業務的認可度、用戶的使用行為習慣等。在此基礎之上，TDH大數據分析可幫助華數傳媒構建規范的指標分析和衡量體系，為業務運營提供強有力的指導。

3.智能推薦。運用星環科技大數據基礎架構，通過對用戶行為數據的采集分析，進行精準畫像，使用智能推薦引擎，實現信息的個性化推薦（TV屏、手機、PC），個性化營銷（個性化廣告、豐富產品組合、市場分析）。基于可持續擴展和優化智能推薦算法，以及大數據帶來的實時數據交互能力，為每一個用戶量身定做的推薦節目極大提高了產品的到達率，增強了用戶忠誠度。

結語：

對于包括廣電運營商在內的眾多企業而言，精細化的用戶需求掌控是未來發展不可變更的趨勢。在此，Hadoop發行版系統再次證明了其業務價值，這是傳統數據管理系統力所不能及的。星環科技是國內鮮有的掌握企業級Hadoop和Spark核心技術的高科技創業公司，在電信、金融、交通、政府等領域的落地應用擁有豐富經驗。相信通過類似星環科技的Hadoop發行版系統，企業級大數據應用將更能順應業務發展要求，企業也可更從容面對市場競爭。

原文鏈接：//internet.chinaitlab.com/news/967120.html