大數(shù)據(jù)認知 | 一篇文章讓你讀懂大數(shù)據(jù)
大數(shù)據(jù)（big data），IT行業(yè)術(shù)語，是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
大數(shù)據(jù)分析通俗的講就是將海量混雜的數(shù)據(jù)，通過利用各類手段統(tǒng)一協(xié)調(diào)成一個有機整體，然后以不同的可視化分析工具直觀呈現(xiàn)給用戶，讓其通俗易懂的發(fā)現(xiàn)數(shù)據(jù)中的一些關(guān)鍵因素點。以保障相關(guān)人員提升工作效率及分析數(shù)據(jù)核心指標，并且為企業(yè)帶來收益價值點。
5V特點
大數(shù)據(jù)的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。
大量化Volume：非結(jié)構(gòu)數(shù)據(jù)的超大規(guī)模和增長，總數(shù)據(jù)的80~90% ，比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍，是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍。IDC預(yù)計到2020年，全球?qū)⒖偣矒碛?/span>35ZB的數(shù)據(jù)量。
很多人日常用到或者了解到的僅限于bit、Byte、KB、MB，其實在其之上還有更多維度的統(tǒng)計，例如：最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。它們按照進率1024（2的十次方）來計算：
舉一個例子：
一般情況下，大數(shù)據(jù)是以PB EB ZB為單位進行計量的：1PB相當于50%的全美學(xué)術(shù)研究圖書館藏書的信息內(nèi)容；5EB相當于至今全世界人類所講過的話語；1ZB如同全世界海灘沙子數(shù)量總和；1YB相當于7000位人類體內(nèi)的微細胞總和。
- 價值化Value ：大量的不相關(guān)信息，對未來趨勢與模式的可預(yù)測分析，深度復(fù)雜分析，快速提煉出海量數(shù)據(jù)資源中的那部分有價值的信息，為客戶帶來真正的受益點。（例如：機器學(xué)習(xí)、人工智能、數(shù)據(jù)匯聚等）
- 多樣化Variety ：大數(shù)據(jù)的異構(gòu)和多樣化，很多不同的形式（結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)）呈現(xiàn)方式也不僅僅限于文本、圖像、接口、文件、數(shù)據(jù)庫類、標準格式等。
- 快速化Velocity：實時分析而非批量式分析，數(shù)據(jù)的快速提取、清洗、匯聚、標簽化、具體到人事物中，立竿見影而非事后見效。時刻都會處理萬億級以上的數(shù)據(jù)，因此具有時效性，高速處理、響應(yīng)迅速。
- 真實性Veracity：大數(shù)據(jù)中的內(nèi)容是與真實世界中的發(fā)生息息相關(guān)的，研究大數(shù)據(jù)就是從龐大的網(wǎng)絡(luò)數(shù)據(jù)中提取出能夠解釋和預(yù)測現(xiàn)實事件的過程。提高數(shù)據(jù)的準確、可依賴程度，保證數(shù)據(jù)質(zhì)量。也可以作為未來某種趨勢的預(yù)判及以數(shù)據(jù)來提取到真正的需求點。
價值體現(xiàn)
大數(shù)據(jù)可以實現(xiàn)的應(yīng)用可以概括為兩個方向：一個是精準化定制；第二個是預(yù)測。
精準化定制定制可根據(jù)不同業(yè)務(wù)需求進行設(shè)計開發(fā)，通過數(shù)據(jù)去解決一些行業(yè)應(yīng)用難點，例如：智慧城市、可視化大屏、警務(wù)大數(shù)據(jù)、金融大數(shù)據(jù)等，更多居于toB領(lǐng)域。
而預(yù)測類：比如像通過搜索引擎搜索同樣的內(nèi)容，每個人的結(jié)果卻是大不相同的。會利用大數(shù)據(jù)推薦算法等模型來進行推送。再比如精準營銷、百度的推廣、淘寶的喜歡推薦，或者你到了一個地方，自動給你推薦周邊的消費設(shè)施等等。頭條新聞信息推薦等等，更多趨向于toC領(lǐng)域。
人物畫像分析，通過對人物的準確、全方位的刻畫，深入挖掘其數(shù)據(jù)間的內(nèi)在關(guān)系，將零散雜亂的信息組織成有機整體。快速分析出人物的各類屬性指標：身份信息、行動軌跡、經(jīng)濟情況、活動偏好、等級劃分等，有效地利用分析結(jié)果，發(fā)現(xiàn)關(guān)鍵數(shù)據(jù)指標。
數(shù)據(jù)匯聚、分析、保護
數(shù)據(jù)聚合針對內(nèi)外部數(shù)據(jù)進行多維數(shù)據(jù)快速匯聚。可通過實時接口、文件自動導(dǎo)入、主動查詢等方式接入。并可對各類格式的數(shù)據(jù)進行智能清洗入庫。
匯聚時，需要對各類來源數(shù)據(jù)進行精準提取：例如利用一些智能終端采集設(shè)備，提取入庫后，對海量數(shù)據(jù)進行快速的清洗處理，將其以結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)為主體劃分，而后進行標簽化劃分，利用圖數(shù)據(jù)庫賦予其不同標簽，再下發(fā)到具體分析的人事物中，以多樣可視化分析圖表的形態(tài)直觀展示數(shù)據(jù)結(jié)果。
可視化分析可通過利用不同的分析工具，以關(guān)系圖、時序圖、位置軌跡、詞云、時光軸、畫像分析、可視化大屏等可視化方式進行分析。（針對不同的需求，可利用將多個工具結(jié)合進行全維度數(shù)據(jù)分析）
數(shù)據(jù)分級保護針對數(shù)據(jù)在應(yīng)用時進行分級和脫敏過濾，保障數(shù)據(jù)安全。從數(shù)據(jù)提取、清洗、入庫、分類、標簽化并具體到人事物環(huán)境進行層層加密處理，保障全流程安全。
具體可分為：數(shù)據(jù)安全、應(yīng)用安全、環(huán)境安全等方面。
工具的選用
1. 基礎(chǔ)工具
傳統(tǒng)分析/商業(yè)統(tǒng)計：
Excel、SPSS、SAS 這三者對于研究人員而言并不陌生。
- Excel作為電子表格軟件，適合簡單統(tǒng)計匯總需求，由于其方便好用，功能也能滿足很多場景需要，所以一直受用于廣大用戶基本統(tǒng)計分析。
- SPSS（SPSS Statistics）和SAS作為商業(yè)統(tǒng)計軟件，提供研究常用的經(jīng)典統(tǒng)計分析（如回歸、方差、因子、多變量分析等）處理。SPSS 輕量、易于使用，但功能相對較少，適合常規(guī)基本統(tǒng)計分析。
- SAS 功能豐富而強大（包括繪圖能力），且支持編程擴展其分析能力，適合復(fù)雜與高要求的統(tǒng)計性分析。
以上幾種軟件屬于傳統(tǒng)性的數(shù)據(jù)統(tǒng)計軟件，此處不做過多的解說。要進行具體的數(shù)據(jù)匯聚并且可視化展示還需要利用一些可視化工具軟件，如下：
2. 可視化工具
Echats：
- 千萬級數(shù)據(jù)可視化渲染能力；
- SVG + Canvas 雙引擎動力更佳；
- 數(shù)據(jù)樣式分離及扁平配置讓開發(fā)更便捷；
- 首創(chuàng)無障礙訪問支持；
- 微信小程序、PPT，哪里都能用；
- 數(shù)據(jù)自由刷選：自由選擇數(shù)據(jù)，發(fā)掘數(shù)據(jù)背后的更多秘密；
- 多圖表聯(lián)動查看：對多個圖表數(shù)據(jù)聯(lián)動查看，進行多維有效分析。
當前接入是免費形式，通過選取不同的可視化工具類圖展示符合業(yè)務(wù)需求的類后，進行數(shù)據(jù)的呈現(xiàn)，由于非矢量關(guān)系圖標化，若數(shù)據(jù)過多時會存在前臺渲染加載卡頓情況。
Highcharts：兼容 IE6+、完美支持移動端、圖表類型豐富、方便快捷的 HTML5 交互性圖表庫。
會有部分收費對接資源，基本展示與Echat相近，界面體驗更友情化。
AntV：GraphinStudio 是基于 Graphin 開發(fā)的通用關(guān)系分析平臺，具有關(guān)系擴散，關(guān)系發(fā)現(xiàn)，布局切換等功能。
- 完善的圖形語法：數(shù)據(jù)到圖形的映射，能夠繪制出所有的圖表。
- 全新的交互語法：通過觸發(fā)和反饋機制可以組合出各種交互行為，對數(shù)據(jù)進行探索。
- 強大的 View 模塊：可支持開發(fā)個性化的數(shù)據(jù)多維分析圖形。
- 雙引擎渲染：Canvas 或 SVG 任意切換。
- 可視化組件體系：面向交互、體驗優(yōu)雅。
- 全面擁抱 TypeScript：提供完整的類型定義文件。
相對來功能展示更強大，可以支持不同圖形標簽選擇，關(guān)系屬性關(guān)聯(lián)，更加靈活的展示分析結(jié)果信息。
3. 不同圖表的選用
通過圖表形式展現(xiàn)數(shù)據(jù)，幫助用戶快速、準確理解信息。準確、快速是可視化的關(guān)鍵。借助于圖形化手段，清晰有效地傳達與溝通信息同時對數(shù)據(jù)進行交互分析。
（1）柱形圖
通過柱狀圖，可以清晰展示各個數(shù)據(jù)類型的統(tǒng)計數(shù)據(jù)信息，并且可以直觀進行對比，發(fā)現(xiàn)趨勢
適合的數(shù)據(jù)：一個分類數(shù)據(jù)字段、一個連續(xù)數(shù)據(jù)字段。
功能：對比分類數(shù)據(jù)的數(shù)值大小。
數(shù)據(jù)與圖形的映射：
- 橫軸可展示具體的時間維度區(qū)間
- 縱軸可展示數(shù)據(jù)量的多少
- 不同類別可以不同色塊進行區(qū)分
適合的數(shù)據(jù)條數(shù)：根據(jù)頁面大小靈活設(shè)計，建議不超過1個月數(shù)據(jù)區(qū)間。
（2）散點圖
散點圖也叫 X-Y 圖，它將所有的數(shù)據(jù)以點的形式展現(xiàn)在直角坐標系上，以顯示變量之間的相互影響程度，點的位置由變量的數(shù)值決定。
適合的數(shù)據(jù)：兩個連續(xù)數(shù)據(jù)字段
橫軸可展示具體的時間維度區(qū)間或者不同的屬性描述，縱軸可展示數(shù)據(jù)量的多少。不同類別可以不同色塊進行區(qū)分。
備注：可更具實際情況對點的形狀進行分類字段的映射。點的顏色進行分類或連續(xù)字段的映射。
可視化分析
1. 用戶畫像產(chǎn)品
用戶畫像： User Profile用戶畫像是通過搜集和分析用戶行為喜好、靜態(tài)屬性信息和消費習(xí)慣信息等數(shù)據(jù)，將用戶的特征信息抽象化的進行展示。
用戶畫像的標簽表征用戶的興趣、愛好、習(xí)慣特點，為標簽計算權(quán)重來表示用戶對標簽特征的需求程度，使用戶的特征得到量化。更多區(qū)域用戶消費行為的分析統(tǒng)計，可預(yù)判用戶的消費特性，通過數(shù)據(jù)分析結(jié)果來幫助運營人員抓住用戶消費痛點。
2. 推薦系統(tǒng)
推薦系統(tǒng)有很多中，其中有一種是用戶畫像的用處，即利用用戶畫像做個性化推薦、廣告推薦、活動推薦、內(nèi)容推薦等。利用相關(guān)的算法，可以幫助其廣告精準推廣營銷，精確推送給用戶其所喜好的閱讀信息等
像今日頭條有自己強大的算法模式：
- 我們初期可以根據(jù)相關(guān)的線性函數(shù)來做數(shù)值推理或者用戶群中劃分；
- 根據(jù)喜好相同的不同用戶去推送各自不同的相似欄目信息內(nèi)容；
- 通過后臺大數(shù)據(jù)的匯總，進行抽樣隨機選擇的方式，推理出高概率相符信息內(nèi)容進行推送。
3. 可視化大屏
上圖為可視化大屏展示，其中可針對不同業(yè)務(wù)需求進行定制化開發(fā)：（可用于企業(yè)高端效果展示，關(guān)鍵數(shù)據(jù)指標可視化展示，工作匯報總結(jié)，領(lǐng)導(dǎo)檢驗等）
- 3D實時數(shù)據(jù)模型可視化數(shù)據(jù)展示，采用逼真的視覺效果呈現(xiàn)幫助用戶理解、展現(xiàn)科技創(chuàng)新形象；
- 提供多種數(shù)據(jù)交互場景，可進行三維視角觀測、切換、拖拽、縮放等交互方式，縮短用戶對態(tài)勢認知成本，提升決策效率；
- 地圖以區(qū)域定制化展現(xiàn)整體數(shù)據(jù)分布動態(tài)；各類標簽屬性進行相關(guān)數(shù)據(jù)的展示。多維關(guān)鍵數(shù)據(jù)指標為整體數(shù)據(jù)大屏做支撐；
- 可視化大屏屬于定制化功能模塊，可支持3D炫酷建模效果，城市全景地圖下探，街道立體效果展現(xiàn)及關(guān)鍵數(shù)據(jù)可視化特殊標識。
總結(jié)
此次是對大數(shù)據(jù)認知的一個較為寬泛的闡述，后續(xù)會進行各個模塊的細化說明。其實數(shù)據(jù)總是與我們息息相關(guān)，通過大數(shù)據(jù)是為我們提供一個有效的手段來使得各類價值信息呈現(xiàn)更為明確。大數(shù)據(jù)離我們并不遙遠，仍需不斷地去探索與發(fā)現(xiàn)其潛在價值與意義。
慧都工業(yè)大數(shù)據(jù)分析方案將精益生產(chǎn)理論體系進行了完美的融合和應(yīng)用，并對大數(shù)據(jù)總體架構(gòu)進行了更細致明確的解讀，提供自主研發(fā)的大數(shù)據(jù)平臺，實現(xiàn)ETL、數(shù)據(jù)管理及存儲、數(shù)據(jù)建模。如下圖所示：
關(guān)于慧都大數(shù)據(jù)分析平臺
慧都大數(shù)據(jù)分析平臺「GetInsight®」升級發(fā)布，將基于企業(yè)管理駕駛艙、產(chǎn)品質(zhì)量分析及預(yù)測、設(shè)備分析及預(yù)測等大數(shù)據(jù)模型的構(gòu)建，助力企業(yè)由傳統(tǒng)運營模式向數(shù)字化、智能化的新模式轉(zhuǎn)型升級，抓住數(shù)據(jù)經(jīng)濟的發(fā)展勢頭，提供管理效能，精準布局未來。了解更多，請聯(lián)系。
慧都大數(shù)據(jù)專業(yè)團隊為企業(yè)提供商業(yè)智能大數(shù)據(jù)平臺搭建，免費業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。
歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團隊，為您提供免費大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！
QQ交談
在線咨詢
渝公網(wǎng)安備
50010702500608號
客服熱線