大數(shù)據(jù)時代：一張圖看懂史上最完整的數(shù)據(jù)可視化分析流程

---

我們經(jīng)常說數(shù)據(jù)分析，那么你對數(shù)據(jù)分析到底了解多少呢？

 一般來說，數(shù)據(jù)分析是指用適當?shù)慕y(tǒng)計分析方法對收集來的大量數(shù)據(jù)進行分析，提取有用信息和形成結(jié)論而對數(shù)據(jù)加以詳細研究和概括總結(jié)的過程。

一個完整的數(shù)據(jù)分析流程，應(yīng)該包括以下幾個方面：

1. 業(yè)務(wù)建模
2. 經(jīng)驗分析
3. 數(shù)據(jù)準備
4. 數(shù)據(jù)處理
5. 數(shù)據(jù)分析與展現(xiàn)
6. 專業(yè)報告
7. 持續(xù)驗證與跟蹤

作為數(shù)據(jù)分析師，無論最初的職業(yè)定位方向是技術(shù)還是業(yè)務(wù)，最終發(fā)到一定階段后都會承擔數(shù)據(jù)管理的角色。因此，一個具有較高層次的數(shù)據(jù)分析師需要具備完整的知識結(jié)構(gòu)。

1、數(shù)據(jù)采集

了解數(shù)據(jù)采集的意義在于真正了解數(shù)據(jù)的原始面貌，包括數(shù)據(jù)產(chǎn)生的時間、條件、格式、內(nèi)容、長度、限制條件等。這會幫助數(shù)據(jù)分析師更有針對性的控制數(shù)據(jù)生產(chǎn)和采集過程，避免由于違反數(shù)據(jù)采集規(guī)則導致的數(shù)據(jù)問題；同時，對數(shù)據(jù)采集邏輯的認識增加了數(shù)據(jù)分析師對數(shù)據(jù)的理解程度，尤其是數(shù)據(jù)中的異常變化。比如：Omniture中的Prop變量長度只有100個字符，在數(shù)據(jù)采集部署過程中就不能把含有大量中文描述的文字賦值給Prop變量（超過的字符會被截斷）。

在Webtrekk323之前的Pixel版本，單條信息默認最多只能發(fā)送不超過2K的數(shù)據(jù)。當頁面含有過多變量或變量長度有超出限定的情況下，在保持數(shù)據(jù)收集的需求下，通常的解決方案是采用多個sendinfo方法分條發(fā)送；而在325之后的Pixel版本，單條信息默認最多可以發(fā)送7K數(shù)據(jù)量，非常方便的解決了代碼部署中單條信息過載的問題（Webtrekk基于請求量付費，請求量越少，費用越低）。

當用戶在離線狀態(tài)下使用APP時，數(shù)據(jù)由于無法聯(lián)網(wǎng)而發(fā)出，導致正常時間內(nèi)的數(shù)據(jù)統(tǒng)計分析延遲。直到該設(shè)備下次聯(lián)網(wǎng)時，數(shù)據(jù)才能被發(fā)出并歸入當時的時間。這就產(chǎn)生了不同時間看相同歷史時間的數(shù)據(jù)時會發(fā)生數(shù)據(jù)有出入。

在數(shù)據(jù)采集階段，數(shù)據(jù)分析師需要更多的了解數(shù)據(jù)生產(chǎn)和采集過程中的異常情況，如此才能更好的追本溯源。另外，這也能很大程度上避免“垃圾數(shù)據(jù)進導致垃圾數(shù)據(jù)出”的問題。

2、數(shù)據(jù)存儲

無論數(shù)據(jù)存儲于云端還是本地，數(shù)據(jù)的存儲不只是我們看到的數(shù)據(jù)庫那么簡單。比如：

• 數(shù)據(jù)存儲系統(tǒng)是MySql、Oracle、SQL Server還是其他系統(tǒng)。
• 數(shù)據(jù)倉庫結(jié)構(gòu)及各庫表如何關(guān)聯(lián)，星型、雪花型還是其他。
• 生產(chǎn)數(shù)據(jù)庫接收數(shù)據(jù)時是否有一定規(guī)則，比如只接收特定類型字段。
• 生產(chǎn)數(shù)據(jù)庫面對異常值如何處理，強制轉(zhuǎn)換、留空還是返回錯誤。
• 生產(chǎn)數(shù)據(jù)庫及數(shù)據(jù)倉庫系統(tǒng)如何存儲數(shù)據(jù)，名稱、含義、類型、長度、精度、是否可為空、是否唯一、字符編碼、約束條件規(guī)則是什么。
• 接觸到的數(shù)據(jù)是原始數(shù)據(jù)還是ETL后的數(shù)據(jù)，ETL規(guī)則是什么。
• 數(shù)據(jù)倉庫數(shù)據(jù)的更新更新機制是什么，全量更新還是增量更新。
• 不同數(shù)據(jù)庫和庫表之間的同步規(guī)則是什么，哪些因素會造成數(shù)據(jù)差異，如何處理差異的。

在數(shù)據(jù)存儲階段，數(shù)據(jù)分析師需要了解數(shù)據(jù)存儲內(nèi)部的工作機制和流程，最核心的因素是在原始數(shù)據(jù)基礎(chǔ)上經(jīng)過哪些加工處理，最后得到了怎樣的數(shù)據(jù)。由于數(shù)據(jù)在存儲階段是不斷動態(tài)變化和迭代更新的，其及時性、完整性、有效性、一致性、準確性很多時候由于軟硬件、內(nèi)外部環(huán)境問題無法保證，這些都會導致后期數(shù)據(jù)應(yīng)用問題。

3、數(shù)據(jù)提取

數(shù)據(jù)提取是將數(shù)據(jù)取出的過程，數(shù)據(jù)提取的核心環(huán)節(jié)是從哪取、何時取、如何取。

• 從哪取，數(shù)據(jù)來源——不同的數(shù)據(jù)源得到的數(shù)據(jù)結(jié)果未必一致。
• 何時取，提取時間——不同時間取出來的數(shù)據(jù)結(jié)果未必一致。
• 如何取，提取規(guī)則——不同提取規(guī)則下的數(shù)據(jù)結(jié)果很難一致。

在數(shù)據(jù)提取階段，數(shù)據(jù)分析師首先需要具備數(shù)據(jù)提取能力。常用的Select From語句是SQL查詢和提取的必備技能，但即使是簡單的取數(shù)工作也有不同層次。第一層是從單張數(shù)據(jù)庫中按條件提取數(shù)據(jù)的能力，where是基本的條件語句；第二層是掌握跨庫表提取數(shù)據(jù)的能力，不同的join有不同的用法；第三層是優(yōu)化SQL語句，通過優(yōu)化嵌套、篩選的邏輯層次和遍歷次數(shù)等，減少個人時間浪費和系統(tǒng)資源消耗。

其次是理解業(yè)務(wù)需求的能力，比如業(yè)務(wù)需要“銷售額”這個字段，相關(guān)字段至少有產(chǎn)品銷售額和產(chǎn)品訂單金額，其中的差別在于是否含優(yōu)惠券、運費等折扣和費用。包含該因素即是訂單金額，否則就是產(chǎn)品單價×數(shù)量的產(chǎn)品銷售額。

4、數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是面對海量數(shù)據(jù)時進行數(shù)據(jù)價值提煉的關(guān)鍵，以下是算法選擇的基本原則：

• 沒有最好的算法，只有最適合的算法，算法選擇的原則是兼具準確性、可操作性、可理解性、可應(yīng)用性。
• 沒有一種算法能解決所有問題，但精通一門算法可以解決很多問題。
• 挖掘算法最難的是算法調(diào)優(yōu)，同一種算法在不同場景下的參數(shù)設(shè)定相同，實踐是獲得調(diào)優(yōu)經(jīng)驗的重要途徑。

在數(shù)據(jù)挖掘階段，數(shù)據(jù)分析師要掌握數(shù)據(jù)挖掘相關(guān)能力。一是數(shù)據(jù)挖掘、統(tǒng)計學、數(shù)學基本原理和常識；二是熟練使用一門數(shù)據(jù)挖掘工具，Clementine、SAS或R都是可選項，如果是程序出身也可以選擇編程實現(xiàn)；三是需要了解常用的數(shù)據(jù)挖掘算法以及每種算法的應(yīng)用場景和優(yōu)劣差異點。

5、數(shù)據(jù)分析

 數(shù)據(jù)分析相對于數(shù)據(jù)挖掘更多的是偏向業(yè)務(wù)應(yīng)用和解讀，當數(shù)據(jù)挖掘算法得出結(jié)論后，如何解釋算法在結(jié)果、可信度、顯著程度等方面對于業(yè)務(wù)的實際意義，如何將挖掘結(jié)果反饋到業(yè)務(wù)操作過程中便于業(yè)務(wù)理解和實施是關(guān)鍵。

6、數(shù)據(jù)展現(xiàn)

 數(shù)據(jù)展現(xiàn)即數(shù)據(jù)可視化的部分，數(shù)據(jù)分析師如何把數(shù)據(jù)觀點展示給業(yè)務(wù)的過程。數(shù)據(jù)展現(xiàn)除遵循各公司統(tǒng)一規(guī)范原則外，具體形式還要根據(jù)實際需求和場景而定。基本素質(zhì)要求如下：

• 工具：PPT、Excel、Word甚至郵件都是不錯的展現(xiàn)工具，任意一個工具用好都很強大。
• 形式：圖文并茂的基本原則更易于理解，生動、有趣、互動、講故事都是加分項。
• 原則：領(lǐng)導層喜歡讀圖、看趨勢、要結(jié)論，執(zhí)行層歡看數(shù)、讀文字、看過程。
• 場景：大型會議PPT最合適，匯報說明Word最實用，數(shù)據(jù)較多時Excel更方便。
• 最重要一點：數(shù)據(jù)展現(xiàn)永遠輔助于數(shù)據(jù)內(nèi)容，有價值的數(shù)據(jù)報告才是關(guān)鍵。

7、數(shù)據(jù)應(yīng)用

數(shù)據(jù)應(yīng)用是數(shù)據(jù)具有落地價值的直接體現(xiàn)，這個過程需要數(shù)據(jù)分析師具備數(shù)據(jù)溝通能力、業(yè)務(wù)推動能力和項目工作能力。

• 數(shù)據(jù)溝通能力——深入淺出的數(shù)據(jù)報告、言簡意賅的數(shù)據(jù)結(jié)論更利于業(yè)務(wù)理解和接受，打比方、舉例子都是非常實用的技巧。
• 業(yè)務(wù)推動能力——在業(yè)務(wù)理解數(shù)據(jù)的基礎(chǔ)上，推動業(yè)務(wù)落地實現(xiàn)數(shù)據(jù)建議。從業(yè)務(wù)最重要、最緊急、最能產(chǎn)生效果的環(huán)節(jié)開始是個好方法，同時要考慮到業(yè)務(wù)落地的客觀環(huán)境，即好的數(shù)據(jù)結(jié)論需要具備客觀落地條件。
• 項目工作能力——數(shù)據(jù)項目工作是循序漸進的過程，無論是一個數(shù)據(jù)分析項目還是數(shù)據(jù)產(chǎn)品項目，都需要數(shù)據(jù)分析師具備計劃、領(lǐng)導、組織、控制的項目工作能力。

---

慧都工業(yè)大數(shù)據(jù)分析方案將精益生產(chǎn)理論體系進行了完美的融合和應(yīng)用，并對大數(shù)據(jù)總體架構(gòu)進行了更細致明確的解讀，提供自主研發(fā)的大數(shù)據(jù)平臺，實現(xiàn)ETL、數(shù)據(jù)管理及存儲、數(shù)據(jù)建模。如下圖所示：

---

關(guān)于慧都大數(shù)據(jù)分析平臺

慧都大數(shù)據(jù)分析平臺「GetInsight®」升級發(fā)布，將基于企業(yè)管理駕駛艙、產(chǎn)品質(zhì)量分析及預(yù)測、設(shè)備分析及預(yù)測等大數(shù)據(jù)模型的構(gòu)建，助力企業(yè)由傳統(tǒng)運營模式向數(shù)字化、智能化的新模式轉(zhuǎn)型升級，抓住數(shù)據(jù)經(jīng)濟的發(fā)展勢頭，提供管理效能，精準布局未來。了解更多，請聯(lián)系。

慧都大數(shù)據(jù)專業(yè)團隊為企業(yè)提供商業(yè)智能大數(shù)據(jù)平臺搭建，免費業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

 歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團隊，為您提供免費大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！