運(yùn)維工程師：談?wù)摯髷?shù)據(jù)時(shí)我們到底在談?wù)撌裁矗?/h2>

轉(zhuǎn)帖|行業(yè)資訊|編輯：龔雪|2017-03-07 17:12:56.000|閱讀 169 次

概述：爆炸式增長(zhǎng)的數(shù)據(jù)的存儲(chǔ)和計(jì)算需求促使存儲(chǔ)硬件、網(wǎng)絡(luò)基礎(chǔ)設(shè)施以及處理海量數(shù)據(jù)的計(jì)算方法不斷改進(jìn)。傳統(tǒng)運(yùn)維從只對(duì)網(wǎng)絡(luò)基礎(chǔ)設(shè)施和流量進(jìn)行簡(jiǎn)單管理到突然增加對(duì)業(yè)務(wù)和復(fù)雜流量進(jìn)行管理必然力不從心。

# 界面/圖表報(bào)表/文檔/IDE等千款熱門軟控件火熱銷售中 >>

2016年對(duì)于SDN來(lái)說(shuō)無(wú)疑是利好的一年，在金融、電信、互聯(lián)網(wǎng)等行業(yè)SDN產(chǎn)品和解決方案開(kāi)始規(guī)模化部署，許多傳統(tǒng)行業(yè)對(duì)于SDN的需求也初現(xiàn)端倪。《2016～2017年中國(guó)SDN市場(chǎng)發(fā)展?fàn)顩r白皮書(shū)》顯示，2016年中國(guó)SDN軟件市場(chǎng)(主要指SDN控制器及相關(guān)的軟件解決方案與服務(wù))規(guī)模達(dá)到了7.2億元，比2015年增長(zhǎng)30.9%，預(yù)計(jì)到2021年，市場(chǎng)規(guī)模將達(dá)到46.7億元。同時(shí)，白皮書(shū)也指出了企業(yè)傳統(tǒng)網(wǎng)絡(luò)架構(gòu)面臨的四大難題。

·難以滿足業(yè)務(wù)靈活部署的需求

·難以滿足業(yè)務(wù)資源整合的需求

·難以滿足場(chǎng)景化的需求

·難以滿足新的運(yùn)維需求

在討論運(yùn)維難題的時(shí)候，分析師認(rèn)為傳統(tǒng)運(yùn)維方式無(wú)法對(duì)整個(gè)網(wǎng)絡(luò)的流量、設(shè)備以及業(yè)務(wù)實(shí)現(xiàn)集中管控、統(tǒng)一編排。造成這個(gè)問(wèn)題的原因除了網(wǎng)絡(luò)架構(gòu)的變遷，不容忽視的一點(diǎn)是，現(xiàn)在網(wǎng)絡(luò)中的數(shù)據(jù)量實(shí)在是太大了。軟件技術(shù)的發(fā)展支撐了更多智能設(shè)備的接入。今天我們不斷地從各種源頭搜集和存儲(chǔ)網(wǎng)絡(luò)交易、社交媒體動(dòng)態(tài)、移動(dòng)設(shè)備以及各類不知道名字的自動(dòng)化傳感器產(chǎn)生的數(shù)據(jù)。

在這種情況下，爆炸式增長(zhǎng)的數(shù)據(jù)的存儲(chǔ)和計(jì)算需求促使存儲(chǔ)硬件、網(wǎng)絡(luò)基礎(chǔ)設(shè)施以及處理海量數(shù)據(jù)的計(jì)算方法不斷改進(jìn)。傳統(tǒng)運(yùn)維從只對(duì)網(wǎng)絡(luò)基礎(chǔ)設(shè)施和流量進(jìn)行簡(jiǎn)單管理到突然增加對(duì)業(yè)務(wù)和復(fù)雜流量進(jìn)行管理必然力不從心。

Data is useless until you use it to make decisions

2017年初，思科斥資37億美元收購(gòu)了AppDynamics，這是繼14億美元收購(gòu)物Jasper的又一大動(dòng)作。媒體視之為思科戰(zhàn)略轉(zhuǎn)型的標(biāo)志，在筆者看來(lái)，思科是在布局其大數(shù)據(jù)生態(tài)。

大數(shù)據(jù)面臨的挑戰(zhàn)不僅僅是數(shù)據(jù)的大小，更是如何用新的方法從各類數(shù)據(jù)平臺(tái)處理數(shù)據(jù)。跟傳統(tǒng)的商業(yè)智能(BI)相比，大數(shù)據(jù)分析能為企業(yè)網(wǎng)絡(luò)管理帶來(lái)質(zhì)的改變，其價(jià)值也更大。

追根溯源的能力

現(xiàn)代企業(yè)網(wǎng)絡(luò)中每秒有百萬(wàn)級(jí)的數(shù)據(jù)包在傳輸，當(dāng)需要進(jìn)行troubleshooting的時(shí)候，有太多的地方要去檢查，按照傳統(tǒng)的方法，即便是5分鐘的數(shù)據(jù)也需要幾個(gè)小時(shí)甚至幾天來(lái)分析處理。倘若多數(shù)情況下的問(wèn)題不是網(wǎng)絡(luò)的問(wèn)題，應(yīng)用程序的代碼本身也應(yīng)該和網(wǎng)包、網(wǎng)流一起被拿來(lái)分析。網(wǎng)絡(luò)管理需要弄清楚不同數(shù)據(jù)類型之間的區(qū)別。一些現(xiàn)有的解決方案在客戶可承受的價(jià)格范圍只能存儲(chǔ)三天的流量數(shù)據(jù)，對(duì)于時(shí)間更久遠(yuǎn)的網(wǎng)絡(luò)故障，溯源只能水中撈月。

防微杜漸的能力

變化是現(xiàn)在IT系統(tǒng)的主題，已經(jīng)改變的信息并沒(méi)有什么意義，相反，預(yù)測(cè)有意義的變化十分具有挑戰(zhàn)。有時(shí)受限于網(wǎng)絡(luò)流量的大小和帶寬，一些大數(shù)據(jù)分析行為可能會(huì)引起正常業(yè)務(wù)的中斷。以電商網(wǎng)站的大促活動(dòng)為例，預(yù)演的效果并不能涵蓋全部可能真實(shí)的場(chǎng)景。一個(gè)優(yōu)秀的架構(gòu)師通常能預(yù)見(jiàn)到現(xiàn)在的架構(gòu)有什么潛在問(wèn)題。而如今，能發(fā)現(xiàn)這些潛在問(wèn)題的手段，多依賴大數(shù)據(jù)分析。

洞悉未來(lái)的能力

大多數(shù)傳統(tǒng)的網(wǎng)絡(luò)系統(tǒng)缺乏靈活的設(shè)計(jì)，在面對(duì)現(xiàn)在復(fù)雜的網(wǎng)絡(luò)環(huán)境時(shí)無(wú)法應(yīng)對(duì)。傳統(tǒng)網(wǎng)絡(luò)中簡(jiǎn)陋的網(wǎng)絡(luò)監(jiān)控設(shè)備無(wú)力應(yīng)對(duì)復(fù)雜的虛擬化網(wǎng)絡(luò)，更遑論從中提取出可執(zhí)行的規(guī)則;而基于探測(cè)和代理技術(shù)的監(jiān)控系統(tǒng)也無(wú)法完全覆蓋underlay和overlay的網(wǎng)絡(luò)。將所有的數(shù)據(jù)匯聚在一起利用大數(shù)據(jù)技術(shù)進(jìn)行分析是企業(yè)網(wǎng)絡(luò)團(tuán)隊(duì)必須首先解決的難題，因?yàn)槠渌拇髷?shù)據(jù)分析應(yīng)用已經(jīng)為業(yè)務(wù)部門創(chuàng)造了新的商機(jī)。

企業(yè)IT團(tuán)隊(duì)已經(jīng)實(shí)現(xiàn)了更快速的故障排查，通過(guò)對(duì)大數(shù)據(jù)分析技術(shù)的利用，改進(jìn)網(wǎng)絡(luò)基礎(chǔ)設(shè)施的安全性、穩(wěn)定性和可用性。未來(lái)的網(wǎng)絡(luò)該怎么設(shè)計(jì)?也許大數(shù)據(jù)分析能帶給人們一些啟示。

網(wǎng)絡(luò)運(yùn)維的問(wèn)題其實(shí)是大數(shù)據(jù)的問(wèn)題

SDN的本質(zhì)是控制與轉(zhuǎn)發(fā)分離，從這個(gè)角度來(lái)看，控制的核心思想是網(wǎng)絡(luò)中有了“大腦”，通過(guò)這個(gè)智能系統(tǒng)對(duì)網(wǎng)絡(luò)設(shè)備下發(fā)指令，那么這些指令又來(lái)自哪里呢?通常我們認(rèn)為，這些指令來(lái)自控制器基于已有的協(xié)議、規(guī)則對(duì)網(wǎng)絡(luò)流量和網(wǎng)絡(luò)行為的“審判”。而這個(gè)“審判”的過(guò)程，我們稱之為大數(shù)據(jù)分析。數(shù)據(jù)分析并非新生事物，在這里，我們加了個(gè)“大”字。

任何大數(shù)據(jù)分析的應(yīng)用最重要的基礎(chǔ)環(huán)節(jié)便是采集和存儲(chǔ)。關(guān)于采集，業(yè)界已經(jīng)有過(guò)較多的討論，本文不再贅述。筆者想從以下幾個(gè)方面簡(jiǎn)單概述一下大數(shù)據(jù)分析面臨的問(wèn)題。

靈活擴(kuò)展的存儲(chǔ)能力

在上一篇《直面數(shù)據(jù)中心網(wǎng)絡(luò)六大需求，六步打造面向未來(lái)的網(wǎng)絡(luò)》文章中筆者提過(guò)，思科網(wǎng)絡(luò)報(bào)告白皮書(shū)顯示2015～2020年全球網(wǎng)絡(luò)流量年復(fù)合增長(zhǎng)率達(dá)到22%(注：2015年全球網(wǎng)絡(luò)流量為72EB，2016年這一數(shù)字為88EB，1EB=1,000PB)截至2020年全球網(wǎng)絡(luò)流量將會(huì)凈增長(zhǎng)200EB。對(duì)如此規(guī)模的流量進(jìn)行采集和分析的需求必然要求較強(qiáng)的存儲(chǔ)能力。

考慮到22%的增量，存儲(chǔ)系統(tǒng)必須在不喪失性能的前提下具有高度的靈活和可擴(kuò)展性，以便不停機(jī)彈性擴(kuò)容。文件系統(tǒng)還必須支持諸如同時(shí)處理不同類型和來(lái)源數(shù)據(jù)的能力、把海量大數(shù)據(jù)轉(zhuǎn)換成元數(shù)據(jù)的功能等等。在筆者看來(lái)，網(wǎng)絡(luò)的問(wèn)題首先是大數(shù)據(jù)存儲(chǔ)的問(wèn)題。在規(guī)劃和設(shè)計(jì)存儲(chǔ)系統(tǒng)的時(shí)候，應(yīng)該考慮所有當(dāng)下的情況以及未來(lái)的使用場(chǎng)景。

延時(shí)的問(wèn)題

2015年前后的一段時(shí)間，IT圈很流行實(shí)時(shí)流數(shù)據(jù)處理技術(shù);后來(lái)筆者了解到大量的公有云服務(wù)商在自己的基礎(chǔ)設(shè)施中使用加速卡/智能卡。比如，微軟通過(guò)使用FPGA技術(shù)的智能網(wǎng)卡提高了Azure的性能，微軟的FPGA智能網(wǎng)卡還有加密和加速存儲(chǔ)協(xié)議的功能。大數(shù)據(jù)分析在一些場(chǎng)景如社交媒體、交易數(shù)據(jù)等需要實(shí)時(shí)處理以便作出決策，這要求不能出現(xiàn)響應(yīng)延時(shí)或者數(shù)據(jù)丟失。對(duì)需要根據(jù)實(shí)時(shí)數(shù)據(jù)作出響應(yīng)決策的應(yīng)用來(lái)說(shuō)，這個(gè)要求會(huì)更高。

跨平臺(tái)接入

隨著大數(shù)據(jù)應(yīng)用在各種平臺(tái)和系統(tǒng)(尤其是物聯(lián)網(wǎng))上，對(duì)數(shù)據(jù)的交叉使用成為一種常規(guī)需求。公有云服務(wù)商在幫助大型客戶進(jìn)行數(shù)據(jù)遷移的時(shí)候遇到過(guò)較多此類案例，存儲(chǔ)系統(tǒng)必須能夠同時(shí)處理來(lái)自不同系統(tǒng)、不同格式的異構(gòu)數(shù)據(jù)。數(shù)據(jù)時(shí)代的大數(shù)據(jù)生態(tài)必然要求軟、硬件盡可能的兼容、統(tǒng)一。IDC近年來(lái)一直致力于通過(guò)采用標(biāo)準(zhǔn)服務(wù)器來(lái)優(yōu)化網(wǎng)絡(luò)和擺脫廠商綁定;世界上最先進(jìn)的數(shù)據(jù)中心如谷歌、微軟、領(lǐng)英、Facebook等都在向著這個(gè)方向發(fā)展。

安全的問(wèn)題

安全是云計(jì)算的基石，之所以這么說(shuō)源自數(shù)據(jù)對(duì)于我們的重要性。比如，最近大家熱議的某公有云廠商租戶隔離的問(wèn)題;多數(shù)人認(rèn)為VPC是目前成熟的、可行的租戶安全解決方案，這也是多數(shù)云廠商產(chǎn)品化的方向。事實(shí)上層出不窮的安全事件都是針對(duì)數(shù)據(jù)的竊取或破壞。由于數(shù)據(jù)交叉使用，現(xiàn)有的IT系統(tǒng)安全機(jī)制需要作出較大調(diào)整，而存儲(chǔ)也需要在不犧牲性能和可擴(kuò)展性的前提下，滿足對(duì)這些數(shù)據(jù)處理的安全要求。

成本的問(wèn)題

大數(shù)據(jù)意味著高成本，對(duì)數(shù)據(jù)分析來(lái)說(shuō)，計(jì)算資源顯然沒(méi)有存儲(chǔ)資源的開(kāi)銷大。有人認(rèn)為采用開(kāi)放標(biāo)準(zhǔn)硬件能節(jié)省大量的成本(約30%～80%不等)。曾經(jīng)轟轟烈烈的去IOE和政府倡導(dǎo)的國(guó)產(chǎn)化，在節(jié)約成本方面無(wú)疑有很多值得稱道的地方。隨著OpenStack的遍地開(kāi)花，開(kāi)源存儲(chǔ)技術(shù)也獲得了長(zhǎng)足的發(fā)展。企業(yè)選擇不使用市面上現(xiàn)有的商用存儲(chǔ)方案，對(duì)數(shù)據(jù)去重、壓縮備份，用自己定制化的存儲(chǔ)硬件等措施，可以顯著降低成本。

總結(jié)一下，大數(shù)據(jù)的價(jià)值已經(jīng)得到普遍的認(rèn)可，看一下自動(dòng)化之于網(wǎng)絡(luò)運(yùn)維的效果我們相信，未來(lái)是令人振奮的，但更深層次的價(jià)值有待業(yè)界進(jìn)一步發(fā)掘;通過(guò)研究不難發(fā)現(xiàn)，網(wǎng)絡(luò)運(yùn)維的問(wèn)題其實(shí)是大數(shù)據(jù)的問(wèn)題，而大數(shù)據(jù)分析本身尚處在初級(jí)階段，有較多亟需解決的難題。那么，在這條路上我們?cè)撛趺醋?[作者：魏星@云杉；來(lái)源：]

標(biāo)簽：大數(shù)據(jù)

本站文章除注明轉(zhuǎn)載外，均為本站原創(chuàng)或翻譯。歡迎任何形式的轉(zhuǎn)載，但請(qǐng)務(wù)必注明出處、不得修改原文相關(guān)鏈接，如果存在內(nèi)容上的異議請(qǐng)郵件反饋至chenjj@fc6vip.cn

上一篇：大數(shù)據(jù)干貨|基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)Hive 基礎(chǔ)知識(shí) 下一篇：日本81歲老太自學(xué)編程 成功開(kāi)發(fā)一款游戲