前言
前面我們主要分析了搭建所需要準備的內(nèi)容和一些提前規(guī)劃好的項，本篇我們主要來分析如何安裝CentOS操作系統(tǒng)，以及一些基礎的設置，閑言少敘，我們進入本篇的正題。
技術準備
VMware虛擬機、CentOS 6.8 64 bit
安裝流程
因為我的筆記本是Window7操作系統(tǒng)，然后內(nèi)存配置，只有8G，內(nèi)存配置太低了，當然為了演示，我會將中的主節(jié)點分配2GB內(nèi)存，然后剩余的三個節(jié)點都是1GB配置。
所有的節(jié)點存儲我都設置為50GB。
在安裝操作系統(tǒng)之前，我們需要提前規(guī)劃好操作系統(tǒng)的分區(qū)如何設置，我們知道，在Linux系統(tǒng)中，它的磁盤分區(qū)并不同于Windows系統(tǒng)，它是通過目錄掛載的方式進行分區(qū)，簡單點說的話就是將不同的系統(tǒng)內(nèi)置目錄進行分配到不同的邏輯分區(qū)中，然后我們在進行存儲的時候只需要根據(jù)目錄進行存放就可以了。
上面的這種分區(qū)方式是和Windows操作系統(tǒng)有區(qū)別的，當然在Linux操作系統(tǒng)中還存在磁盤格式的不同，比如一般常見的格式為：ext2，ext3，ext4等，我們當前最常用的就是ext3，關于每種格式的不同點和應用場景大家有興趣的可以網(wǎng)上查閱，這里不再贅述。
那么我們來分析一下Linux系統(tǒng)中最常見的幾種目錄分區(qū)方式
- /boot 系統(tǒng)引導目錄，用來存放與Linux系統(tǒng)啟動相關的程序，比如啟動引導裝載程序等。建議大小200MB。
- /usr 存放系統(tǒng)中安裝的應用程序，一般的數(shù)據(jù)都比較多，所以建議大于3GB。
- /var 用來存放Linux系統(tǒng)中經(jīng)常變化的數(shù)據(jù)以及日志文件，建議大于1GB。
- /home 存放普通用戶的數(shù)據(jù)，是普通用戶的宿主目錄，一般一個用戶就會創(chuàng)建一個home目錄，建議大小為剩下的空間。
- / 為Linux系統(tǒng)的根目錄，所有的目錄都掛在到這個目錄下面，建議大小為大于5GB以上。
- /tmp 臨時文件存放的地方，一般需要獨立的分區(qū)，這樣可以避免系統(tǒng)被塞滿后系統(tǒng)的穩(wěn)定性。建議大小為500MB以上。
- swap 這個是虛擬內(nèi)存，一般建議為物理內(nèi)存的1——2倍。
以上為我基于我們的50GB的存儲空間做的一個規(guī)劃，如果生產(chǎn)或者物理機大家可以根據(jù)需要成比例遞增。
下面，咱們進去CentOS操作系統(tǒng)的詳細安裝過程。
1、首先需要在VMWare中創(chuàng)建一個新的計算機，然后指定CentOS的鏡像路徑和用戶名和密碼。
2、指定當前虛擬機操作系統(tǒng)的存儲大小和內(nèi)存大小。
3、點擊完成VMware就進入了系統(tǒng)自動安裝的過程中，然后等待完成安裝就可以。
4、至此，我們已經(jīng)成功的安裝上了CentOS操作系統(tǒng)，然后安裝的過程中順便創(chuàng)建了一個新用戶Hadoop，這個賬戶就是我們后面安裝Hadoop集群環(huán)境所使用的賬號。
5、我們登陸到CentOS操作系統(tǒng)，然后進入系統(tǒng)的首先要做的事情就是：改計算機名！改計算機名！改計算機名！。
打開終端輸入界面，然后根據(jù)角色更改當前計算機的名稱。打開終端的方式是在右鍵——>Open In Terminal
- 輸入su命令，切換至root超級用戶，然后利用vim 命令編輯/etc/sysconfig/network文件。
- 然后編輯文件中的HOSTNAME，設置為我們提前規(guī)劃好的Master.Hadoop
至此，你的計算機名稱更改完畢！
6、在修改完成計算機名之后，我們需要做的就是設置固定IP,然后配置Host文件。
當然，這里有幾個知識點需要跟大家講解一下，就是關于網(wǎng)絡的配置，其實在VMware虛擬機中存在幾種網(wǎng)絡模式：
其實，這里最常用的就是第二種模式：NAT模式（N）:用于共享主機的IP地址，但是，這里我需要跟大家講解的是，其實在我們的生產(chǎn)環(huán)境中，每一臺虛擬機都是需要獨立配置IP的，為了最大限度的避免因為宿主機的網(wǎng)絡帶來的問題，在Hadoop集群中我們選擇第一種模式：橋接模式（B）:直接連接物理網(wǎng)絡。啥意思呢？意思就是很簡單，雖然你現(xiàn)在用的是虛擬機，但是把它當成物理機一樣，也給插上網(wǎng)線，連接到本地的網(wǎng)絡中去。
當然，如果選擇這種方式的前提是要保證你的局域網(wǎng)的網(wǎng)段和之前咱們規(guī)劃的IP是一致的，必須都是192.168.1.* 這種網(wǎng)段，這樣的目的很簡單就是宿主機和我們的虛擬機能夠直接通信，那就意味這主機能聯(lián)網(wǎng)，我們的虛擬機就能聯(lián)網(wǎng)。
然后，我們進入我們的虛擬機進行固定IP的設置。
我們利用界面進行設置，畢竟這種方式比較簡單易操作：
然后，根據(jù)我們之前的系統(tǒng)規(guī)劃，將我們的IP設置上，這里有一個選項一定要勾選上：Available to all users.我之前搭建集群的時候就因為這一個選擇折騰了我一天的時間??！這都是坑哈…記住了?。?！勾上??！
然后，就是驗證我們當前虛擬機是否能上網(wǎng)，IP是否能成功配置。
然后，確保能上網(wǎng)，畢竟咱們需要下載很多安裝包。
應該明白上面我輸入的含義吧、這貨是最常用的命令。
最后一定要記得修改我們的hosts文件，當然了在生產(chǎn)集群中一般都會有自己的DNS服務器，但是這里我們條件有限，就手動的配置下Host文件得了。
切換至root超級管理員賬戶，然后修改host文件，執(zhí)行以下命令：
保存文件，然后重啟一下服務器。至此，關于服務器的網(wǎng)絡我們已經(jīng)配置完成了。
7、上面我們完成了CentOS的基礎配置，確保了計算機能夠聯(lián)網(wǎng)，下面我們就需要下載Hadoop安裝包，然后進入Hadoop集群的搭建工作。
首先，我們需要下載安裝Hadoop集群環(huán)境中需要的Jdk包，因為Java編寫的嘛，然后下載Hadoop安裝包，所以我們切換到CentOS的Downloads目錄下：
cd /home/hadoop/Downloads
然后，下載我們所需要的安裝包，到這個目錄下：
cd /home/hadoop/Downloads/
我們找到相關的版本的java JDK和Hadoop版本包，這里我們選擇Hadoop 最新的安裝包，記住下載安裝包的時候一定要上Hadoop官網(wǎng)上下載，能避免很多不必要的麻煩。
CentOS中下載腳本如下：
wget //www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz
然后，我們下載JDK,這個上Oracle官網(wǎng)上，找到最新版本的JDK下載就可以了，同樣我們也保存到Downloads目錄中。
JDK下載腳本如下:
wget //download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x64.tar.gz
到此，我們已經(jīng)準備好了相關的安裝包，有圖有真相：
當然了，如果感覺這種方式比較麻煩，就直接下載到本地，然后拷貝到CentOS系統(tǒng)中就可以了，文章的最后我也會給出相關的下載包文件，再次提醒：一定要上官網(wǎng)下載！
8、上面完成了安裝包的下載，下面就是Hadoop配置了。
其實，關于Hadoop環(huán)境的配置分為兩步：1、Java環(huán)境配置；2、Hadoop配置。原因很簡單，因為Hadoop就是Java語言編寫的，所以一定要先配置好Java環(huán)境。
首先，我們來解壓剛才我們下載的JDK文件，然后配置環(huán)境變量。
解壓腳本如下，記住一點要在剛才咱們下載的Downloads文件夾下進行：
tar -zxvf jdk-8u101-linux-x64.tar.gz
如果這里一直報錯，或者沒法解壓，那說明你下載的JDK安裝包不完整，需要從新下載，或者你直接Windows環(huán)境下確保下載完成，順便解壓了。
所以，這里我就用了之前已經(jīng)下載的jdk版本，直接解壓就好了。
然后，上面我們已經(jīng)介紹過，一般將安裝的程序存入到系統(tǒng)的/usr目錄中，所以這里在usr目錄中創(chuàng)建一個Java目錄，然后配置環(huán)境變量。
上面的腳本需要在root超級用戶下進行創(chuàng)建，所以在執(zhí)行命令的需要先用su命令進行提權(quán)。創(chuàng)建完成之后，記得更改一下這個java新建目錄的權(quán)限。
chown hadoop:hadoop /usr/java/
上面的腳本就是將這個新建的java目錄，變更Owner，直接賦權(quán)給hadoop用戶。因為我們需要用這個用戶進行環(huán)境的搭建。我們來驗證下：
這里重點提示下：權(quán)限配置在linux系統(tǒng)中是一個很重的流程，一定要確保當前用戶能夠擁有文件的執(zhí)行權(quán)限，要不會出現(xiàn)各種莫名其妙的問題！?。?/p>
下面，我們來更改一下系統(tǒng)的環(huán)境變量，記得使用root用戶，編輯腳本：
添加，如下腳本：
# set java environment
export JAVA_HOME=/usr/java/jdk1.8.0_73
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
然后，將我們解壓好的java文件夾拷貝至我們新創(chuàng)建的文件夾，刷新該文件，驗證是否生效，腳本如下：
[root@Master Downloads]# cp -r jdk1.8.0_73 /usr/java/
[root@Master Downloads]# java -version
至此，我們的Java運行環(huán)境已經(jīng)配置完成。
Hadoop的安裝其實很簡單的，因為只需要配置好相應的幾個關鍵我文件就可以了。
首先，和上面的java配置類似，我們現(xiàn)在/usr目錄下創(chuàng)建一個hadoop文件夾，然后賦權(quán)給hadoop用戶，然后將我們下載的hadoop安裝包進行解壓，拷貝至我們新建的hadoop目錄，腳本如下：
--解壓Hadoop安裝包
tar -zxvf hadoop-2.6.4.tar.gz
--/usr目錄下，創(chuàng)建hadoop目錄
mkdir /usr/hadoop
--拷貝解壓后的hadoop安裝包
cp -r hadoop-2.6.4 /usr/hadoop
--賦權(quán)給Hadoop用戶
chown hadoop:hadoop /usr/hadoop/
我們下面就是需要對幾個關鍵的文件進行配置了，詳細步驟如下：
首先，我們先進入到我們要配置的hadoop安裝目錄中：
cd /usr/hadoop/hadoop-2.6.4/
這里提示一下，所有的咱們需要配置的文件都存放于hadoop安裝目錄的/etc/hadoop中，首先咱們來配置第一個文件core-site.xml
vim etc/hadoop/core-site.xml
添加以下內(nèi)容：
<configuration>
<!-- HDFS file path -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.50:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/hadoop/hadoop-2.6.4/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
<property>
</configuration>
上面的配置項很簡單，首先配置HDFS默認的連接地址，然后流文件的配置大小，默認是4K太小了，這里我們將這個值改的大一點，然后最后就是生成臨時結(jié)果的配置路徑，這里需要根據(jù)你的配置結(jié)果手動創(chuàng)建。
下面，我們就來創(chuàng)建該目錄，如果在生產(chǎn)環(huán)境中，我們需要將該配置的目錄指定到一個固定的配置目錄下，這里咱們方便演示就直接配置到Hadoop安裝目錄里面了。
腳本如下：
然后，咱來配置第二個文件hdfs-site.xml
vim etc/hadoop/hdfs-site.xml
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.1.50:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hadoop-2.6.4/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hadoop-2.6.4/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
這幾個參數(shù)解釋下含義：
<1>dfs.namenode.secondary.http-address ;這個含義就是SecondName的地址，在上一篇文章中我就分析過，這個是作為NameNode的一個備份，目的就是災備之用了。因為我們這個就一個機器所以都配置了相同的機器，只是用了不同的端口。
<2>dfs.namenode.name.dir 和 dfs.namenode.data.dir兩個配置指的是NameNode存儲的DataNode元數(shù)據(jù)的信息，這里需要配置兩個目錄一個是存放Name和Data目錄，稍后我們需要手動創(chuàng)建出這兩個目錄
<3>dfs.replication這個含義是數(shù)據(jù)文件塊（black）復制備份的個數(shù)，我們知道在HDFS分布式文件系統(tǒng)中，為了保證數(shù)據(jù)的完整性，底層的機制是需要多拷貝幾份數(shù)據(jù)分不到不同的計算機上的，目的同樣是災備。
<4>dfs.webhdfs.enabled這個指的是是否可以通過web站點進行Hdfs管理，后面我們會演示，如何通過頁面打開HDFS文件。
好，我們下面手動來創(chuàng)建上面的Name和Data的兩個目錄：
mkdir dfs
mkdir dfs/name
mkdir dfs/data
至此，我們第二個文件配置完成。
然后，咱來配置第三個文件mapred-site.xml
前面的兩個文件，都有現(xiàn)成的文件進行配置，但是，這第三個文件需要我們自己來創(chuàng)建，當然，Hadoop系統(tǒng)給我們提供了一個模板文件，所以我們拷貝形成一份新的就行了。
我們執(zhí)行cp命令，來創(chuàng)建一個新的mapred-site.xml文件。
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
然后，修改該文件。腳本如下：
vim etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.1.50:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.1.50:19888</value>
</property>
</configuration>
我們來解釋這幾個參數(shù)的含義：第一個就是制定當前Hadoop的并行運行計算架構(gòu)，這里為yarn,當然還有其它的運行架構(gòu)比如：spark等，第二個就是Job運行的歷史記錄Server,第三個就是歷史運行記錄的Web服務器。
然后，咱來配置第四個文件yarn-site.xml。
vim etc/hadoop/yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.1.50:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.1.50:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.1.50:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.1.50:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.1.50:8088</value>
</property>
這個yarn的配置參數(shù)我就不怎么解釋了，因為我們后續(xù)的調(diào)優(yōu)會一直圍繞這個文件進行。
至此，我們已經(jīng)完成了Hadoop四個配置文件的配置，然后，不要忘記了最重要的一點：配置Hadoop的jdk路徑，不指定是不能運行的。
hadoop-env.sh 和 yarn-env.sh 在開頭添加如下java環(huán)境變量：
export JAVA_HOME=/usr/java/jdk1.8.0_73
vim etc/hadoop/hadoop-env.sh
同樣的道理，我們來配置yarn-env.sh 文件。
好了，到此，我們已經(jīng)完成了Hadoop所有的配置文件，這個過程一定要小心認真。然后在最后放一個大招，我們知道我們需要制定這所有的文件Hadoop用戶都有執(zhí)行權(quán)限，所以我們將通過如下命令將Hadoop文件夾下所有的文件，進行Owner變更。
chown -R hadoop:hadoop /usr/hadoop/hadoop-2.6.4/
我再強調(diào)一遍，已經(jīng)要把權(quán)限配置好，要不后面的運行故障足夠把你玩死！！！
8、上面我們完成了Hadoop基礎配置，然后我們格式化文件，來啟動這個單節(jié)點的Hadoop集群。
到此，我們已經(jīng)完成了Hadoop的配置了，下面要做的就是格式化HDFS文件，然后啟動單節(jié)點的Hadoop集群。
- Hadoop 分布式存儲系統(tǒng)的HDFS格式化，記住了，這貨只能在初始化系統(tǒng)的時候用一次，一次就好了，要不執(zhí)行一次數(shù)據(jù)就丟失一次，我們來執(zhí)行以下命令：
bin/hadoop namenode -format
看到上面顯示的信息，那就說明你已經(jīng)成功執(zhí)行了，否則報什么錯誤，解決什么錯誤。一般錯誤的原因都是配置文件粗心導致的錯誤，自己仔細檢查就得了。
這里的驗證方式有兩點，第一點就是保證HDFS完整沒問題，驗證方式如下：
首先，啟動HDFS
然后，查看狀態(tài)
bin/hadoop dfsadmin -report
還有一種更直接的方式，直接打開瀏覽器查看：//192.168.1.50:50070/dfshealth.html#tab-overview
是不是很酷，這里可以直接查看分布式文件系統(tǒng)HDFS的各個狀態(tài)。有興趣的自己查看吧…我們接著驗證其它的內(nèi)容。
首先，我來啟動Hadoop集群，然后查看其狀態(tài)，腳本如下：
這次來個大招，直接打來瀏覽器瞅瞅，地址為：
至此，一款單機版的裝X神器Hadoop已經(jīng)被我們搭建成功，當然這只是單機版的后面我們會逐漸完善它，并且，將節(jié)點完全配置成功。
在完成到此的時候，已經(jīng)可以進行集群搭建了，然后后面的文章我將教你怎么搭建所謂的偽分布式…全分布式的大數(shù)據(jù)平臺。….淡定….不要著急…..
結(jié)語
此篇篇幅已經(jīng)超長度了，先到此吧，關于Hadoop大數(shù)據(jù)集群的搭建后續(xù)依次介紹，比如利用Zookeeper搭建Hadoop高可用平臺、Map-Reducer層序的開發(fā)、Hive產(chǎn)品的數(shù)據(jù)分析、Spark的應用程序的開發(fā)、Hue的集群壞境的集成和運維、Sqoop2的數(shù)據(jù)抽取等，有興趣的童鞋可以提前關注。
本篇主要介紹了搭建一個Hadoop單機集群，后面我們會逐漸完善它，我會教你如何一步步的搭建起完全分布式的Hadoop集群，然后教你如何使用它，騷年…不要捉急…讓思維飛一會…
有問題可以留言或者私信，隨時恭候有興趣的童鞋加大數(shù)據(jù)平臺深入研究。共同學習，一起進步。
來源：36大數(shù)據(jù)
標簽：
大數(shù)據(jù)數(shù)據(jù)分析Hadoop
本站文章除注明轉(zhuǎn)載外，均為本站原創(chuàng)或翻譯。歡迎任何形式的轉(zhuǎn)載，但請務必注明出處、不得修改原文相關鏈接，如果存在內(nèi)容上的異議請郵件反饋至chenjj@fc6vip.cn
金喜正規(guī)買球 
17次
相關產(chǎn)品
正式授權(quán)
最新文章 
金喜正規(guī)買球相關的文章 
微信
在線咨詢
渝公網(wǎng)安備
50010702500608號
客服熱線