安裝完linux后,我們繼續(xù)(VMWare 安裝 Linux http://blog.csdn.net/hanjun0612/article/details/55095955)
這里我們開始學(xué)習(xí)安裝 hadoop
如果你是 Ubuntu desktop版本,
那么直接在主界面 按下 Ctrl+alt+T 調(diào)出 終端界面,這樣就和 server版一樣可以使用命令安裝了。
安裝hadoop
(參照如下鏈接,這兩篇教程簡單明了,推薦看一下,
當(dāng)然樓主也拷貝過來方便大家查閱,并且根據(jù)自己的安裝包修改了幾處)
參考 http://www.cnblogs.com/kinglau/p/3794433.html
http://www.powerxing.com/install-hadoop/
增加hadoop用戶組,同時(shí)在該組里增加hadoop用戶,后續(xù)在涉及到hadoop操作時(shí),我們使用該用戶。
sudo adduser -ingroup hadoop hadoop
回車后會提示輸入新的UNIX密碼,這是新建用戶hadoop的密碼,輸入回車即可。
如果不輸入密碼,回車后會重新提示輸入密碼,即密碼不能為空。
最后確認(rèn)信息是否正確,如果沒問題,輸入 Y,回車即可。
輸入:sudo gedit /etc/sudoers
回車,打開sudoers文件
給hadoop用戶賦予和root用戶同樣的權(quán)限

添加這句話,如下圖 hadoop ALL=(ALL:ALL) ALL

sudo apt-get install openssh-server

安裝完成后,啟動服務(wù)
sudo /etc/init.d/ssh start
查看服務(wù)是否正確啟動:ps -e | grep ssh

設(shè)置免密碼登錄,生成私鑰和公鑰
ssh-keygen -t rsa -P ""

此時(shí)會在/home/hadoop/.ssh下生成兩個文件:id_rsa和id_rsa.pub,前者為私鑰,后者為公鑰。
下面我們將公鑰追加到authorized_keys中,它用戶保存所有允許以當(dāng)前用戶身份登錄到ssh客戶端用戶的公鑰內(nèi)容。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

登錄ssh
ssh localhost

退出
exit
sudo apt-get install openjdk-7-jdk

查看安裝結(jié)果,輸入命令:java -version,結(jié)果如下表示安裝成功。

下載 “stable” 下的 hadoop-2.x.y.tar.gz 這個格式的文件
兩種安裝方法(樓主用的第二種)
方法一,解壓
sudo tar xzf hadoop-2.4.0.tar.gz
假如我們要把hadoop安裝到/usr/local下
拷貝到/usr/local/下,文件夾為hadoop
sudo mv hadoop-2.4.0 /usr/local/hadoop

賦予用戶對該文件夾的讀寫權(quán)限
sudo chmod 774 /usr/local/hadoop

方法二,(記得修改命令中你的hadoop版本)
我們選擇將 Hadoop 安裝至 /usr/local/ 中:
sudo tar -zxf ~/下載/hadoop-2.6.0.tar.gz -C /usr/local # 解壓到/usr/local中cd /usr/local/sudo mv ./hadoop-2.6.0/ ./hadoop # 將文件夾名改為hadoopsudo chown -R hadoop ./hadoop # 修改文件權(quán)限Shell 命令Hadoop 解壓后即可使用。輸入如下命令來檢查 Hadoop 是否可用,成功則會顯示 Hadoop 版本信息:
cd /usr/local/hadoop./bin/hadoop version安裝結(jié)束~~~準(zhǔn)備進(jìn)入配置階段
3、配置
1)配置~/.bashrc
配置該文件前需要知道Java的安裝路徑,用來設(shè)置JAVA_HOME環(huán)境變量,可以使用下面命令行查看安裝路徑
update-alternatives - -config java
執(zhí)行結(jié)果如下:
![]()
完整的路徑為
/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java
我們只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64
配置.bashrc文件
sudo gedit ~/.bashrc
此處分為2個方法(樓主使用第二個方法)
方法一,該命令會打開該文件的編輯窗口,在文件末尾追加下面內(nèi)容,然后保存,關(guān)閉編輯窗口。
#HADOOP VARIABLES START
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
最終結(jié)果如下圖:
2)編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh
執(zhí)行下面命令,打開該文件的編輯窗口
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
找到JAVA_HOME變量,修改此變量如下
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
修改后的hadoop-env.sh文件如下所示:
PS: 樓主是使用下面這個方法的,只在bashrc頭部添加一句就好了
方法二
先運(yùn)行
dpkg -L openjdk-7-jdk | grep '/bin/javac'Shell 命令該命令會輸出一個路徑,除去路徑末尾的 “/bin/javac”,剩下的就是正確的路徑了。如輸出路徑為 /usr/lib/jvm/java-7-openjdk-amd64/bin/javac,則我們需要的路徑為 /usr/lib/jvm/java-7-openjdk-amd64。
然后運(yùn)行 sudo gedit ~/.bashrc
在文件最前面添加如下單獨(dú)一行(注意 = 號前后不能有空格),將“JDK安裝路徑”改為上述命令得到的路徑,并保存:
(也就是之前運(yùn)行 dpkg -L openjdk-7-jdk | grep '/bin/javac' 命令后出現(xiàn)的路徑去除/bin/javac)
export JAVA_HOME=JDK安裝路徑Shell如下圖所示(該文件原本可能不存在,內(nèi)容為空,這不影響):
執(zhí)行下面命,使添加的環(huán)境變量生效:
source ~/.bashrc
設(shè)置好后我們來檢驗(yàn)一下是否設(shè)置正確:
echo $JAVA_HOME # 檢驗(yàn)變量值java -version$JAVA_HOME/bin/java -version # 與直接執(zhí)行 java -version 一樣Shell 命令如果設(shè)置正確的話,
$JAVA_HOME/bin/java -version會輸出 java 的版本信息,且和java -version的輸出結(jié)果一樣,如下圖所示:
成功配置JAVA_HOME變量
這樣,Hadoop 所需的 Java 運(yùn)行環(huán)境就安裝好了。
六、WordCount測試
單機(jī)模式安裝完成,下面通過執(zhí)行hadoop自帶實(shí)例WordCount驗(yàn)證是否安裝成功
先執(zhí)行:cd /usr/local/hadoop 跳轉(zhuǎn)到此目錄,然后才能執(zhí)行 mkdir input 命令
/usr/local/hadoop路徑下創(chuàng)建input文件夾
mkdir input
拷貝README.txt到input
cp README.txt input
執(zhí)行WordCount
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output
(PS:運(yùn)行這一句時(shí),要看一下自己的jar是多少版本的,我們下載的應(yīng)該是2.7.3
所以替換后:bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.3-sources.jar org.apache.hadoop.examples.WordCount input output
)
執(zhí)行結(jié)果:
執(zhí)行 cat output/*,查看字符統(tǒng)計(jì)結(jié)果
|
新聞熱點(diǎn)
疑難解答