国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 系統(tǒng) > Fedora > 正文

fedora20安裝hadoop-2.5.1

2024-06-28 13:24:08
字體:
供稿:網(wǎng)友
fedora20安裝hadoop-2.5.1

(博客園-番茄醬原創(chuàng))

首先感謝作者lxdhdgss,他的博文直接幫助了我如何安裝hadoop,下面是他的博文修改版,用于安裝在fedora20上面的,jdk1.8版本。

到hadoop官網(wǎng)去copy一下鏈接地址(hadoop2.5.1的地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz),在終端wget url(下載鏈接地址),會直接下載到當前目錄下。然后解壓,tar xvf apache-hadoop-2.5.1.tar.gz,解壓下載的tar.gz。會看到一個名為hadoop-2.5.1的文件夾,把它拷貝到自己平時安裝軟件的地方,比如我是/opt/lib64/下面,命令是mv hadoop-2.5.1 /opt/lib64/。

注意:下面修改的時候,大家不會用vi,就用gedit來代替吧,可視化操作,簡潔明了。如vi xxx可以換成gedit xxx

下面就需要對Hadoop進行設置了。

首先vi /etc/PRofile,增加

bash代碼

1     #設置jdk的安裝路徑2     export java_HOME=/opt/lib64/jdk1.8.0_203     #指定CLASSPATH和PATH4     export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib5     export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin6     #設置的hadoop的環(huán)境變量7     export HADOOP_HOME=/opt/lib64/hadoop-2.5.18     export PATH=$HADOOP_HOME/bin:$PATH9     export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH

保存退出(按下ESC,然后再按下這三個:wq)

哦,別忘了在終端執(zhí)行命令下source /etc/profile,讓修改過的profile馬上生效。

然后進入hadoop下面的etc/hadoop/(不是系統(tǒng)的etc,是hadoop下面的etc,這是一個配置文件夾),用ls命令,可以看到有很多配置文件。

先vi hadoop-env.shbash代碼export JAVA_HOME=/opt/lib64/jdk1.8.0_20vi yarn-env.sh bash代碼export JAVA_HOME=/opt/lib64/jdk1.8.0_20

vi core-site.xml

 <configuration>     <property>     <name>fs.default.name</name>    <value>hdfs://localhost:9000</value>   </property>  <property>   <name>hadoop.tmp.dir</name>   <value>/home/hadoop/xxx/tmp </value></property> </configuration> 

保存退出(按下ESC,然后再按下這三個:wq)

vi hdfs-site.xml

Xml代碼

 1 <configuration>   2   <property>   3      <name>dfs.namenode.name.dir</name>   4     <value>file:/home/hadoop/dfs/name</value>   5   </property>   6   <property>   7      <name>dfs.namenode.data.dir</name>   8      <value>file:/home/hadoop/dfs/data</value>   9   </property>  10   <property>  11      <name>dfs.replication</name>  12      <value>1</value>  13   </property>  14 </configuration>

保存退出(按下ESC,然后再按下這三個:wq)

----------------------------按照hadoop官網(wǎng)上面的配置-----------------------

vi mapred-site.xml

Xml代碼

<configuration>     <property>          <name>mapreduce.jobtracker.address</name>          <value>localhost:9001</value>     </property>     <property>         <name>mapreduce.framework.name</name>         <value>yarn</value>     </property></configuration>

保存退出(按下ESC,然后再按下這三個:wq)

vi yarn-site.xml:

Xml代碼

1 <configuration>2     <property>3         <name>yarn.nodemanager.aux-services</name>4         <value>mapreduce_shuffle</value>5     </property>6 </configuration>

保存退出(按下ESC,然后再按下這三個:wq)

-------------------------------------------------------------------------------

-------------------------補充---------------ssh免登陸設置

還有就是:由于原文沒有設置如何面驗證登陸ssh,這邊給與補充。

由于fedora已經(jīng)默認安裝了openssh,所以不用再此安裝ssh了。直接直接配置以下就可以了

配置 SSH 免密碼登陸 ,下面是bash命令,直接在終端輸入(最好是root身份,如何root?只要終端輸入su,然后root的密碼就可以登陸root賬戶了)

  1. ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
  2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  3. chmod 600 ~/.ssh/authorized_keys
  4. sudo service sshd restart

就可以了。到此就大功告成了

-----------------------------------------------------------------------------

好了,現(xiàn)在可以啟動看看了

先格式化,這個很重要。

bash命令
  1. hadoopnamenode-format

這句話基本上就是把目前你的hadoop系統(tǒng)確定一下結(jié)構(gòu),我們的hadoop系統(tǒng)中,一般是一個namenode+多個datanode。

namenode相當于顧客房間表,datanode相當于具體的房間。

然后啟動hadoop吧。

到hadoop的根目錄,

bash命令
  1. sbin/start-dfs.sh

然后再啟動yarn,因為2.5.0的版本,早就已經(jīng)是以yarn這種更好的架構(gòu)來運行了。

終端顯示Starting namenodes on [localhost]root@localhost's passWord: localhost: starting namenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-namenode-localhost.localdomain.outroot@localhost's password: localhost: starting datanode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-datanode-localhost.localdomain.outStarting secondary namenodes [0.0.0.0]root@0.0.0.0's password: 0.0.0.0: starting secondarynamenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-secondarynamenode-localhost.localdomain.out

終端顯示
  1. sbin/start-yarn.sh

然后查看一下開啟的進程

bash命令
  1. jps
終端顯示 [root@localhost hadoop-2.5.1]# jps30305 DataNode26243 org.eclipse.equinox.launcher_1.3.0.v20140415-2008.jar26645 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar30583 SecondaryNameNode8216 ResourceManager30092 NameNode30831 Jps8511 NodeManager

說明hadoop已經(jīng)啟動成功。

打開hdfs管理頁面,查看hdfs系統(tǒng):

在瀏覽器打開http://localhost:50070,可看到hadoop的管理界面,導航欄的最后一項還可以查看hadoop里面的文件。

我們來試著傳個文件,到/home下面,新建一個文件,vim test.txt,隨便寫些東西。保存。

然后把這個文件上傳。

打開job管理頁面,查看job的運行情況:

由于這個是hadoop2.5.1版本,貌似以前的http://localhost:50030換成了現(xiàn)在的http://localhost:8088,所以需要查看jod的運行情況,需要在瀏覽器打開localhost:8088

現(xiàn)在的ResourceManager和NodeManager代替了原來的JobTracker和TaskTracker

bash命令
  1. hadoopfs-puttest.txt/test.first (表示將本地的text放置在dfs根目錄下,并且名為test.first可以隨意命名)

在瀏覽器的后臺刷新看看有沒有test.first(打開http://localhost:50070,選擇utilties在點擊browse the file system)。

你也可以先給hadoop建立目錄

bash命令
  1. hadoopfs-mkdir/xxx

上面的上傳文件也可以變成這樣:

bash命令
  1. hadoopfs-puttest.txt/xxx/test.txt

其他的操作,大家自己去試吧。

特別感謝lxdhdgss,他的博文地址是:http://www.CUOxin.com/topic/1135085

(官網(wǎng)有英文版的配置說明,大家可以參照http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Configuration)


發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 布尔津县| 津南区| 安泽县| 石首市| 龙游县| 昔阳县| 嘉荫县| 潮安县| 宜良县| 会同县| 额济纳旗| 弥渡县| 邯郸县| 通化县| 乳山市| 大厂| 林甸县| 平和县| 东明县| 芮城县| 区。| 佛山市| 伊川县| 西乌珠穆沁旗| 措美县| 温州市| 北海市| 汤原县| 鹤峰县| 哈密市| 高密市| 资中县| 天峨县| 永善县| 昆明市| 金山区| 岑巩县| 辉南县| 岱山县| 宁海县| 洞口县|