国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 網站 > 幫助中心 > 正文

centos7搭建hadoop2.10高可用(HA)

2024-07-09 22:43:23
字體:
來源:轉載
供稿:網友

本篇介紹在centos7中搭建hadoop2.10高可用集群,首先準備6臺機器:2臺nn(namenode);4臺dn(datanode);3臺jns(journalnodes)

IP hostname 進程
192.168.30.141 s141 nn1(namenode),zkfc(DFSZKFailoverController),zk(QuorumPeerMain)
192.168.30.142 s142 dn(datanode), jn(journalnode),zk(QuorumPeerMain)
192.168.30.143 s143 dn(datanode), jn(journalnode),zk(QuorumPeerMain)
192.168.30.144 s144 dn(datanode), jn(journalnode)
192.168.30.145 s145 dn(datanode)
192.168.30.146 s146 nn2(namenode),zkfc(DFSZKFailoverController)

各個機器 jps進程:

由于本人使用的是vmware虛擬機,所以在配置好一臺機器后,使用克隆,克隆出剩余機器,并修改hostname和IP,這樣每臺機器配置就都統一了每臺機器配置添加hdfs用戶及用戶組,配置jdk環境,安裝hadoop,本次搭建高可用集群在hdfs用戶下,可以參照:centos7搭建hadoop2.10偽分布模式

下面是安裝高可用集群的一些步驟和細節:

1.設置每臺機器的hostname 和 hosts

修改hosts文件,hosts設置有后可以使用hostname訪問機器,這樣比較方便,修改如下:

127.0.0.1 locahost192.168.30.141 s141192.168.30.142 s142192.168.30.143 s143192.168.30.144 s144192.168.30.145 s145192.168.30.146 s146

2.設置ssh無密登錄,由于s141和s146都為namenode,所以要將這兩臺機器無密登錄到所有機器,最好hdfs用戶和root用戶都設置無密登錄

我們將s141設置為nn1,s146設置為nn2,就需要s141、s146能夠通過ssh無密登錄到其他機器,這樣就需要在s141和s146機器hdfs用戶下生成密鑰對,并將s141和s146公鑰發送到其他機器放到~/.ssh/authorized_keys文件中,更確切的說要將公鑰添加的所有機器上(包括自己)

在s141和s146機器上生成密鑰對:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

將id_rsa.pub文件內容追加到s141-s146機器的/home/hdfs/.ssh/authorized_keys中,現在其他機器暫時沒有authorized_keys文件,我們就將id_rsa.pub更名為authorized_keys即可,如果其他機器已存在authorized_keys文件可以將id_rsa.pub內容追加到該文件后,遠程復制可以使用scp命令:

s141機器公鑰復制到其他機器

scp id_rsa.pub hdfs@s141:/home/hdfs/.ssh/id_rsa_141.pubscp id_rsa.pub hdfs@s142:/home/hdfs/.ssh/id_rsa_141.pubscp id_rsa.pub hdfs@s143:/home/hdfs/.ssh/id_rsa_141.pubscp id_rsa.pub hdfs@s144:/home/hdfs/.ssh/id_rsa_141.pubscp id_rsa.pub hdfs@s145:/home/hdfs/.ssh/id_rsa_141.pubscp id_rsa.pub hdfs@s146:/home/hdfs/.ssh/id_rsa_141.pub

s146機器公鑰復制到其他機器

scp id_rsa.pub hdfs@s141:/home/hdfs/.ssh/id_rsa_146.pubscp id_rsa.pub hdfs@s142:/home/hdfs/.ssh/id_rsa_146.pubscp id_rsa.pub hdfs@s143:/home/hdfs/.ssh/id_rsa_146.pubscp id_rsa.pub hdfs@s144:/home/hdfs/.ssh/id_rsa_146.pubscp id_rsa.pub hdfs@s145:/home/hdfs/.ssh/id_rsa_146.pubscp id_rsa.pub hdfs@s146:/home/hdfs/.ssh/id_rsa_146.pub
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 开原市| 黑龙江省| 南开区| 比如县| 通道| 富平县| 白城市| 确山县| 剑河县| 临泽县| 长沙市| 蓬安县| 韶关市| 巢湖市| 凌源市| 德清县| 龙陵县| 麻江县| 和田县| 乌鲁木齐县| 铁力市| 当雄县| 玉龙| 西乌珠穆沁旗| 大渡口区| 磴口县| 攀枝花市| 徐汇区| 会理县| 泸州市| 安福县| 芦山县| 太湖县| 山东省| 汉中市| 永平县| 诸暨市| 唐海县| 临汾市| 满城县| 平定县|