国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 操作系統 > 正文

hadoop生產集群離線datanode(遇到的問題及解決方法)

2024-06-28 16:01:52
字體:
來源:轉載
供稿:網友

1、修改namenode節點的hdfs-site.xml(master主機)

<PRoperty>           <name>dfs.hosts.exclude</name>           <value>file_path</value>   </property> 2、file_path文件中存儲要離線的幾點名稱3、執行命令 hdfs dfsadmin -refreshNodes 問題:執行到最發現50070界面數據塊不發生變化,查看namenode發現問題:2017-02-08 15:19:10,145 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in need of 1 to reach 2 (unavailableStorages=[DISK, ARCHIVE], storagePolicy=BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}, newBlock=false) All required storage types are unavailable:  unavailableStorages=[DISK, ARCHIVE], storagePolicy=BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}  原因:namenode中記錄的文件副本數和實際存儲的副本數不一致,可以使用 hadoop fsck / >test.log命令檢查解決方法: hdfs hadoop dfs -setrep -w 2 -R / 將機器中文件的副本數統一 然后再執行hadoop fsck / >test1.log檢查,看是否有Missing4、然后重新執行hdfs dfsadmin -refreshNodes5、退役完成(block 轉移結束),后續hadoop會自動刪除datanode上的數據,也可以直接停掉datanode,手動刪除數據

下線tasktracker or nodemanager(過程與下線datanode類似,一下列舉不同點)

如下配置項到mapred-site.xml

[html] view plain copy<property>            <name>mapred.hosts.exclude</name>            <value>mrhosts.exclude</value>  </property>  yarn rmadmin -refreshNodes 若沒啟用yarn,即下線tasktracker時執行:hadoop mradmin -refreshNodes


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 衡阳市| 山东省| 大同县| 台北县| 金门县| 永宁县| 蒙阴县| 玉屏| 神池县| 北海市| 巴楚县| 东城区| 德保县| 宣威市| 赤峰市| 蒲城县| 平乐县| 满洲里市| 保山市| 泸定县| 太仆寺旗| 茶陵县| 循化| 枣强县| 盈江县| 平利县| 怀安县| 炉霍县| 天镇县| 伊宁县| 交口县| 财经| 岫岩| 石泉县| 博兴县| 尤溪县| 且末县| 奉化市| 漳州市| 泊头市| 平乡县|