国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 開發 > PHP > 正文

hadoop中一些常用的命令介紹

2024-05-04 23:10:06
字體:
來源:轉載
供稿:網友

假設Hadoop的安裝目錄HADOOP_HOME為/home/admin/hadoop。
啟動與關閉
啟動Hadoop
1.進入HADOOP_HOME目錄。
2.執行sh bin/start-all.sh

關閉Hadoop
1.進入HADOOP_HOME目錄。
2.執行sh bin/stop-all.sh
文件操作
Hadoop使用的是HDFS,能夠實現的功能和我們使用的磁盤系統類似。并且支持通配符,如*。

查看文件列表
查看hdfs中/user/admin/aaron目錄下的文件。
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -ls /user/admin/aaron
這樣,我們就找到了hdfs中/user/admin/aaron目錄下的文件了。
我們也可以列出hdfs中/user/admin/aaron目錄下的所有文件(包括子目錄下的文件)。
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -lsr /user/admin/aaron

創建文件目錄
查看hdfs中/user/admin/aaron目錄下再新建一個叫做newDir的新目錄。
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -mkdir /user/admin/aaron/newDir

刪除文件
刪除hdfs中/user/admin/aaron目錄下一個名叫needDelete的文件
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -rm /user/admin/aaron/needDelete
刪除hdfs中/user/admin/aaron目錄以及該目錄下的所有文件
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -rmr /user/admin/aaron

上傳文件
上傳一個本機/home/admin/newFile的文件到hdfs中/user/admin/aaron目錄下
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs –put /home/admin/newFile /user/admin/aaron/

下載文件
下載hdfs中/user/admin/aaron目錄下的newFile文件到本機/home/admin/newFile中
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile

查看文件
我們可以直接在hdfs中直接查看文件,功能與類是cat類似
查看hdfs中/user/admin/aaron目錄下的newFile文件
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs –cat /home/admin/newFile

MapReduce Job操作
提交MapReduce Job
原則上說,Hadoop所有的MapReduce Job都是一個jar包。
運行一個/home/admin/hadoop/job.jar的MapReduce Job
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

殺死某個正在運行的Job
假設Job_Id為:job_201005310937_0053
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop job -kill job_201005310937_0053

更多Hadoop的命令
上面介紹的這些Hadoop的操作命令是我們最常用的。如果你希望了解更多,可以按照如下的方式獲取命令的說明信息。
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop
我們可以看到更多命令的說明信息:

復制代碼 代碼如下:


Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -formatformat the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenoderun the DFS namenode
datanoderun a DFS datanode
dfsadminrun a DFS admin client
fsckrun a DFS filesystem checking utility
fsrun a generic filesystem user client
balancerrun a cluster balancing utility
jobtrackerrun the MapReduce job Tracker node
pipesrun a Pipes job
tasktrackerrun a MapReduce task Tracker node
jobmanipulate MapReduce jobs
queueget information regarding JobQueues
versionprint the version
jar <jar>run a jar file
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME <src>* <dest> create a hadoop archive
daemonlogget/set the log level for each daemon
or
CLASSNAMErun the class named CLASSNAME
Most commands print help when invoked w/o parameters.

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 赤水市| 合肥市| 金乡县| 锦州市| 海南省| 长岛县| 竹溪县| 台州市| 塔城市| 新津县| 醴陵市| 车致| 大关县| 崇文区| 江西省| 藁城市| 收藏| 洛浦县| 西宁市| 张家港市| 星子县| 阿瓦提县| 惠来县| 鹤岗市| 桂林市| 洛川县| 古田县| 永定县| 治县。| 台北市| 改则县| 辉县市| 娄底市| 弥勒县| 丹凤县| 泗阳县| 响水县| 赫章县| 奈曼旗| 临泉县| 田东县|