Hadoop中HDFS文件系统下的Shell操作

论坛 期权论坛 脚本     
匿名技术用户   2020-12-27 02:28   114   0

执行start-all.sh启动Hadoop,启动完成后使用jps命令可以看到开启了5个Java进程,NameNode,SecondaryNameNode,DataNode,JobTracker和TaskTracker。


对HDFS文件系统进行Shell操作,无非就是查看,新建文件文件夹等习以为常的命令。

1.查看目录文件

hadoop fs -ls / 查看hdfs根目录下的文件


hadoop fs -lsr / 进行递归查看文件



关于第2列代表该文件的副本数,文件夹没有副本

hadoop fs -mkdir /dir 创建文件夹



hadoop fs -put Linux下源文件路径 hdfs中的路径: 上传文件到HDFS文件系统中



如果HDFS中已经存在该文件,那么直接上传会报错,文件不会被覆盖。如果第二个路径是个文件夹,那么会上传到文件夹中,如果不存在,那么会生成一个文件而非新建一个文件夹。

hadoop fs -get <hdfs 文件路径> <linux路径> :下载文件到本地



hadoop fs -text <HDFS文件> 直接查看HDFS文件


hadoop fs -rm <HDFS文件> 删除文件

hadoop fs -rmr <HDFS文件夹> 删除文件

其他命令 使用 hadoop fs



帮助命令 hadoop fs -help 命令



其他的类似,如使用hadoop job 即可显示hadoop 中关于Job的一些命令


分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:7942463
帖子:1588486
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP