本文主要介绍 HDFS 常用的命令行基础操作命令,且直接给出操作示例。
Hadoop fs
与 hdfs dfs
的区别
Hadoop fs
使用范围更广,而 hdfs dfs
只适用于HDFS,因此以下操作均使用 hadoop fs
操作
基础命令
切换为hdfs用户
1 | su hdfs |
查看help信息
1 | hadoop fs -help |
查看目录
1 | hadoop fs -ls /tmp |
创建文件夹
1 | hadoop fs -mkdir /tmp/test |
创建级联文件夹
1 | hadoop fs -mkdir -p /tmp/test/a/b/c |
上传文件
1 | hadoop fs -put /home/test/1.txt /tmp/test/1.txt |
查看文件内容
1 | hadoop fs -cat /tmp/test/1.txt |
复制HDFS文件
1 | hadoop fs -cp /tmp/test/1.txt /tmp/test/a/1.txt |
移动HDFS文件
1 | hadoop fs -mv /tmp/test/a/1.txt /tmp/test/a/b/1.txt |
下载HDFS文件
1 | hadoop fs -get /tmp/test/1.txt /tmp/1.txt |
追加文件内容
1 | hadoop fs -appendToFile /home/test/2.txt /tmp/test/1.txt |
修改文件权限
1 | hadoop fs -chmod 755 /tmp/test/1.txt |
查看文件夹大小
1 | hadoop fs -du -h /tmp/test |
查看文件夹中文件/夹大小
1 | hadoop fs -du -s -h /tmp |
统计指定文件夹中文件信息
1 | hadoop fs -count /tmp |
删除文件
1 | hadoop fs -rm /tmp/test/1.txt |
删除文件夹
1 | hadoop fs -rm -r /tmp/test |