0%

HDFS 命令行基本操作

本文主要介绍 HDFS 常用的命令行基础操作命令,且直接给出操作示例。

Hadoop fshdfs dfs 的区别

Hadoop fs 使用范围更广,而 hdfs dfs 只适用于HDFS,因此以下操作均使用 hadoop fs 操作

基础命令

切换为hdfs用户

1
su hdfs

查看help信息

1
hadoop fs -help

查看目录

1
hadoop fs -ls /tmp

创建文件夹

1
hadoop fs -mkdir /tmp/test

创建级联文件夹

1
hadoop fs -mkdir -p /tmp/test/a/b/c

上传文件

1
hadoop fs -put /home/test/1.txt /tmp/test/1.txt

查看文件内容

1
hadoop fs -cat /tmp/test/1.txt

复制HDFS文件

1
hadoop fs -cp /tmp/test/1.txt /tmp/test/a/1.txt

移动HDFS文件

1
hadoop fs -mv /tmp/test/a/1.txt /tmp/test/a/b/1.txt

下载HDFS文件

1
hadoop fs -get /tmp/test/1.txt /tmp/1.txt

追加文件内容

1
hadoop fs -appendToFile /home/test/2.txt /tmp/test/1.txt

修改文件权限

1
2
hadoop fs -chmod 755 /tmp/test/1.txt
hadoop fs -chown erik:hdfs /tmp/test/1.txt

查看文件夹大小

1
hadoop fs -du -h /tmp/test

查看文件夹中文件/夹大小

1
hadoop fs -du -s -h /tmp

统计指定文件夹中文件信息

1
2
hadoop fs -count /tmp
[文件夹总数] [文件总数] [文件总大小] [指定文件夹]

删除文件

1
hadoop fs -rm /tmp/test/1.txt

删除文件夹

1
hadoop fs -rm -r /tmp/test