Hadoopfs-du詳解

一、hadoopfs-du概述

hadoopfs-du是一款用來統計Hadoop分散式文件系統（HDFS）中目錄/文件大小的命令行工具。它可以幫助用戶快速了解HDFS中數據的存儲情況，方便用戶進行數據管理和調優。

hadoopfs-du可以顯示文件/目錄的名稱、大小和父目錄，可以遞歸查詢子目錄下的文件/目錄並顯示他們的大小總和，還可以顯示特定目錄下文件/目錄的大小，以便用戶能夠針對性地進行數據維護和管理。

二、hadoopfs-du使用方法

使用hadoopfs-du非常簡單，只需要在命令行輸入「hadoopfs-du」命令即可。具體的語法格式如下：

hadoopfs-du [-s] [-h] [-c] URI [...]

其中，「-s」選項表示遞歸查詢子目錄下的文件/目錄大小，如果不加此選項，則默認只顯示指定目錄的大小；

「-h」選項表示以可讀性較好的方式顯示文件/目錄大小，可選的單位有B、K、M、G、T和P；

「-c」選項表示顯示指定目錄/文件大小的同時，還要顯示其子目錄/文件的大小總和；

最後的「URI」指的是要查詢的目錄/文件路徑，可以同時查詢多個目錄/文件，不同的目錄/文件之間用空格隔開。

例如，要查詢HDFS根目錄和user目錄下文件/目錄的大小，可以在命令行輸入如下命令：

hadoopfs-du / /user

三、hadoopfs-du示例

下面是一個示例，展示如何使用hadoopfs-du命令來查詢HDFS中文件/目錄的大小:

# 查詢HDFS根目錄的大小
$ hadoopfs-du /
/home/user/root
1264245       /user
6             /tmp
0             /var
36            /boot
0             /run
1             /dev
0             /proc
31439         /opt
2             /sys
0             /mnt
0             /srv
3             /media
0027ffd3866fc156834f2cc28e673fda  /etc
0             /root
0             /selinux
2             /home
0             /sbin
0             /usr
0             /bin
0             /lib
0             /lib64
0             /run/user/0
0             /run/user/1000
1287107       /

# 以MB為單位顯示/home/user目錄下文件/目錄的大小，包括子目錄
$ hadoopfs-du -sch /home/user
674.3M        /home/user/.cache
98.8M         /home/user/.local
3.1G          /home/user/Documents
2.2G          /home/user/Downloads
3.0K          /home/user/Public
1.9G          /home/user/Videos
22.9M         /home/user/gitrepo
9.1M          /home/user/pictures
222.8M        /home/user/music
10.5G         /home/user/
10.5G         total

四、hadoopfs-du注意事項

使用hadoopfs-du需要注意以下幾點：

1、hadoopfs-du只能查詢HDFS文件系統中的文件/目錄，不能查詢本地文件系統中的文件/目錄；

2、hadoopfs-du會發送查詢請求到網路中的所有節點，如果網路質量不好或者HDFS集群規模較大，可能會導致查詢的響應時間較長；

3、hadoopfs-du查詢結果只包括指定目錄/文件本身的大小，不包括其他元數據信息（例如文件創建時間、修改時間、擁有者、許可權等）；

4、hadoopfs-du查詢結果默認以位元組（B）為單位顯示，如果要以其他單位顯示（例如MB、GB等），需要使用「-h」選項。