首頁技術(shù)文章正文

什么是HDFS Shell?HDFS常用命令操作方法

更新時(shí)間:2021-04-28 來源:黑馬程序員 瀏覽量:

1577370495235_學(xué)IT就到黑馬程序員.gif


Shell在計(jì)算機(jī)科學(xué)中俗稱“殼”,是提供給使用者使用界面的進(jìn)行與系統(tǒng)交互的軟件,通過接收用戶輸入的命令執(zhí)行相應(yīng)的操作,Shell分為圖形界面Shell和命令行式Shell。

HDFS Shell包含類似Shell的命令,示例如下:

hadoop fs <args>

hadoop dfs <args>

hdfs dfs <args>

上述命令中,“hadoop fs”是使用面最廣,可以操作任何文件系統(tǒng),如本地系統(tǒng)、HDFS等,“hadoop dfs”則主要針對(duì)HDFS文件系統(tǒng),已經(jīng)被“hdfs dfs”代替。

文件系統(tǒng)(FS)Shell包含了各種的類shell的命令,可以直接與Hadoop分布式文件系統(tǒng)以及其他文件系統(tǒng)進(jìn)行交互,如與Local FS、HTTP FS、S3 FS文件系統(tǒng)交互等。通過命令行的方式進(jìn)行交互,具體操作常用命令,如表1所示。

表1 HDFS Shell參數(shù)

命令參數(shù)功能描述
-ls                                            查看指定路徑的目錄結(jié)構(gòu)                                                       
-du統(tǒng)計(jì)目錄下所有文件大小
-mv移動(dòng)文件
-cp復(fù)制文件
-rm刪除文件/空白文件夾
-put上傳文件
-cat查看文件內(nèi)容
-text將源文件輸出為文本格式
-mkdir創(chuàng)建空白文件夾
-help幫助
從表3-1可以看出,HDFS支持的命令行很多,但這里只列舉常用的一部分,如果需要了解全部命令或使用過程中遇到問題都可以使用“hadoop fs –help”命令獲取幫助文檔,也可以通過Hadoop官方文檔:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html學(xué)習(xí),接下來對(duì)這些常用的命令進(jìn)行操作演示。

1.ls命令

ls命令用于查看指定路徑的當(dāng)前目錄結(jié)構(gòu),類似于Linux系統(tǒng)中的ls命令,其語法格式如下:

hadoop fs –ls [-d] [-h] [-R] <args>

其中,各項(xiàng)參數(shù)說明如下:

l -d:將目錄顯示為普通文件。

l -h:使用便于操作人員讀取的單位信息格式。

l -R:遞歸顯示所有子目錄的信息。

示例代碼如下:

$ hadoop fs -ls /

上述示例代碼,執(zhí)行完成后會(huì)展示HDFS根目錄下的所有文件及文件夾,如圖1所示。

什么是HDFS Shell?HDFS常用命令操作方法

圖1 ls命令效果

2.mkdir命令

mkdir命令用于在指定路徑下創(chuàng)建子目錄,其中創(chuàng)建的路徑可以采用URI格式進(jìn)行指定,與Linux命令mkdir相同,可以創(chuàng)建多級(jí)目錄,其語法格式如下:

hadoop fs –mkdir [-p] <paths>

其中-p參數(shù)表示創(chuàng)建子目錄使先檢查路徑是否存在,如果不存在,則創(chuàng)建相應(yīng)的各級(jí)目錄。

示例代碼如下:

$ hadoop fs -mkdir -p /itcast/hadoop
上述示例代碼,是在HDFS系統(tǒng)的根目錄下創(chuàng)建“itcast/hadoop”層級(jí)文件夾,“-p”參數(shù)表示遞歸創(chuàng)建路徑中的各級(jí)目錄。執(zhí)行命令后效果如圖2所示。

什么是HDFS Shell?HDFS常用命令操作方法

圖2 mkdir命令效果

3.put命令

put命令用于將本地系統(tǒng)的文件或文件夾復(fù)制到HDFS系統(tǒng)上去,其語法格式如下:

hadoop fs -put [-f] [-p] <locationsrc> <det>

其中各項(xiàng)說明如下:

-f:覆蓋目標(biāo)文件-p:保留訪問和修改時(shí)間、權(quán)限

示例代碼如下:

$ hadoop fs -put -f install.log /

上述指令執(zhí)行成功后查詢HDFS根目錄效果如圖3所示。

什么是HDFS Shell?HDFS常用命令操作方法

圖3 put命令效果



猜你喜歡:

Spark Shell讀取HDFS文件的步驟有哪些?

HDFS究竟是什么?HDFS是怎樣儲(chǔ)存數(shù)據(jù)的?

BFC布局規(guī)則介紹,哪些元素會(huì)生成 BFC?    

shell腳本編輯教程下載【黑馬程序員】

黑馬程序員Python+大數(shù)據(jù)開發(fā)培訓(xùn)

分享到:
在線咨詢 我要報(bào)名
和我們?cè)诰€交談!