日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學無先后,達者為師

網站首頁 編程語言 正文

Hadoop中hdfs與yarn命令大全

作者:雜亂無章的我 更新時間: 2022-07-30 編程語言

前言

隨著大數據平臺的不斷發展,我們對hadoop使用也越來越多。同時hadoop許多命令在使用時會產生遺忘和參數選擇的問題出現。本文將hadoop平臺上的hdfs與yarn常用命令進行匯總解釋。

一? hdfs基本語法

hadoop中hdfs命令格式分為兩種,一種為hadoop fs 具體命令或者是 hdfs dfs 具體命令。兩種格式都能夠實現對hdfs進行操作,且實現效果是完全相同。

二? hdfs常用命令

2.1 文件的上傳與下載

文件的上傳與下載
命令 解釋 示例
-moveFromLocal 從本地剪切到HDFS文件系統 hadoop fs? -moveFromLocal dir1 dir2
-copyFromLocal 從本地拷貝(復制)到HDFS文件系統 hadoop fs? -copyFromLocal dir1 dir2
-put 從本地拷貝(復制)到HDFS文件系統 hadoop fs -put dir1 dir2
-appendToFile 追加一個文件到已經存在的文件末尾 hadoop fs -appendToFile dir1 dir2
-copyToLocal

從HDFS下載文件到本地系統

hadoop fs -copyToLocal dir1 dir2
-get 從HDFS下載文件到本地系統 hadoop fs -get dir1 dir2

2.2 HDFS對文件直接操作

文件直接操作
命令 解釋 示例
-ls 顯示目錄信息 hadoop fs -ls dir1
-cat 顯示文件內容 hadoop fs -cat dir1
-chgrp,-chomd,-chown

修改文件權限(與liunx

系統使用方式一樣)

hadoop fs -chmod 777
-mkdir 創建路徑 hadoop fs -mkdir dir1
-cp 從一個位置復制文件到另一個位置 hadoop fs -cp dir1 dir2
-mv 在HDFS目錄中移動文件 hadoop fs -mv dir1 dir2
-tail

顯示一個文件的末尾

1kb的數據

hadoop fs -tail dir1
-rm 刪除文件或文件夾 hadoop fs -rm dir1
-rm -r 遞歸刪除目錄及目錄里面的內容 hadoop fs -rm -r dir1
-du 統計文件夾的大小信息 hadoop fs -du dir1
-setrep 設置HDFS中文件的副本數量 hadoop fs -setrep 10 dir1

二? ?Yarn常用命令

????????Yarn狀態的查詢,可以在對應的客戶端頁面進行查看,還可以通過命令操作,常用命令如下所示。

2.1 yarn application 查看任務

yarn application 查看任務命令
命令 解釋
yarn application -list 列出所有的Application

yarn application -list -appStates

狀態有(ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED)

根據Application狀態進行過濾展示
yarn application -kill <ApplicationId> 根據applicationid號kill掉application

2.2 yarn logs查看日志

yarn logs查看日志
命令 解釋
yarn logs -applicationId <ApplicationId> 查看對應的application日志

yarn logs -applicationId <ApplicationId>

-containerId <ContainerId>

查看對應container日志

2.3?yarn applicationattempt查看嘗試運行的任務

yarn applicationattempt查看嘗試運行的任務
命令 解釋
yarn applicationattempt -list <ApplicationId> 列出所有Application嘗試的列表
yarn applicationattempt -status <ApplicationAttemptId> 打印ApplicationAttemp狀態

2.4? yarn container查看容器

yarn container查看容器
命令 解釋
yarn container -list <ApplicationAttemptId> 列出所有Container
yarn container -status <ContainerId> 打印Container狀態

2.5??yarn node查看節點狀態

yarn node查看節點狀態
命令 解釋
yarn node -list -all 列出所有節點信息

2.6??yarn rmadmin更新配置?yarn queue查看隊列

命令 解釋
yarn rmadmin -refreshQueues 加載隊列配置
yarn queue -status <QueueName> 打印隊列信息

yarn的主要使用還是在客戶端頁面8088對其進行直接操作。

hdfs文件系統很多命令與liunx命令的使用方式相同,可以在客戶端進行操作也可以在命令行進行操作。

原文鏈接:https://blog.csdn.net/m0_58258383/article/details/126044240

欄目分類
最近更新