網站首頁 編程語言 正文
前言:
隨著大數據平臺的不斷發展,我們對hadoop使用也越來越多。同時hadoop許多命令在使用時會產生遺忘和參數選擇的問題出現。本文將hadoop平臺上的hdfs與yarn常用命令進行匯總解釋。
一? hdfs基本語法
hadoop中hdfs命令格式分為兩種,一種為hadoop fs 具體命令或者是 hdfs dfs 具體命令。兩種格式都能夠實現對hdfs進行操作,且實現效果是完全相同。
二? hdfs常用命令
2.1 文件的上傳與下載
命令 | 解釋 | 示例 |
-moveFromLocal | 從本地剪切到HDFS文件系統 | hadoop fs? -moveFromLocal dir1 dir2 |
-copyFromLocal | 從本地拷貝(復制)到HDFS文件系統 | hadoop fs? -copyFromLocal dir1 dir2 |
-put | 從本地拷貝(復制)到HDFS文件系統 | hadoop fs -put dir1 dir2 |
-appendToFile | 追加一個文件到已經存在的文件末尾 | hadoop fs -appendToFile dir1 dir2 |
-copyToLocal | 從HDFS下載文件到本地系統 |
hadoop fs -copyToLocal dir1 dir2 |
-get | 從HDFS下載文件到本地系統 | hadoop fs -get dir1 dir2 |
2.2 HDFS對文件直接操作
命令 | 解釋 | 示例 |
-ls | 顯示目錄信息 | hadoop fs -ls dir1 |
-cat | 顯示文件內容 | hadoop fs -cat dir1 |
-chgrp,-chomd,-chown | 修改文件權限(與liunx 系統使用方式一樣) |
hadoop fs -chmod 777 |
-mkdir | 創建路徑 | hadoop fs -mkdir dir1 |
-cp | 從一個位置復制文件到另一個位置 | hadoop fs -cp dir1 dir2 |
-mv | 在HDFS目錄中移動文件 | hadoop fs -mv dir1 dir2 |
-tail | 顯示一個文件的末尾 1kb的數據 |
hadoop fs -tail dir1 |
-rm | 刪除文件或文件夾 | hadoop fs -rm dir1 |
-rm -r | 遞歸刪除目錄及目錄里面的內容 | hadoop fs -rm -r dir1 |
-du | 統計文件夾的大小信息 | hadoop fs -du dir1 |
-setrep | 設置HDFS中文件的副本數量 | hadoop fs -setrep 10 dir1 |
二? ?Yarn常用命令
????????Yarn狀態的查詢,可以在對應的客戶端頁面進行查看,還可以通過命令操作,常用命令如下所示。
2.1 yarn application 查看任務
命令 | 解釋 |
yarn application -list | 列出所有的Application |
yarn application -list -appStates 狀態有(ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED) |
根據Application狀態進行過濾展示 |
yarn application -kill <ApplicationId> | 根據applicationid號kill掉application |
2.2 yarn logs查看日志
命令 | 解釋 |
yarn logs -applicationId <ApplicationId> | 查看對應的application日志 |
yarn logs -applicationId <ApplicationId> -containerId <ContainerId> |
查看對應container日志 |
2.3?yarn applicationattempt查看嘗試運行的任務
命令 | 解釋 |
yarn applicationattempt -list <ApplicationId> | 列出所有Application嘗試的列表 |
yarn applicationattempt -status <ApplicationAttemptId> | 打印ApplicationAttemp狀態 |
2.4? yarn container查看容器
命令 | 解釋 |
yarn container -list <ApplicationAttemptId> | 列出所有Container |
yarn container -status <ContainerId> | 打印Container狀態 |
2.5??yarn node查看節點狀態
命令 | 解釋 |
yarn node -list -all | 列出所有節點信息 |
2.6??yarn rmadmin更新配置?yarn queue查看隊列
命令 | 解釋 |
yarn rmadmin -refreshQueues | 加載隊列配置 |
yarn queue -status <QueueName> | 打印隊列信息 |
yarn的主要使用還是在客戶端頁面8088對其進行直接操作。
hdfs文件系統很多命令與liunx命令的使用方式相同,可以在客戶端進行操作也可以在命令行進行操作。
原文鏈接:https://blog.csdn.net/m0_58258383/article/details/126044240
- 上一篇:Yarn調度器與調度算法
- 下一篇:HadoopWindows下客戶端環境配置
相關推薦
- 2022-12-29 React點擊事件的兩種寫法小結_React
- 2023-12-13 統計Excel單元格中某個字符出現的次數
- 2022-11-08 PostgreSQL長事務與失效的索引查詢淺析介紹_PostgreSQL
- 2022-08-22 pytorch深度神經網絡入門準備自己的圖片數據_python
- 2022-06-21 分享四個python接口常用封裝函數_python
- 2023-02-02 C++示例講解觀察者設計模式_C 語言
- 2022-07-20 用C語言實現掃雷
- 2022-03-07 深入淺析C/C++語言結構體指針的使用注意事項_C 語言
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支