日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學無先后,達者為師

網站首頁 編程語言 正文

shell命令執行hive腳本(hive交互)_linux shell

作者:longshenlmj ? 更新時間: 2022-04-28 編程語言

Hive執行方式

Hive的hql命令執行方式有三種:

1、CLI 方式直接執行
2、作為字符串通過shell調用hive –e執行(-S開啟靜默,去掉”OK”,”Time taken”)
3、作為獨立文件,通過shell調用 hive –f或hive –i執行執行

方式1

鍵入“hive”,啟動hive的cli交互模式。Set可以查看所有環境設置參數,并可以重設。其他命令如,
    Use database        選擇庫
    quit/exit   退出Hive的交互模式 
    set –v  顯示Hive中的所有變量
    set =       設置參數
    執行本地shell :!       交互模式下可執行shell命令,例如(查看linux根目錄下文件列表:"!ls -l /;")
    操作云命令:dfs < command>        交互模式下直接操作hadoop命令如 dfs fs –ls
    Hql語句       執行查詢并輸出到標準輸出
    add [FILE|JAR|ARCHIVE]  []*       增加一個文件到資源列表
    list FILE       列出所有已經添加的資源

方式二

Hql作為字符串在shell腳本中執行,如
    hive -e "use ${database};select * from tb"
查詢結果可以直接導出到本地本件(默認分隔符為\t):
    hive -e "select * from tb" > tb.txt

如果需要查看執行步驟,則在命令前面添加

set –x

另外,在shell腳本中,字符串有兩種定義方式:

1) ?直接定義字符串對象:sql=”字符串”

2) ?通過命令定義:sql=$(cat <

####### execute hive ######
sql=$(cat <

方式三

將hql語句保存為獨立文件,后綴名不限制,可以用.q或者.hql作為標識:
? ? A,這個文件在cli模式下,用source命令執行,如:source ./mytest.hql
? ? B,在shell中執行命令,如:hive -f ?mytest.sql

Hive指定預執行文件命令“hive –i”(或叫初始化文件)

命令:hive -i hive-script.sql
在hive啟動cli之前,先執行指定文件(hive-script.sql)中的命令。
也就是說,允許用戶在cli啟動時預先執行一個指定文件,比如,有一些常用的環境參數設置,頻繁執行的命令,可以添加在初始化文件中,比如,
    某些參數設置
        set mapred.queue.names=queue3;
        SET mapred.reduce.tasks=14;
    添加udf文件
        add JAR ./playdata-hive-udf.jar;
    設置Hive的日志級別 
        hive -hiveconf hive.root.logger=INFO;

原文鏈接:https://blog.csdn.net/longshenlmj/article/details/50542683

欄目分類
最近更新