日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學(xué)無先后,達(dá)者為師

網(wǎng)站首頁 編程語言 正文

Hive在內(nèi)存不足以存儲(chǔ)所有數(shù)據(jù)時(shí),會(huì)使用外存,而Impala也是如此:錯(cuò)

作者:黃佳俊、 更新時(shí)間: 2022-02-04 編程語言

內(nèi)存使用:
Hive: 在執(zhí)行過程中如果內(nèi)存放不下所有數(shù)據(jù),則會(huì)使用外存,以保證Query能順序執(zhí)行完。每一輪MapReduce結(jié)束,中間結(jié)果也會(huì)寫入HDFS中,同樣由于MapReduce執(zhí)行架構(gòu)的特性,shuffle過程也會(huì)有寫本地磁盤的操作。
Impala: 在遇到內(nèi)存放不下數(shù)據(jù)時(shí),當(dāng)前版本0.1是直接返回錯(cuò)誤,而不會(huì)利用外存,以后版本應(yīng)該會(huì)進(jìn)行改進(jìn)。這使用得Impala目前處理Query會(huì)受到一定的限制,最好還是與Hive配合使用。Impala在多個(gè)階段之間利用網(wǎng)絡(luò)傳輸數(shù)據(jù),在執(zhí)行過程不會(huì)有寫磁盤的操作(insert除外)。

原文鏈接:https://blog.csdn.net/weixin_48419914/article/details/122441532

欄目分類
最近更新