日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學(xué)無先后,達者為師

網(wǎng)站首頁 編程語言 正文

Hive在內(nèi)存不足以存儲所有數(shù)據(jù)時,會使用外存,而Impala也是如此:錯

作者:黃佳俊、 更新時間: 2022-02-04 編程語言

內(nèi)存使用:
Hive: 在執(zhí)行過程中如果內(nèi)存放不下所有數(shù)據(jù),則會使用外存,以保證Query能順序執(zhí)行完。每一輪MapReduce結(jié)束,中間結(jié)果也會寫入HDFS中,同樣由于MapReduce執(zhí)行架構(gòu)的特性,shuffle過程也會有寫本地磁盤的操作。
Impala: 在遇到內(nèi)存放不下數(shù)據(jù)時,當(dāng)前版本0.1是直接返回錯誤,而不會利用外存,以后版本應(yīng)該會進行改進。這使用得Impala目前處理Query會受到一定的限制,最好還是與Hive配合使用。Impala在多個階段之間利用網(wǎng)絡(luò)傳輸數(shù)據(jù),在執(zhí)行過程不會有寫磁盤的操作(insert除外)。

原文鏈接:https://blog.csdn.net/weixin_48419914/article/details/122441532

欄目分類
最近更新