網(wǎng)站首頁 編程語言 正文
Hive在內(nèi)存不足以存儲(chǔ)所有數(shù)據(jù)時(shí),會(huì)使用外存,而Impala也是如此:錯(cuò)
作者:黃佳俊、 更新時(shí)間: 2022-02-04 編程語言內(nèi)存使用:
Hive: 在執(zhí)行過程中如果內(nèi)存放不下所有數(shù)據(jù),則會(huì)使用外存,以保證Query能順序執(zhí)行完。每一輪MapReduce結(jié)束,中間結(jié)果也會(huì)寫入HDFS中,同樣由于MapReduce執(zhí)行架構(gòu)的特性,shuffle過程也會(huì)有寫本地磁盤的操作。
Impala: 在遇到內(nèi)存放不下數(shù)據(jù)時(shí),當(dāng)前版本0.1是直接返回錯(cuò)誤,而不會(huì)利用外存,以后版本應(yīng)該會(huì)進(jìn)行改進(jìn)。這使用得Impala目前處理Query會(huì)受到一定的限制,最好還是與Hive配合使用。Impala在多個(gè)階段之間利用網(wǎng)絡(luò)傳輸數(shù)據(jù),在執(zhí)行過程不會(huì)有寫磁盤的操作(insert除外)。
原文鏈接:https://blog.csdn.net/weixin_48419914/article/details/122441532
相關(guān)推薦
- 2023-10-10 ant tree拖動(dòng)排序 實(shí)現(xiàn)同級(jí)拖動(dòng) 和 跨級(jí)拖動(dòng)
- 2022-03-28 詳解Asp.net?5中的ApplicationBuilder_基礎(chǔ)應(yīng)用
- 2022-09-16 JQuery實(shí)現(xiàn)電梯導(dǎo)航效果_jquery
- 2022-09-09 React前端DOM常見Hook封裝示例下_React
- 2022-08-27 python?中defaultdict()對(duì)字典進(jìn)行初始化的用法介紹_python
- 2022-12-31 C++淺析序列數(shù)據(jù)封裝與優(yōu)化實(shí)現(xiàn)方法_C 語言
- 2022-05-17 Spring Cloud OpenFeign源碼解析
- 2022-06-07 FreeRTOS實(shí)時(shí)操作系統(tǒng)結(jié)構(gòu)示例_操作系統(tǒng)
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細(xì)win安裝深度學(xué)習(xí)環(huán)境2025年最新版(
- Linux 中運(yùn)行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲(chǔ)小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎(chǔ)操作-- 運(yùn)算符,流程控制 Flo
- 1. Int 和Integer 的區(qū)別,Jav
- spring @retryable不生效的一種
- Spring Security之認(rèn)證信息的處理
- Spring Security之認(rèn)證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權(quán)
- redisson分布式鎖中waittime的設(shè)
- maven:解決release錯(cuò)誤:Artif
- restTemplate使用總結(jié)
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實(shí)現(xiàn)加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務(wù)發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結(jié)構(gòu)-簡(jiǎn)單動(dòng)態(tài)字符串(SD
- arthas操作spring被代理目標(biāo)對(duì)象命令
- Spring中的單例模式應(yīng)用詳解
- 聊聊消息隊(duì)列,發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠(yuǎn)程分支