網(wǎng)站首頁(yè) 編程語(yǔ)言 正文
一、GIL全局解釋器鎖
1、GIL鎖不是python的特點(diǎn)。而是cpython的特點(diǎn)。
2、在cpython解釋器中,GIL是一把互斥鎖,用來(lái)保證進(jìn)程中同一個(gè)時(shí)刻只有一個(gè)線程在執(zhí)行。
3、在沒有GIL鎖的情況下,有可能多線程在執(zhí)行一個(gè)代碼的同時(shí),垃圾回收機(jī)制對(duì)所執(zhí)行代碼的變量直接進(jìn)行回收,其他的線程再使用該變量時(shí)會(huì)導(dǎo)致運(yùn)行錯(cuò)誤。
二、為什么會(huì)有GIL鎖?
python使用引用計(jì)數(shù)為主,標(biāo)記清楚和隔代回收為輔來(lái)進(jìn)行內(nèi)存管理。所有python腳本中創(chuàng)建的對(duì)象,都會(huì)配備一個(gè)引用計(jì)數(shù),來(lái)記錄有多少個(gè)指針來(lái)指向它。當(dāng)對(duì)象的引用技術(shù)為0時(shí),會(huì)自動(dòng)釋放其所占用的內(nèi)存。
假設(shè)有2個(gè)python線程同時(shí)引用一個(gè)數(shù)據(jù)(a=100,引用計(jì)數(shù)為1),
2個(gè)線程都會(huì)去操作該數(shù)據(jù),由于多線程對(duì)同一個(gè)資源的競(jìng)爭(zhēng),實(shí)際上引用計(jì)數(shù)為3,
但是由于沒有GIL鎖,導(dǎo)致引用計(jì)數(shù)只增加1(引用計(jì)數(shù)為2)
這造成的后果是,當(dāng)?shù)?個(gè)線程結(jié)束時(shí),會(huì)把引用計(jì)數(shù)減少為1;當(dāng)?shù)?個(gè)線程結(jié)束時(shí),會(huì)把引用計(jì)數(shù)減少為0;
當(dāng)下一個(gè)線程再次視圖訪問這個(gè)數(shù)據(jù)時(shí),就無(wú)法找到有效的內(nèi)存了**
三、多線程無(wú)法利用多核優(yōu)勢(shì)?
由于GIL鎖的存在,即使是多個(gè)線程處理任務(wù),但是最終只有一個(gè)線程在工作,那么是不是多線程真的一點(diǎn)用處都沒有了呢?
對(duì)于需要執(zhí)行的任務(wù)來(lái)說(shuō),分為兩種:計(jì)算密集型、IO 密集型
假如一個(gè)計(jì)算密集型的任務(wù)需要10s的執(zhí)行時(shí)間,總共有4個(gè)這樣的任務(wù)
在 4核及以上的情況下:
多進(jìn)程:需要開啟 4 個(gè)進(jìn)程,但是 4 個(gè) CPU 并行,最終只需要消耗 10s 多一點(diǎn)的時(shí)間。
多線程:只需要開1 個(gè)進(jìn)程,這個(gè)進(jìn)程開啟 4 個(gè)線程,開啟線程所消耗的資源很少,但是由于最終執(zhí)行是只有一個(gè) CPU 可以工作,所以最終消耗 40s 多的時(shí)間。
假如是多個(gè) IO密集型 的任務(wù)
CPU 大多數(shù)時(shí)間是處于閑置狀態(tài),頻繁的切換
多進(jìn)程:進(jìn)程進(jìn)行切換需要消耗大量資源
多線程:線程進(jìn)行切換并不需要消耗大量資源
計(jì)算密集型和IO密集型
計(jì)算密集型:要進(jìn)行大量的數(shù)值計(jì)算,例如進(jìn)行上億的數(shù)字計(jì)算、計(jì)算圓周率、對(duì)視頻進(jìn)行高清解碼等等。這種計(jì)算密集型任務(wù)雖然也可以用多任務(wù)完成,但是花費(fèi)的主要時(shí)間在任務(wù)切換的時(shí)間,此時(shí)CPU執(zhí)行任務(wù)的效率比較低。
IO密集型:涉及到網(wǎng)絡(luò)請(qǐng)求(time.sleep())、磁盤IO的任務(wù)都是IO密集型任務(wù),這類任務(wù)的特點(diǎn)是CPU消耗很少,任務(wù)的大部分時(shí)間都在等待IO操作完成(因?yàn)镮O的速度遠(yuǎn)遠(yuǎn)低于CPU和內(nèi)存的速度)。對(duì)于IO密集型任務(wù),任務(wù)越多,CPU效率越高,但也有一個(gè)限度。
計(jì)算密集型——采用多進(jìn)程
執(zhí)行時(shí)間為: 4.062887668609619
from multiprocessing import Process
import time
def func1():
sum=0
for i in range(100000000):
sum+=1
print(sum)
if __name__ == '__main__':
now=time.time()
l=[]
for i in range(10):
p=Process(target=func1)
p.start()
l.append(p)
for p in l:
p.join()
end=time.time()
print('執(zhí)行時(shí)間為:',end-now)
計(jì)算密集型——采用多線程
執(zhí)行時(shí)間為: 27.6159188747406
from threading import Thread
import time
def func1():
sum=0
for i in range(100000000):
sum+=1
print(sum)
if __name__ == '__main__':
now=time.time()
l=[]
for i in range(10):
p=Thread(target=func1)
p.start()
l.append(p)
for p in l:
p.join()
end=time.time()
print('執(zhí)行時(shí)間為:',end-now)
IO密集型——采用多進(jìn)程
執(zhí)行時(shí)間為: 5.388434886932373
from multiprocessing import Process
import time
def func1():
time.sleep(2)
if __name__ == '__main__':
now=time.time()
l=[]
for i in range(100):
p=Process(target=func1)
p.start()
l.append(p)
for p in l:
p.join()
end=time.time()
print('執(zhí)行時(shí)間為:',end-now)
IO密集型——采用多線程
執(zhí)行時(shí)間為: 2.0174973011016846
from threading import Thread
import time
def func1():
time.sleep(2)
if __name__ == '__main__':
now=time.time()
l=[]
for i in range(100):
p=Thread(target=func1)
p.start()
l.append(p)
for p in l:
p.join()
end=time.time()
print('執(zhí)行時(shí)間為:',end-now)
四、總結(jié)
對(duì)于IO密集型應(yīng)用,即便有GIL存在,由于IO操作會(huì)導(dǎo)致GIL釋放,其他線程能夠獲得執(zhí)行權(quán)限。由于多線程的通訊成本低于多進(jìn)程,因此偏向使用多線程。
對(duì)于計(jì)算密集型應(yīng)用,由于CPU一直處于被占用狀態(tài),GIL鎖直到規(guī)定時(shí)間才會(huì)釋放,然后才會(huì)切換狀態(tài),導(dǎo)致多線程處于絕對(duì)的劣勢(shì),此時(shí)可以采用多進(jìn)程+協(xié)程。
原文鏈接:https://blog.csdn.net/YZL40514131/article/details/127947074
相關(guān)推薦
- 2022-06-19 解決MybatisPlus?SqlServer?OFFSET?分頁(yè)問題_MsSql
- 2022-08-15 當(dāng)添加一個(gè)鍵值對(duì)元素時(shí),HashMap發(fā)生了什么?
- 2022-07-17 一起詳細(xì)聊聊C#中的Visitor模式_C#教程
- 2023-06-18 C#最小二乘法擬合曲線成直線的實(shí)例_C#教程
- 2024-01-09 IDEA錯(cuò)誤: 找不到或無(wú)法加載主類 com.atguigu.springcloud.EurekaS
- 2022-09-15 SQL?bool盲注和時(shí)間盲注詳解_MsSql
- 2023-07-10 如何用Nacos完成配置管理
- 2022-06-07 python數(shù)組的復(fù)制與列表中的pop_python
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細(xì)win安裝深度學(xué)習(xí)環(huán)境2025年最新版(
- Linux 中運(yùn)行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲(chǔ)小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎(chǔ)操作-- 運(yùn)算符,流程控制 Flo
- 1. Int 和Integer 的區(qū)別,Jav
- spring @retryable不生效的一種
- Spring Security之認(rèn)證信息的處理
- Spring Security之認(rèn)證過(guò)濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權(quán)
- redisson分布式鎖中waittime的設(shè)
- maven:解決release錯(cuò)誤:Artif
- restTemplate使用總結(jié)
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實(shí)現(xiàn)加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務(wù)發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結(jié)構(gòu)-簡(jiǎn)單動(dòng)態(tài)字符串(SD
- arthas操作spring被代理目標(biāo)對(duì)象命令
- Spring中的單例模式應(yīng)用詳解
- 聊聊消息隊(duì)列,發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠(yuǎn)程分支