網(wǎng)站首頁 編程語言 正文
一、GIL全局解釋器鎖
1、GIL鎖不是python的特點(diǎn)。而是cpython的特點(diǎn)。
2、在cpython解釋器中,GIL是一把互斥鎖,用來保證進(jìn)程中同一個(gè)時(shí)刻只有一個(gè)線程在執(zhí)行。
3、在沒有GIL鎖的情況下,有可能多線程在執(zhí)行一個(gè)代碼的同時(shí),垃圾回收機(jī)制對所執(zhí)行代碼的變量直接進(jìn)行回收,其他的線程再使用該變量時(shí)會(huì)導(dǎo)致運(yùn)行錯(cuò)誤。
二、為什么會(huì)有GIL鎖?
python使用引用計(jì)數(shù)為主,標(biāo)記清楚和隔代回收為輔來進(jìn)行內(nèi)存管理。所有python腳本中創(chuàng)建的對象,都會(huì)配備一個(gè)引用計(jì)數(shù),來記錄有多少個(gè)指針來指向它。當(dāng)對象的引用技術(shù)為0時(shí),會(huì)自動(dòng)釋放其所占用的內(nèi)存。
假設(shè)有2個(gè)python線程同時(shí)引用一個(gè)數(shù)據(jù)(a=100,引用計(jì)數(shù)為1),
2個(gè)線程都會(huì)去操作該數(shù)據(jù),由于多線程對同一個(gè)資源的競爭,實(shí)際上引用計(jì)數(shù)為3,
但是由于沒有GIL鎖,導(dǎo)致引用計(jì)數(shù)只增加1(引用計(jì)數(shù)為2)
這造成的后果是,當(dāng)?shù)?個(gè)線程結(jié)束時(shí),會(huì)把引用計(jì)數(shù)減少為1;當(dāng)?shù)?個(gè)線程結(jié)束時(shí),會(huì)把引用計(jì)數(shù)減少為0;
當(dāng)下一個(gè)線程再次視圖訪問這個(gè)數(shù)據(jù)時(shí),就無法找到有效的內(nèi)存了**
三、多線程無法利用多核優(yōu)勢?
由于GIL鎖的存在,即使是多個(gè)線程處理任務(wù),但是最終只有一個(gè)線程在工作,那么是不是多線程真的一點(diǎn)用處都沒有了呢?
對于需要執(zhí)行的任務(wù)來說,分為兩種:計(jì)算密集型、IO 密集型
假如一個(gè)計(jì)算密集型的任務(wù)需要10s的執(zhí)行時(shí)間,總共有4個(gè)這樣的任務(wù)
在 4核及以上的情況下:
多進(jìn)程:需要開啟 4 個(gè)進(jìn)程,但是 4 個(gè) CPU 并行,最終只需要消耗 10s 多一點(diǎn)的時(shí)間。
多線程:只需要開1 個(gè)進(jìn)程,這個(gè)進(jìn)程開啟 4 個(gè)線程,開啟線程所消耗的資源很少,但是由于最終執(zhí)行是只有一個(gè) CPU 可以工作,所以最終消耗 40s 多的時(shí)間。
假如是多個(gè) IO密集型 的任務(wù)
CPU 大多數(shù)時(shí)間是處于閑置狀態(tài),頻繁的切換
多進(jìn)程:進(jìn)程進(jìn)行切換需要消耗大量資源
多線程:線程進(jìn)行切換并不需要消耗大量資源
計(jì)算密集型和IO密集型
計(jì)算密集型:要進(jìn)行大量的數(shù)值計(jì)算,例如進(jìn)行上億的數(shù)字計(jì)算、計(jì)算圓周率、對視頻進(jìn)行高清解碼等等。這種計(jì)算密集型任務(wù)雖然也可以用多任務(wù)完成,但是花費(fèi)的主要時(shí)間在任務(wù)切換的時(shí)間,此時(shí)CPU執(zhí)行任務(wù)的效率比較低。
IO密集型:涉及到網(wǎng)絡(luò)請求(time.sleep())、磁盤IO的任務(wù)都是IO密集型任務(wù),這類任務(wù)的特點(diǎn)是CPU消耗很少,任務(wù)的大部分時(shí)間都在等待IO操作完成(因?yàn)镮O的速度遠(yuǎn)遠(yuǎn)低于CPU和內(nèi)存的速度)。對于IO密集型任務(wù),任務(wù)越多,CPU效率越高,但也有一個(gè)限度。
計(jì)算密集型——采用多進(jìn)程
執(zhí)行時(shí)間為: 4.062887668609619
from multiprocessing import Process
import time
def func1():
sum=0
for i in range(100000000):
sum+=1
print(sum)
if __name__ == '__main__':
now=time.time()
l=[]
for i in range(10):
p=Process(target=func1)
p.start()
l.append(p)
for p in l:
p.join()
end=time.time()
print('執(zhí)行時(shí)間為:',end-now)
計(jì)算密集型——采用多線程
執(zhí)行時(shí)間為: 27.6159188747406
from threading import Thread
import time
def func1():
sum=0
for i in range(100000000):
sum+=1
print(sum)
if __name__ == '__main__':
now=time.time()
l=[]
for i in range(10):
p=Thread(target=func1)
p.start()
l.append(p)
for p in l:
p.join()
end=time.time()
print('執(zhí)行時(shí)間為:',end-now)
IO密集型——采用多進(jìn)程
執(zhí)行時(shí)間為: 5.388434886932373
from multiprocessing import Process
import time
def func1():
time.sleep(2)
if __name__ == '__main__':
now=time.time()
l=[]
for i in range(100):
p=Process(target=func1)
p.start()
l.append(p)
for p in l:
p.join()
end=time.time()
print('執(zhí)行時(shí)間為:',end-now)
IO密集型——采用多線程
執(zhí)行時(shí)間為: 2.0174973011016846
from threading import Thread
import time
def func1():
time.sleep(2)
if __name__ == '__main__':
now=time.time()
l=[]
for i in range(100):
p=Thread(target=func1)
p.start()
l.append(p)
for p in l:
p.join()
end=time.time()
print('執(zhí)行時(shí)間為:',end-now)
四、總結(jié)
對于IO密集型應(yīng)用,即便有GIL存在,由于IO操作會(huì)導(dǎo)致GIL釋放,其他線程能夠獲得執(zhí)行權(quán)限。由于多線程的通訊成本低于多進(jìn)程,因此偏向使用多線程。
對于計(jì)算密集型應(yīng)用,由于CPU一直處于被占用狀態(tài),GIL鎖直到規(guī)定時(shí)間才會(huì)釋放,然后才會(huì)切換狀態(tài),導(dǎo)致多線程處于絕對的劣勢,此時(shí)可以采用多進(jìn)程+協(xié)程。
原文鏈接:https://blog.csdn.net/YZL40514131/article/details/127947074
相關(guān)推薦
- 2022-09-13 conda虛擬環(huán)境默認(rèn)路徑的修改方法_python
- 2022-05-02 Python+Flask編寫一個(gè)簡單的行人檢測API_python
- 2023-11-19 樹莓派/arm設(shè)備上安裝火狐Firefox瀏覽器
- 2022-07-22 服務(wù)器配置uWSGI+Nginx+Django
- 2022-11-19 Python變量和數(shù)據(jù)類型和數(shù)據(jù)類型的轉(zhuǎn)換_python
- 2022-04-16 python基礎(chǔ)之定義類和對象詳解_python
- 2022-12-01 C語言數(shù)據(jù)在內(nèi)存中的存儲流程深入分析_C 語言
- 2023-02-04 Android自定義view實(shí)現(xiàn)雪花特效實(shí)例代碼_Android
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細(xì)win安裝深度學(xué)習(xí)環(huán)境2025年最新版(
- Linux 中運(yùn)行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎(chǔ)操作-- 運(yùn)算符,流程控制 Flo
- 1. Int 和Integer 的區(qū)別,Jav
- spring @retryable不生效的一種
- Spring Security之認(rèn)證信息的處理
- Spring Security之認(rèn)證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權(quán)
- redisson分布式鎖中waittime的設(shè)
- maven:解決release錯(cuò)誤:Artif
- restTemplate使用總結(jié)
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實(shí)現(xiàn)加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務(wù)發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結(jié)構(gòu)-簡單動(dòng)態(tài)字符串(SD
- arthas操作spring被代理目標(biāo)對象命令
- Spring中的單例模式應(yīng)用詳解
- 聊聊消息隊(duì)列,發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠(yuǎn)程分支