模型訓(xùn)練時(shí)GPU利用率太低的原因

最近在訓(xùn)練SSD模型時(shí)發(fā)現(xiàn)GPU的利用率只有8%，而CPU的利用率卻非常高。

后來(lái)了解到，一般使用CPU進(jìn)行數(shù)據(jù)的讀取和預(yù)處理，而使用GPU進(jìn)行模型的正向傳播和反向傳播。由于CPU數(shù)據(jù)讀取跟不上（讀到內(nèi)存+多線(xiàn)程+二進(jìn)制文件），而GPU的處理速度太快，導(dǎo)致GPU的利用率不高。

最后總結(jié)一下，有的時(shí)候模型訓(xùn)練慢并不是因?yàn)轱@卡不行或者模型太大，而是在跑模型過(guò)程中有一些其他的操作導(dǎo)致速度很慢，尤其是文件的IO操作，這會(huì)導(dǎo)致GPU得不到連續(xù)性使用，整體速度特別慢。

問(wèn)題的解決辦法

1，關(guān)閉一些日志記錄，減少日志IO操作頻率。

2，NVIDA提供了DALI庫(kù)，可以將數(shù)據(jù)處理轉(zhuǎn)移到GPU上。

模型訓(xùn)練GPU利用率低，占用低怎么破

GPU 的顯存占用和算力利用直接影響模型的訓(xùn)練速度

GPU 顯存占用低問(wèn)題

1、提高batch_size

2、提高模型輸入尺寸

3、增加模型深度

推薦：優(yōu)先提高batch_size, 其他方法會(huì)對(duì)模型結(jié)構(gòu)產(chǎn)生影響

GPU利用率低問(wèn)題

1、提高線(xiàn)程數(shù)

2、打開(kāi)pin_memory

# 在pytorch 加載數(shù)據(jù)時(shí)提高線(xiàn)程數(shù)，打開(kāi)pin_memory
torch.utils.data.DataLoader(image_datasets[x],
? ? ? ? ? ? ? ? ? ? ? ? ? ? batch_size=batch_size,?
? ? ? ? ? ? ? ? ? ? ? ? ? ? shuffle=True,
? ? ? ? ? ? ? ? ? ? ? ? ? ? num_workers=8,
? ? ? ? ? ? ? ? ? ? ? ? ? ? pin_memory=True)

總結(jié)