網(wǎng)站首頁 編程語言 正文
推薦閱讀
Python 給下載文件顯示進(jìn)度條和下載時(shí)間的實(shí)現(xiàn)
requets普通方法
下載大型文件時(shí),我們一般都是這樣下載的
import requests url = "" r = requests.get(url) with open('1.mp4', 'wb') as f: f.write(r.content)
這樣下載大型文件時(shí)存在一個(gè)問題,那就是內(nèi)存使用量迅速上升,可能會造成電腦卡死。所以我們需要換一個(gè)方式進(jìn)行下載
流下載
我們可以使用文本流進(jìn)行下載.
在requests
模塊中有一個(gè)這樣的方法Response.iter_content()
Response響應(yīng)對象的一個(gè)方法
iter_content(chunk_size=1, decode_unicode=False)
在響應(yīng)數(shù)據(jù)上進(jìn)行重做。當(dāng)stream=True
設(shè)置在請求上時(shí),這可以避免立即將內(nèi)容讀入內(nèi)存以獲得大響應(yīng)。塊大小是它應(yīng)該讀入內(nèi)存的字節(jié)數(shù)。這不一定是每個(gè)返回的項(xiàng)目的長度,因?yàn)榻獯a可以進(jìn)行。
chunk_size
必須是類型 int 或 None。值為None時(shí)會因stream的值而異。stream-True將讀取數(shù)據(jù)的字塊大小與接收的區(qū)塊相同。如果stream=False,則數(shù)據(jù)將作為單個(gè)塊返回。
如果decode_unicode
設(shè)置為真,響應(yīng)內(nèi)容將根據(jù)使用最佳編碼進(jìn)行解碼。
需要在get請求上設(shè)置參數(shù)stream為True,它不會立即開始下載,當(dāng)使用iter_content遍歷內(nèi)容或訪問內(nèi)容屬性時(shí)才開始下載。
代碼實(shí)現(xiàn):
url = "" r = requests.get(url, headers=header, stream=True) with open('1.mp4', "wb") as f: for chunk in r.iter_content(chunk_size=1024): if chunk: f.write(chunk)
加個(gè)進(jìn)度條模塊
# 進(jìn)度條模塊 def progressbar(url,path): if not os.path.exists(path): # 看是否有該文件夾,沒有則創(chuàng)建文件夾 os.mkdir(path) start = time.time() #下載開始時(shí)間 response = requests.get(url, stream=True) #stream=True必須寫上 size = 0 #初始化已下載大小 chunk_size = 1024 # 每次下載的數(shù)據(jù)大小 content_size = int(response.headers['content-length']) # 下載文件總大小 try: if response.status_code == 200: #判斷是否響應(yīng)成功 print('Start download,[File size]:{size:.2f} MB'.format(size = content_size / chunk_size /1024)) #開始下載,顯示下載文件大小 filepath = path+'\name.extension name' #設(shè)置圖片name,注:必須加上擴(kuò)展名 with open(filepath,'wb') as file: #顯示進(jìn)度條 for data in response.iter_content(chunk_size = chunk_size): file.write(data) size +=len(data) print('\r'+'[下載進(jìn)度]:%s%.2f%%' % ('>'*int(size*50/ content_size), float(size / content_size * 100)) ,end=' ') end = time.time() #下載結(jié)束時(shí)間 print('Download completed!,times: %.2f秒' % (end - start)) #輸出下載用時(shí)時(shí)間 except:
現(xiàn)原理其實(shí)很簡單,我們一般下載東西使用的requests.get(url).content的方法下載來的文件是二進(jìn)制文件,我們只要通過for循環(huán)每次下載1024kb,到最后獲取文件的總大小,即可完成我們的功能實(shí)現(xiàn)了!.
參考文獻(xiàn)
https://blog.csdn.net/m0_46778548/article/details/121180585
https://blog.csdn.net/weixin_43347550/article/details/105248223
原文鏈接:https://blog.csdn.net/weixin_35770067/article/details/127623920
相關(guān)推薦
- 2022-08-29 教你nginx跳轉(zhuǎn)配置的四種方式_nginx
- 2022-05-29 簡單聊聊Golang中defer預(yù)計(jì)算參數(shù)_Golang
- 2022-12-01 C/C++細(xì)數(shù)宏與函數(shù)有那些區(qū)別_C 語言
- 2022-08-10 .Net使用Cancellation?Framework取消并行任務(wù)_實(shí)用技巧
- 2022-04-15 關(guān)于pyinstaller生成.exe程序報(bào)錯(cuò):缺少.ini文件的分析_python
- 2022-09-05 Redis 數(shù)據(jù)刪除策略
- 2022-04-21 Tomcat中catalina.out?和?catalina.log的區(qū)別和用途詳解_Tomcat
- 2022-06-13 Python學(xué)習(xí)之線程池與GIL全局鎖詳解_python
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細(xì)win安裝深度學(xué)習(xí)環(huán)境2025年最新版(
- Linux 中運(yùn)行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎(chǔ)操作-- 運(yùn)算符,流程控制 Flo
- 1. Int 和Integer 的區(qū)別,Jav
- spring @retryable不生效的一種
- Spring Security之認(rèn)證信息的處理
- Spring Security之認(rèn)證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權(quán)
- redisson分布式鎖中waittime的設(shè)
- maven:解決release錯(cuò)誤:Artif
- restTemplate使用總結(jié)
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實(shí)現(xiàn)加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務(wù)發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結(jié)構(gòu)-簡單動態(tài)字符串(SD
- arthas操作spring被代理目標(biāo)對象命令
- Spring中的單例模式應(yīng)用詳解
- 聊聊消息隊(duì)列,發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠(yuǎn)程分支