日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學(xué)無先后，達(dá)者為師

網(wǎng)站首頁 編程語言 正文

解決Python?httpx?運(yùn)行過程中無限阻塞的問題_python

作者：多多魚啊 ? 更新時(shí)間： 2022-12-26 編程語言

Python httpx 運(yùn)行過程中無限阻塞

requests 模塊只支持 http1，在遇到 http2 的數(shù)據(jù)接口的時(shí)候（某乎的搜索接口），需要采用支持http2 請求的模塊（如 httpx、hyper）。

本文是針對 httpx 在請求數(shù)據(jù)時(shí)，出現(xiàn)無限阻塞問題的一些處理方法。

httpx 的 timeout 有 bug，會(huì)導(dǎo)致腳本在運(yùn)行一段時(shí)間后，出現(xiàn)線程阻塞卡死的問題（無限 timeout）。

1.通過 pm2 部署腳本

另外啟動(dòng)一個(gè)腳本，定時(shí)對該腳本進(jìn)行重啟操作。

舉個(gè)栗子：

import time
import os

while True:
? ? time.sleep(60 * 60) # 一小時(shí)重啟一次
? ? os.system('pm2 restart test') ?

這個(gè)方法有個(gè)不好的地方，在請求過程中，可能需要翻很多頁，如果不斷重啟腳本，可能導(dǎo)致無法翻到最后一頁。

2.通過裝飾器給函數(shù)設(shè)置一個(gè)最大執(zhí)行超時(shí)時(shí)間

當(dāng)函數(shù)執(zhí)行時(shí)間超過某個(gè)時(shí)間就拋出 TimeOut 異常

from func_timeout import func_set_timeout
import func_timeout
import time

@func_set_timeout(5) ?# 函數(shù)最大執(zhí)行時(shí)間 5s
def test():
? ? time.sleep(20)

def run():
? ? try:
? ? ? ? test()
? ? ? ? print('test 函數(shù)執(zhí)行完成')
? ? except func_timeout.exceptions.FunctionTimedOut:
? ? ? ? print('test 函數(shù)執(zhí)行超時(shí)')
run()

如上面例子那樣，在 httpx.Client 所在函數(shù)設(shè)置一個(gè)額外等待時(shí)間，當(dāng)該函數(shù)執(zhí)行時(shí)間超過某個(gè)時(shí)間，就強(qiáng)制拋出 timeout 異常，避免程序無限阻塞。

python爬蟲httpx的用法

安裝命令：pip install httpx

請求方式

  • GET
import httpx
?
headers = {'user-agent': 'my-app/1.0.0'}
params = {'key1': 'value1', 'key2': 'value2'}
url = 'https://httpbin.org/get'
r = httpx.get(url, headers=headers, params=params)
  • POST
r = httpx.post('https://httpbin.org/post', data={'key': 'value'})?
  • PUT
r = httpx.put('https://httpbin.org/put', data={'key': 'value'})
  • DELETE
r = httpx.delete('https://httpbin.org/delete')?

原文鏈接：https://blog.csdn.net/weixin_44144647/article/details/126520424

欄目分類
最近更新