網站首頁 編程語言 正文
粘貼一下部分的多進程代碼
if __name__ == '__main__': """"流程模擬""" multiprocessing.freeze_support() # 打包成exe時,需要該語句,防止系統無限創建子線程 print(f"{time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())} - [主進程] - 程序已啟動") if WORKERS > 0: print(f"{time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())} - [主進程] - 當前為并發爬取,每次采集{WORKERS}條url") else: print(f"{time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())} - [主進程] - 當前為單線程爬取,時間間隔為{INTERVAL}秒") init_data_queue = multiprocessing.Queue() # 從數據庫里取出來的需要爬取的url等信息 result_data_queue = multiprocessing.Queue() # 爬取的結果 wait_to_insert_queue = multiprocessing.Queue() # 等待寫入數據庫的數據 已經去重 符合insert的格式要求 p1 = multiprocessing.Process(target=get_remote_data, args=(init_data_queue, wait_to_insert_queue), name='[數據庫交互進程]') p2 = multiprocessing.Process(target=scrapy_wechat, args=(init_data_queue, result_data_queue), name='[爬蟲進程]') p3 = multiprocessing.Process(target=make_data, args=(result_data_queue, wait_to_insert_queue), name='[數據處理進程]') try: p1.start() p2.start() p3.start() except Exception as e: print(f"{time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())} - [主進程] - 錯誤信息: {e}")
程序打包成exe文件后,啟動時會瘋狂創建子進程,程序來回在if WORKERS > 0:
這行代碼中執行,即無法正常工作,還會導致電腦逐漸卡死。解決的辦法為:在程序入口前,加入multiprocessing.freeze_support()
即可解決此事。值得注意的時,該語必須寫在if __name__ == "__main__"
的下一句,如果沒有main語句,也會出錯。
原文鏈接:https://www.cnblogs.com/mooremok/p/16930929.html
相關推薦
- 2022-07-09 docker安裝nginx并部署前端項目的全過程_docker
- 2023-01-31 C#實現文件分割和合并的示例詳解_C#教程
- 2022-05-23 Python+OpenCV實現在圖像上繪制矩形_python
- 2021-12-13 linux下AutoFs掛載服務安裝教程_Linux
- 2022-01-27 關于httpclient中多次執行execute阻塞問題,卡住不動了解決方式。
- 2022-07-29 Redis入門基礎常用操作命令整理_Redis
- 2022-10-11 delphi fmx android 屏幕分辨率
- 2022-04-28 Python可視化學習之matplotlib內置單顏色_python
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支