日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學無先后，達者為師

網站首頁 編程語言 正文

詳解Python如何實現惰性導入-lazy?import_python

作者：somenzz ? 更新時間： 2022-11-26 編程語言

前言

如果你的 Python 程序程序有大量的 import，而且啟動非常慢，那么你應該嘗試懶導入，本文分享一種實現惰性導入的一種方法。雖然PEP0690已經提案讓 Python 編譯器（-L) 或者標準庫加入這個功能，但目前的 Python 版本還未實現。

眾所周知，Python 應用程序在執行用戶的實際操作之前，會執行 import 操作，不同的模塊可能來自不同的位置，某些模塊的運行可能非常耗時，某些模塊可能根本不會被用戶調用，因此很多模塊的導入純粹是浪費時間。

因此我們需要惰性導入，當應用惰性導入時，運行 import foo 僅僅會把名字 foo 添加到全局的全名空間（globals()）中作為一個懶引用（lazy reference），編譯器遇到任何訪問 foo 的代碼時才會執行真正的 import 操作。類似的，from foo import bar 會把 bar 添加到命名空間，當遇到調用 bar 的代碼時，就把 foo 導入。

寫代碼實現

那怎么寫代碼實現呢？其實不必寫代碼實現，已經有項目實現了懶導入功能，那就是 TensorFlow，它的代碼并沒有任何三方庫依賴，我把它放到這里，以后大家需要懶導入的時候直接把LazyLoader類復制到自己的項目中去即可。

源代碼如下：

#?Code?copied?from?https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/util/lazy_loader.py
"""A?LazyLoader?class."""

from?__future__?import?absolute_import
from?__future__?import?division
from?__future__?import?print_function

import?importlib
import?types


class?LazyLoader(types.ModuleType):
??"""Lazily?import?a?module,?mainly?to?avoid?pulling?in?large?dependencies.

??`contrib`,?and?`ffmpeg`?are?examples?of?modules?that?are?large?and?not?always
??needed,?and?this?allows?them?to?only?be?loaded?when?they?are?used.
??"""

??#?The?lint?error?here?is?incorrect.
??def?__init__(self,?local_name,?parent_module_globals,?name):??#?pylint:?disable=super-on-old-class
????self._local_name?=?local_name
????self._parent_module_globals?=?parent_module_globals

????super(LazyLoader,?self).__init__(name)

??def?_load(self):
????#?Import?the?target?module?and?insert?it?into?the?parent's?namespace
????module?=?importlib.import_module(self.__name__)
????self._parent_module_globals[self._local_name]?=?module

????#?Update?this?object's?dict?so?that?if?someone?keeps?a?reference?to?the
????#???LazyLoader,?lookups?are?efficient?(__getattr__?is?only?called?on?lookups
????#???that?fail).
????self.__dict__.update(module.__dict__)

????return?module

??def?__getattr__(self,?item):
????module?=?self._load()
????return?getattr(module,?item)

??def?__dir__(self):
????module?=?self._load()
????return?dir(module)

代碼說明：

類 LazyLoader 繼承自 types.ModuleType，初始化函數確保惰性模塊將像真正的模塊一樣正確添加到全局變量中，只要真正用到模塊的時候，也就是執行 __getattr__ 或 __dir__ 時，才會真正的 import 實際模塊，更新全局變量以指向實際模塊，并且將其所有狀態（__dict__）更新為實際模塊的狀態，以便對延遲加載的引用，加載模塊不需要每次訪問都經過加載過程。

代碼使用：

正常情況下我們這樣導入模塊：

import?tensorflow.contrib?as?contrib

其對應的惰性導入版本如下：

contrib?=?LazyLoader('contrib',?globals(),?'tensorflow.contrib')

PEP0690 建議的做法

PEP0690 的提案是在編譯器（ C 代碼）層面實現，這樣性能會更好。其使用方法有兩種。

其一

一種方式是執行 Python 腳本時加入 -L 參數，比如有兩個文件 spam.py 內容如下：

import?time
time.sleep(10)
print("spam?loaded")

egg.py 內容如下：

import?spam
print("imports?done")

正常導入情況下，會等 10 秒后先打印 "spam loaded"，然后打印 "imports done"，當執行?python -L eggs.py?時，spam 模塊永遠不會導入，應用 spam 模塊壓根就沒有用到。如果 egg.py 內容如下：

import?spam
print("imports?done")
spam

當執行?python -L eggs.py?時會先打印 "imports done"，10 秒之后打印 "spam loaded")。

其二

另一種方式是調用標準庫 importlib 的方法：

import?importlib?
importlib.set_lazy_imports(True)

如果某些模塊不能懶加載，需要排除，可以這樣

import?importlib?
importlib.set_lazy_imports(True,excluding=["one.mod",?"another"])

還可以這樣：

from?importlib?import?eager_imports

with?eager_imports():
????import?foo
????import?bar

原文鏈接：https://mp.weixin.qq.com/s/KPt7Hs7_qIHxvG8drub3Gg

欄目分類
最近更新