網站首頁 編程語言 正文
背景
我們通常會遇到想簡易搬遷一臺設備的python開發環境到另外一臺設備的情況，但可能我們另一臺設備本身的python環境包括系統環境是不可控的，這里我遇到的是從centos7搬遷python開發環境到centos6，centos7自帶的python環境為2.7.5版本且一些依賴的文件庫也是適配2.7.5版本及以上的，導致我們把環境搬遷到centos6的默認python2.6.6環境下時，產生了非常多的報錯，以下文檔內容記錄我遇到的報錯及解決方式，并提供一種較為完美的方式輕量級的解決環境移植問題。
python加載lib庫的順序
環境
制作python 虛擬環境設備：
- 系統版本：centos 7
- python版本：python2.7.5
移植的目標設備：
- 系統版本：centos 6
- python版本：python2.6.6
詳細操作
安裝virtualenv
[centos 7] # pip install virtualenv創建python venv環境
[centos 7] # mkdir -p /opt/python_venv_test
[centos 7] # virtualenv -p /usr/bin/python2.7 --copies /opt/python_venv_test--copies的參數意思為盡量不要為/opt/python_venv_test的文件創建軟鏈接，如果不指定該參數，我們可以看到/opt/python_venv_test目錄有些文件就是這樣的：
[centos 7] # ll /opt/python_venv_test/lib64/python2.7/*
lrwxrwxrwx 1 root root ? 32 Apr 26 20:24 /opt/python_venv_test/lib64/python2.7/lib-dynload -> /usr/lib64/python2.7/lib-dynload
lrwxrwxrwx 1 root root ? 26 Apr 26 20:24 /opt/python_venv_test/lib64/python2.7/os.py -> /usr/lib64/python2.7/os.py
lrwxrwxrwx 1 root root ? 27 Apr 26 20:24 /opt/python_venv_test/lib64/python2.7/os.pyc -> /usr/lib64/python2.7/os.pyc
-rw-r--r-- 1 root root 6978 Apr 26 20:24 /opt/python_venv_test/lib64/python2.7/site.py
/opt/python_venv_test/lib64/python2.7/config:
total 0
lrwxrwxrwx 1 root root 36 Apr 26 20:24 Makefile -> /usr/lib64/python2.7/config/Makefile
/opt/python_venv_test/lib64/python2.7/site-packages:
total 0可以看到很多文件直接是做了軟鏈接到原python 環境中的lib庫中的文件，如果這個時候咱們把他打包移植到另外的設備，這些文件就全部都會被清空，所以一定要加--copies這個參數。加了--copies參數之后是這樣的：
[centos 7] # ll -d /opt/python_venv_test/lib64/python2.7/*
drwxr-xr-x 2 root root 4096 Apr 26 20:31 /opt/python_venv_test/lib64/python2.7/config
drwxr-xr-x 2 root root 4096 Apr 26 20:31 /opt/python_venv_test/lib64/python2.7/lib-dynload
-rw-r--r-- 1 root root 25769 Apr 26 20:31 /opt/python_venv_test/lib64/python2.7/os.py
-rw-r--r-- 1 root root 25557 Apr 26 20:31 /opt/python_venv_test/lib64/python2.7/os.pyc
drwxr-xr-x 2 root root 4096 Apr 26 20:31 /opt/python_venv_test/lib64/python2.7/site-packages
-rw-r--r-- 1 root root 6978 Apr 26 20:31 /opt/python_venv_test/lib64/python2.7/site.py可以看到沒有軟鏈接了，那么我們這個環境就是完全獨立的，這時候我們的python venv環境就已經生成了。
打包依賴的glibc庫
我們的python環境為python2.7.5版本，比較推薦的是使用glibc-2.17版本，下載地址為：glibc下載地址 ，里面有各個版本的glibc文件。
為什么這里要打包依賴的glibc庫呢？
我把虛擬環境目錄移植到目標的centos6機器上測試了一下，如果上面的這些庫文件在新的設備上沒有，那么就會報錯，這里我遇到的報錯就是：
/bin/python: error while loading shared libraries: libpython2.7.so.1.0: cannot open shared object file: No such file or directory
./bin/python: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /usr/lib64/libpython2.7.so.1.0)
這兩個報錯都是很有可能會命中的，提示我們缺少庫文件，沒有辦法運行python binary。
那么到底缺少哪些庫文件呢？我們可以通過readelf -d /opt/python_venv_test/bin/python 命令檢查python binary的依賴文件：
[centos 7] # readelf -d /opt/python_venv_test/bin/python
Dynamic section at offset 0xdd8 contains 29 entries:
? Tag ? ? ? ?Type ? ? ? ? ? ? ? ? ? ? ? ? Name/Value
?0x0000000000000001 (NEEDED) ? ? ? ? ? ? Shared library: [libpython2.7.so.1.0]
?0x0000000000000001 (NEEDED) ? ? ? ? ? ? Shared library: [libpthread.so.0]
?0x0000000000000001 (NEEDED) ? ? ? ? ? ? Shared library: [libdl.so.2]
?0x0000000000000001 (NEEDED) ? ? ? ? ? ? Shared library: [libutil.so.1]
?0x0000000000000001 (NEEDED) ? ? ? ? ? ? Shared library: [libm.so.6]
?0x0000000000000001 (NEEDED) ? ? ? ? ? ? Shared library: [libc.so.6]
?0x000000000000000c (INIT) ? ? ? ? ? ? ? 0x4005e0
?0x000000000000000d (FINI) ? ? ? ? ? ? ? 0x4007a4
?0x0000000000000019 (INIT_ARRAY) ? ? ? ? 0x600dc0
?0x000000000000001b (INIT_ARRAYSZ) ? ? ? 8 (bytes)
?0x000000000000001a (FINI_ARRAY) ? ? ? ? 0x600dc8
?0x000000000000001c (FINI_ARRAYSZ) ? ? ? 8 (bytes)
?0x000000006ffffef5 (GNU_HASH) ? ? ? ? ? 0x400298
?0x0000000000000005 (STRTAB) ? ? ? ? ? ? 0x400478
?0x0000000000000006 (SYMTAB) ? ? ? ? ? ? 0x4002f8
?0x000000000000000a (STRSZ) ? ? ? ? ? ? ?218 (bytes)
?0x000000000000000b (SYMENT) ? ? ? ? ? ? 24 (bytes)
?0x0000000000000015 (DEBUG) ? ? ? ? ? ? ?0x0
?0x0000000000000003 (PLTGOT) ? ? ? ? ? ? 0x601000
?0x0000000000000002 (PLTRELSZ) ? ? ? ? ? 48 (bytes)
?0x0000000000000014 (PLTREL) ? ? ? ? ? ? RELA
?0x0000000000000017 (JMPREL) ? ? ? ? ? ? 0x4005b0
?0x0000000000000007 (RELA) ? ? ? ? ? ? ? 0x400598
?0x0000000000000008 (RELASZ) ? ? ? ? ? ? 24 (bytes)
?0x0000000000000009 (RELAENT) ? ? ? ? ? ?24 (bytes)
?0x000000006ffffffe (VERNEED) ? ? ? ? ? ?0x400578
?0x000000006fffffff (VERNEEDNUM) ? ? ? ? 1
?0x000000006ffffff0 (VERSYM) ? ? ? ? ? ? 0x400552
?0x0000000000000000 (NULL) ? ? ? ? ? ? ? 0x0我們可以在兩臺機器上查看一下到底有沒有庫文件，以及庫文件產出自哪個rpm包：
目標 centos 6機器沒有找到libpython2.7.so.1.0庫文件， 而/lib64/libc.so.6文件版本較低，沒有達到glibc-2.14版本：
[centos 6] # ?whereis libpython2.7.so.1.0
libpython2.7.so.1:
[centos 6] # whereis /lib64/libc.so.6
libc.so: /lib/libc.so.6 /lib64/libc.so.6 /usr/lib64/libc.so
[centos 6] # rpm -qf /lib64/libc.so.6
glibc-2.12-1.80.el6.x86_64我們回到centos 7機器看看，可以看到有libpython2.7.so.1.0這個文件，而且/usr/lib64/libc.so.6的版本也大于glibc-2.14版本。
[centos 7] # whereis libpython2.7.so.1.0
libpython2.7.so.1: /usr/lib64/libpython2.7.so.1.0
[centos 7] # ?rpm -qf /usr/lib64/libpython2.7.so.1.0
python-libs-2.7.5-68.el7.x86_64
[centos 7] # ?whereis /lib64/libc.so.6
libc.so: /usr/lib/libc.so.6 /usr/lib64/libc.so /usr/lib64/libc.so.6
[centos 7] # ?rpm -qf /usr/lib64/libc.so.6
glibc-devel-2.17-260.el7_6.3.x86_64好了， 我們回歸正題，我們現在要解決上面這些問題。
首先，在centos 7機器上，下載及安裝glibc-2.17:
[centos 7] # wget http://ftp.gnu.org/gnu/glibc/glibc-2.17.tar.xz -O /tmp/
[centos 7] # cd /tmp/; tar xf glibc-2.17.tar.xz; cd /tmp/glibc-2.17
[centos 7] # mkdir build; cd build
[centos 7] # ../configure --prefix=/opt/python_venv_test/glibc-217
[centos 7] # make -j4
[centos 7] # make install以上操作完成后，我們就可以在/opt/python_venv_test/glibc-217目錄下看到glibc-2.17的所有文件都在里面了。然后我們把發現的不屬于glibc但又需要的庫文件libpython2.7.so.1.0移植進來glibc-2.17的lib目錄里：
[centos 7] # cp -ar /usr/lib64/libpython2.7.so.1.0 /opt/python_venv_test/glibc-217/lib/除了glibc這個基礎庫，還需要python本身的基礎庫，是運行binary python時需要加載的模塊，比如os等，這個庫一般是在系統的/usr/lib64/python2.7/目錄，我們把它移植到我們的虛擬環境目錄下(這個地方如果我們本地的/usr/lib64/python2.7 過大，可以考慮起一個可運行干凈的python環境centos 7虛擬機，把它的/usr/lib64/python2.7拷貝過來，這樣就能保證它是最小的包量)：
[centos 7] # rm -rf /opt/python_venv_test/lib64/python2.7
[centos 7] # cp -ar /usr/lib64/python2.7 /opt/python_venv_test/lib64/python2.7如果上面這個操作你沒有做，可能就會遇到這樣的報錯:
[centos 7] # ./bin/python
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
ImportError: No module named site
當你把$PYTHONHOME設置完成后，或者會遇到這樣的報錯（總之就是找不到基礎庫文件）：
[centos 7] # ./bin/python
Traceback (most recent call last):
? File "/home/zhaoqiang09/bsc_python_venv.b/lib64/python2.7/site.py", line 190, in <module>
? ? main()
? File "/home/zhaoqiang09/bsc_python_venv.b/lib64/python2.7/site.py", line 18, in main
? ? rewrite_standard_library_sys_path()
? File "/home/zhaoqiang09/bsc_python_venv.b/lib64/python2.7/site.py", line 97, in rewrite_standard_library_sys_path
? ? import os
ImportError: No module named os
改寫環境加載文件/opt/python_venv_test/pyvenv.cfg，這樣我們就不需要依賴移植后目標centos 6系統本身的lib庫了，以免造成版本沖突：
home = /opt/python_venv_test/
implementation = CPython
version_info = 2.7.5.final.0
virtualenv = 20.13.0
include-system-site-packages = false
base-prefix = /opt/python_venv_test/
base-exec-prefix = /usr
base-executable = /opt/python_venv_test/bin/python我們還得改寫一下/opt/python_venv_test/bin/activate 文件，這個文件是我們在移植后目標centos 6系統加載python虛擬環境的入口，我們在這里面加一條對LD_LIBRARY_PATH環境變量的局部重寫（紅色字體部分，第一條是為了退出環境變量時，下掉alias的綁定，第二條是開始加載activate環境時對LD_LIBRARY_PATH環境變量的局部重寫）：·
··········
deactivate () {
? ? unalias python >/dev/null 2>&1
? ? unset -f pydoc >/dev/null 2>&1 || true
·············
# Make sure to unalias pydoc if it's already there
alias pydoc 2>/dev/null >/dev/null && unalias pydoc || true
alias python="${VIRTUAL_ENV}/glibc-217/lib/ld-2.17.so --library-path ${VIRTUAL_ENV}/glibc-217/lib:/lib64 ${VIRTUAL_ENV}/bin/python"
·················然后，我們就可以打包了：
[centos 7] # cd /opt/
[centos 7] # tar -czf python_venv_test.tar.gz python_venv_test移植包到目標Centos 6系統上執行
首先在centos 7 系統上我們scp壓縮包到目標機器
[centos 7] # cd /opt/
[centos 7] # scp python_venv_test.tar.gz root@centos_6:/opt/python_venv_test.tar.gz然后我們在centos 6上解壓壓縮包：
[centos 6] # cd /opt/
[centos 6] # tar xf python_venv_test.tar.gz這時候就可以虛擬環境目錄運行python了
[centos 6] # cd /opt/python_venv_test
[centos 6] # souce bin/bin/activate
[centos 6] # python
Python 2.7.5 (default, Apr 11 2018, 07:36:10)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>>我們要擴充一些第三方擴展包
回到centos7機器
搬遷新增的flask、requests、psutil等第三方庫
我們還是先回到我們的虛擬環境目錄/opt/python_venv_test下面，先使用bin目錄下的pip安裝flask
# ./bin/pip install flask requests psutil打壓縮包，并拷貝壓縮包到centos 6目標系統上
cd /opt/
tar -czf python_venv_test.tar.gz python_venv_test/
[centos 7] # scp python_venv_test.tar.gz root@centos_6:/opt/python_venv_test.tar.gz回到centos6 機器上，解壓縮包，并運行python看看有沒有什么問題
cd /opt/python_venv_test/
# source bin/activate
# python
Python 2.7.5 (default, Apr 11 2018, 07:36:10)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import flask
bash: /opt/bsc_python_venv/glibc-217/lib/libssl.so.10: No such file or directory報錯顯示缺少libssl.so.10文件，我們看看這個文件分別在兩臺測試機的哪里：
centos 6機器情況：
# whereis libssl.so.10
ld-2.17:centos 7機器情況，并且要確定的是它不是一個軟鏈接：
# whereis libssl.so.10
libssl.so: /usr/lib64/libssl.so.10 /usr/lib64/libssl.so
# ll -d /usr/lib64/libssl.so.10
lrwxrwxrwx 1 root root 16 Jan 21 ?2021 /usr/lib64/libssl.so.10 -> libssl.so.1.0.2k
# ll -d /usr/lib64/libssl.so.1.0.2k
-rwxr-xr-x 1 root root 470360 Mar 12 ?2019 /usr/lib64/libssl.so.1.0.2k我們再把centos7 的 /usr/lib64/libssl.so.1.0.2k 這個文件給放到虛擬環境glibc-217目錄，然后做成壓縮包，傳到centos6機器上，再來試試
# cp -ar /usr/lib64/libssl.so.1.0.2k /opt/python_venv_test/glibc-217/lib/libssl.so.10
# cd /opt/
# tar -czf python_venv_test.tar.gz python_venv_test/
[centos 7] # scp python_venv_test.tar.gz root@centos_6:/opt/python_venv_test.tar.gz我們再在centos 6的機器上把原來的文件刪除，解壓縮，再試試import flask、requests、psutil這三個庫文件，就不會再報剛才那個錯了:
cd /opt/python_venv_test/
# source bin/activate
# python
Python 2.7.5 (default, Apr 11 2018, 07:36:10)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import flask
>>> import requests
>>> import psutil結束！?
本文設計的內容較多，如果有一些細節不太懂的地方，建議自行搜索，再回來反復查看本文檔。
原文鏈接：https://blog.csdn.net/jk775800/article/details/124432801
相關推薦
- 2022-03-19 AJAX請求數據及實現跨域的三種方法詳解_AJAX相關
- 2022-08-11 Redis實現主從復制方式(Master&Slave)_Redis
- 2022-07-07 淺談Redis的異步機制_Redis
- 2023-06-04 Pandas中MultiIndex選擇并提取任何行和列_python
- 2022-04-05 用css改變input光標的3種方法
- 2022-04-15 關于pyinstaller生成.exe程序報錯:缺少.ini文件的分析_python
- 2022-12-09 OpenCV?imread讀取圖片失敗的問題及解決_python
- 2022-09-17 C++?中的異常拋出和捕獲方式_C 語言
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版（
- Linux 中運行的top命令 怎么退出？
- MySQL 中decimal 的用法？ 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符，流程控制 Flo
- 1. Int 和Integer 的區別，Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤：Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密？
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串（SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列，發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支
提供CDN加速