python中處理文件的包,python文件處理方法

本文目錄一覽：

• 1、Python 包管理工具
• 2、python中包的理解與運用？
• 3、python裡面shutil是什麼？
• 4、Python腳本 for 數字IC： Chapter2自動化（二）文件讀寫

Python 包管理工具

  Python之所以受歡迎不光是因為它簡單易學，更重要的是它有成千上萬的寶藏庫。這些庫相當於是已經集成好的工具，只要安裝就能在Python里使用。它們可以處理各式各樣的問題，無需你再造輪子，而且隨著社區的不斷更新維護，有些庫越來越強大，幾乎能媲美企業級應用。那麼這些工具庫怎麼下載安裝呢？它們被放在一個統一的「倉庫」里，名叫PyPi（Python Package Index），所有的庫安裝都是從這裡調度。有了倉庫之後，還需要有管理員，pip就是這樣一個角色。

  pip 是 Python 中的標準庫管理器，這意味著它是一個工具，用它可以來管理 Python 標準庫中其他的包，允許你安裝和管理不屬於 Python 標準庫的其它軟體包，其提供了對 Python 包的查找、下載、安裝、卸載等功能。總的來說，pip的Python第三方庫的大管家，搞懂它，會讓你省很多事。從Python 3 = Python 3.4 、Python2 = Python2.7.9 版本開始，pip默認包含在Python的安裝程序中，在安裝Python時將會自動被安裝，省事方便。

  Python 的安裝器中自帶了 pip，所以你可以直接使用它，除非你安裝的是更早版本的 Python。你可以通過以下命令來判斷是否已安裝：

如果你的 Python 環境沒有安裝 pip，則可以使用以下方法來手動安裝。pip 安裝文件下載: pypi.org/project/pip…

pip提供的命令不多，但是都很實用

  pip命令默認使用的是國外的pypi鏡像（pypi.python.org)，安裝慢不說，有時甚至會導致出現超時等網路問題，有時候為了安裝一個包，失敗重試安裝好幾次都不一定成功。所以，使用國內的pypi鏡像，亦即 切換 pip 源 ，這樣速度上更有保證，不失為一種加速pip安裝第三方包的好方法。常用的鏡像站有阿里雲、清華大學等。其中清華大學開源軟體鏡像站是每 5 分鐘同步一次的，比較推薦使用。阿里雲鏡像站的速度也非常快，這也是我現在在使用的。

  切換切換 pip 源可以是臨時性的，也可以設置為默認。臨時性的，就是在安裝包時，通過pip命令的 -i 選項指定鏡像源即可。例如，臨時使用阿里雲鏡像站作為 pip 源，可以是這樣安裝：

  如果每次安裝時都想要通過鏡像源來安裝，上面的辦法不免有些麻煩。我們可以修改pip的配置文件，將鏡像源寫入到 pip 配置文件中。 對於linux系統 ，修改 ~/.pip/pip.conf 文件 (沒有就創建一個文件夾及文件，文件夾要加「.」，表示是隱藏文件夾)：

然後在文件中保存如下內容：

   對於windows系統 ，在C:Users文件夾下的用戶目錄（例如如果當前用戶是Administrator則是C:UsersAdministrator）下創建pip文件夾，然後再在此文件夾下創建pip.ini文件，在文件中寫入一下內容：

  配置完成後再通過 pip config list 查看pip配置。

  我們經常會遇到這樣的開發需求，比如你手頭有多個開發項目，其中項目A要求用python3.7，項目B需要用python3.6，有要求項目A和項目B依賴包相互獨立，互不干擾。為了滿足這樣的開發需求，我們需要在自己的電腦上安裝多個Python版本，並且項目之間進行環境隔離。因此，我們要想運行這些項目，在工作電腦上就要安裝不同版本的Python。 pyenv 是Python版本管理工具，通過系統修改環境變數來實現Python不同版本的切換，利用它可以在同一台電腦上安裝多個版本的Python，設置目錄級別的Python，還能創建和管理vitual python enviroments。而且所有的設置都是用戶級別的操作，不需要sudo命令。

  首先安裝pyenv，如果你是Mac電腦，那麼推薦使用Homebrew來安裝。

要想升級pyenv，則可以執行：

pyenv安裝完成後，需要將$HOME/.pyenv/bin添加到PATH變數前面，這一步非常關鍵。

也可以採用手動安裝的方式，將pyenv檢出到你想安裝的目錄。

  添加環境變數，將PYENV_ROOT 指向 pyenv 檢出的根目錄，並向 $PATH 添加 $PYENV_ROOT/bin 以提供訪問 pyenv命令的路徑。這裡的 shell 配置文件（~/.bash_profile）依不同系統而需作修改，如果使用 Zsh 則需要相應的配置 ~/.zshrc

在使用 pyenv 之後使用 pip 安裝的第三方模塊會自動安裝到當前使用 python 版本下，不會和系統模塊產生衝突。使用 pip 安裝模塊之後，如果沒有生效，記得使用 pyenv rehash 來更新。

安裝完pyenv，可以安裝Python，首先查看可安裝的Python版本：pyenv install -l，接下來開始安裝Python

執行命令 pyenv versions 查看安裝結果。

可以看到，已經成功安裝了Python，安裝的位置在 /Users/dllwh/.pyenv。

可以看到，3.9.9 前面有一個星號，說明成功切換到了 3.9.9 版本，可以執行一下python來驗證。

  Pipenv 是 Python 官方推薦的包管理工具，它綜合了 virtualenv、pip 和 pyenv 三者的功能，你可以使用 pipenv 這一個工具來安裝、卸載、跟蹤和記錄依賴性，並創建、使用和組織你的虛擬環境。

如果你是Mac電腦，那麼推薦使用Homebrew來安裝和升級pipenv：

也可以通過pip來安裝和升級pipenv：

進入到項目目錄中，通過下面的指令為項目創建虛擬環境。

  上面的操作，給pipenv_demo這個項目初始化了一個 Python 3.9.9 的虛擬環境，並在項目錄下生成一個項目依賴包文件 Pipefile。如果系統中沒有 3.9.8 版本的Python，pipenv 會調用 pyenv 來安裝對應的 Python 的版本。默認地，虛擬環境會創建在 ~/.local/share/virtualenvs目錄裡面。我們也可以通過 pipenv –venv查看項目的虛擬環境目錄。可以通過 pipenv –rm 刪除虛擬環境。

如果想更改虛擬環境的目錄，可以在 .bashrc 或 .bash_profile 中，設置環境變數WORKON_HOME，指定虛擬環境的目錄所在位置，比如想將虛擬環境放到~/.venvs目錄，則可以執行下面的命令。

如果希望在項目目錄下創建虛擬環境目錄（.venv），需要在 .bashrc 或 .bash_profile 中配置環境變數PIPENV_VENV_IN_PROJECT：

  pipenv使用 Pipfile 和 Pipfile.lock 來管理依賴包，並且在使用pipenv添加或刪除包時，自動維護 Pipfile 文件，同時生成 Pipfile.lock 來鎖定安裝包的版本和依賴信息。相比pip需要手動維護requirements.txt 中的安裝包和版本，具有很大的進步。

  為項目安裝依賴包到虛擬環境中，使每個項目擁有相互獨立的依賴包，是非常不錯的Python的開發實踐。安裝依賴包到虛擬環境中的方法：

執行完上面的命令後，檢查一下是否安裝成功：

  觀察項目的根目錄下，又多了一個 Pipfile.lock 文件。這兩個文件記錄了此項目的依賴包，這兩個文件的區別是 Pipfile 中安裝的包不包含包的具體版本號，而Pipfile.lock 是包含包的具體的版本號的。如果不想產生 Pipfile.lock 文件，在安裝依賴包的時候，加上 –skip-lock 選項即可。

在使用pipenv的時候，常常會安裝過程比較慢，這個是因為pipenv創建的 Pipfile 中默認的Pypi源是python官方的 pypi.python.org/simple。我們國內…

  為了避免每次都要指定–pypi-mirror，我一般會在創建好Pipfile以後，將文件中 source 塊下的 url 欄位，設置為國內的 pypi 源，我推薦的是清華的Pypi源或者阿里源，具體設置如下：

如果是要刪除虛擬環境中的第三方包，執行：

用git管理項目時候，要把Pipfile和Pipfile.lock加入版本跟蹤。這樣clone了這個項目的同學，只需要執行：

就可以安裝所有的Pipfile中 [packages]部分列出來的包了，並且自動為項目在自己電腦上創建了虛擬環境。

上面的方法都是安裝Pipfile中列出來的第三方包的最新版本，如果是想安裝Pipfile.lock中固定版本的第三方依賴包，需要執行：

如果項目之前使用requirements.txt來管理依賴的，那麼使用pipenv安裝所有依賴可以採用類似pip的方法：

  虛擬環境創建好了之後，就可以在裡面進行開發了。如果在命令行下開發，則在項目目錄下執行 pipenv shell ，就進入到了虛擬環境中，在這個環境中，已經包含安裝過的所有依賴包了，接下來就可以利用這些依賴包進行開發工作了。如果是用Pycharm進行開發，就更簡單了，直接用Pycharm打開項目即可。可以從Pycharm中的左側導航欄裡面看到External Libraries顯示的是虛擬環境中的Python解釋器了。

在虛擬環境中執行開發好的程序，有兩種方式，一種是前面提到的先執行pipenv shell進入到虛擬環境後，再執行python程序；另一種方式，則是執行pyenv run，比如在虛擬環境中執行基於pytest框架編寫的測試用例，只需要執行下面的命令即可：

作者：獨淚了無痕

鏈接：

python中包的理解與運用？

6.4. 包

包通常是使用用「圓點模塊名」的結構化模塊命名空間。例如，名為 A.B 的模塊表示了名為 A 的包中名為 B 的子模塊。正如同用模塊來保存不同的模塊架構可以避免全局變數之間的相互衝突，使用圓點模塊名保存像 NumPy 或 Python Imaging Library 之類的不同類庫架構可以避免模塊之間的命名衝突。

假設你現在想要設計一個模塊集（一個「包」）來統一處理聲音文件和聲音數據。存在幾種不同的聲音格式（通常由它們的擴展名來標識，例如：.wav， .aiff，.au ），於是，為了在不同類型的文件格式之間轉換，你需要維護一個不斷增長的包集合。可能你還想要對聲音數據做很多不同的操作（例如混音，添加回聲，應用平衡 功能，創建一個人造效果），所以你要加入一個無限流模塊來執行這些操作。你的包可能會是這個樣子（通過分級的文件體系來進行分組）

當導入這個包時，Python 通過 sys.path 搜索路徑查找包含這個包的子目錄。

為了讓 Python 將目錄當作內容包，目錄中必須包含 __init__.py 文件。這是為了避免一個含有爛俗名字的目錄無意中隱藏了稍後在模塊搜索路徑中出現的有效模塊，比如 string。最簡單的情況下，只需要一個空的 __init__.py 文件即可。當然它也可以執行包的初始化代碼，或者定義稍後介紹的 __all__ 變數。

用戶可以每次只導入包里的特定模塊，例如:

import sound.effects.echo

這樣就導入了 sound.effects.echo 子模塊。它必需通過完整的名稱來引用:

sound.effects.echo.echofilter(input, output, delay=0.7, atten=4)

導入包時有一個可以選擇的方式:

from sound.effects import echo

這樣就載入了 echo 子模塊，並且使得它在沒有包前綴的情況下也可以使用，所以它可以如下方式調用:

echo.echofilter(input, output, delay=0.7, atten=4)

還有另一種變體用於直接導入函數或變數:

from sound.effects.echo import echofilter

這樣就又一次載入了 echo 子模塊，但這樣就可以直接調用它的 echofilter() 函數:

echofilter(input, output, delay=0.7, atten=4)

需要注意的是使用 from package import item 方式導入包時，這個子項（item）既可以是包中的一個子模塊（或一個子包），也可以是包中定義的其它命名，像函數、類或變數。import 語句首先核對是否包中有這個子項，如果沒有，它假定這是一個模塊，並嘗試載入它。如果沒有找到它，會引發一個 ImportError 異常。

python裡面shutil是什麼？

shutil 是高級的文件，文件夾，壓縮包處理模塊。

1.shutil.copyfileobj(fsrc, fdst[, length])

將文件內容拷貝到另一個文件中

import shutil

shutil.copyfileobj(open(‘old.xml’,’r’), open(‘new.xml’, ‘w’))

2.shutil.copyfile(src, dst)

拷貝文件

shutil.copyfile(‘f1.log’, ‘f2.log’)

3.shutil.copymode(src, dst)

僅拷貝許可權。內容、組、用戶均不變

shutil.copymode(‘f1.log’, ‘f2.log’)

4.shutil.copystat(src, dst)

僅拷貝狀態的信息，包括：mode bits, atime, mtime, flags

shutil.copystat(‘f1.log’, ‘f2.log’)

5.shutil.copy(src, dst)

拷貝文件和許可權

shutil.copy(‘f1.log’, ‘f2.log’)

6.shutil.copy2(src, dst)

拷貝文件和狀態信息

shutil.copy2(‘f1.log’, ‘f2.log’)

7.shutil.ignore_patterns(*patterns)

shutil.copytree(src, dst, symlinks=False, ignore=None)

遞歸的去拷貝文件夾

shutil.copytree(‘folder1’, ‘folder2’, ignore=shutil.ignore_patterns(‘*.pyc’, ‘tmp*’))

shutil.copytree(‘f1’, ‘f2’, symlinks=True, ignore=shutil.ignore_patterns(‘*.pyc’, ‘tmp*’))

8.shutil.rmtree(path[, ignore_errors[, onerror]])

遞歸的去刪除文件

shutil.rmtree(‘folder1’)

9.shutil.move(src, dst)

遞歸的去移動文件，它類似mv命令，其實就是重命名。

shutil.move(‘folder1’, ‘folder3’)

10.shutil.make_archive(base_name, format,…)

創建壓縮包並返迴文件路徑，例如：zip、tar

創建壓縮包並返迴文件路徑，例如：zip、tar

base_name： 壓縮包的文件名，也可以是壓縮包的路徑。只是文件名時，則保存至當前目錄，否則保存至指定路徑，

如：www                        =保存至當前路徑

如：/Users/wupeiqi/www =保存至/Users/wupeiqi/

format： 壓縮包種類，「zip」, 「tar」, 「bztar」，「gztar」

root_dir： 要壓縮的文件夾路徑（默認當前目錄）

owner： 用戶，默認當前用戶

group： 組，默認當前組

logger： 用於記錄日誌，通常是logging.Logger對象

Python腳本 for 數字IC： Chapter2自動化（二）文件讀寫

python提供了一系列的可以用於文件讀寫的處理的機制。

當程序運行時，變數是保存數據的好方法，但如果希望程序結束後保存數據並進一步的處理，就需要將數據保存到文件中。

此外，由於數字IC的工作特性，我們經常 需要進行一些文本處理，例如Log信息的提取和處理 ，以及 運行回歸腳本時進行一些必要的文件處理 。

在處理文件之前，我們需要通過各種方式獲取文件的絕對路徑、相對路徑，有時候還會需要分隔文件夾和基本文件名。python中的 os 包和 os.path 包就包括了這些方法。我們會依次簡要介紹7類文件與文件路徑相關的方法，然後將這些方法全部集合到一個示例中，在本章的第八小節。

這裡一些常識性的東西不再介紹，主要總結了Linux系統和Windows系統的不同表示如下：

如何讓程序路徑可以運行在Linux和OS的系統上？ 一個好的方法是 os.path.join （）。此外還可以使用 os.path.sep 變數 來返回不同系統的文件分隔符， 以讓我們的程序具有移植性！

os.getcwd ：用來獲取當前目錄的絕對路徑？

os.chdir ：來進入某個目錄（可以是相對也可以是絕對）

這裡不再介紹和絕對路徑和相對路徑的基本概念，而是側重 介紹相關方法 ：

在獲得文件路徑之後，就可以開始搜索特定文件和文件夾的信息，下面介紹兩個方法

[圖片上傳失敗…(image-8f101e-1654020143639)]

div align=center圖1 文件和文件路徑相關方法/div

讀方法

寫方法

文件指針相關

常式：