python單元測試框架覆蓋率的簡單介紹

本文目錄一覽：

• 1、徒手搭建Python單元測試框架
• 2、Python – pytest
• 3、python自動化測試框架有哪些

徒手搭建Python單元測試框架

稍微具有一定規模的企業對於軟體開發一般都會要求寫單元測試，雖然各自標準不同，有的可能要求覆蓋率達到50即可，而像我司這種竟然要求行覆蓋率和分支覆蓋率都要到95%以上。本文會手把手教你如何在項目初期搭建單元測試框架，以便能夠指導後續開發進行單元測試編寫和測試報告生成。本文適合python項目的架構師或者核心發起者。如果是小白也可以了解下單元測試是怎麼搭建的以及一些單元測試的原則。

一般項目如果是web項目都會有配置文件，那麼啟動單元測試的應用上下文也需要測試用的配置文件。下面是一個基於flask開發的web項目的單元測試配置文件。大家可以參考下。如果項目不是web項目而是腳本倉庫也可以不需要這塊。

基礎測試類會初始化測試應用上下文以及內存資料庫初始化，以及測試完成後的數據清理

測試聚合類是用來掃描所有測試模塊並運行測試用例的

python的Coverage庫是用來生成測試報的，可以通過.coverage文件配置測試報告的內存，包括忽略項，是否包含分支覆蓋率，測試報告生成位置和形式（xml或者html）等

通過運行以下coverage 模塊生成測試報告

Python – pytest

目錄

pytest是Python的單元測試框架，同自帶的unittest框架類似，但pytest框架使用起來更簡潔，效率更高。

pytest特點

安裝

測試

在測試之前要做的準備

我的演示腳本處於這樣一個的目錄中：

踩坑：你創建的pytest腳本名稱中不允許含有 . ，比如 1.簡單上手.py ，這樣會報錯。當然，可以這麼寫 1-簡單上手.py

demo1.py ：

上例中，當我們在執行（就像Python解釋器執行普通的Python腳本一樣）測試用例的時候， pytest.main([“-s”, “demo1.py”]) 中的傳參需要是一個元組或者列表（我的pytest是5.2.2版本），之前的版本可能需要這麼調用 pytest.main(“-s demo1.py”) ，傳的參數是str的形式，至於你使用哪種，取決於報不報錯：

遇到上述報錯，就是參數需要一個列表或者元組的形式，而我們使用的是str形式。

上述代碼正確的執行結果是這樣的：

大致的信息就是告訴我們:

pytest.main([“-s”, “demo1.py”])參數說明

除了上述的函數這種寫法，也可以有用例類的寫法：

用法跟unittest差不多，類名要以 Test 開頭，並且其中的用例方法也要以 test 開頭，然後執行也一樣。

執行結果：

那麼，你這個時候可能會問，我記得unittest中有setup和teardown的方法，難道pytest中沒有嘛？你怎麼提都不提？穩住，答案是有的。

接下來，我們來研究一下pytest中的setup和teardown的用法。

我們知道，在unittest中，setup和teardown可以在每個用例前後執行，也可以在所有的用例集執行前後執行。那麼在pytest中，有以下幾種情況：

來一一看看各自的用法。

模塊級別setup_module/teardown_module

執行結果：

類級別的setup_class/teardown_class

執行結果：

類中方法級別的setup_method/teardown_method

執行結果：

函數級別的setup_function/teardown_function

執行結果：

小結

該腳本有多種運行方式，如果處於PyCharm環境，可以使用右鍵或者點擊運行按鈕運行，也就是在pytest中的主函數中運行：

也可以在命令行中運行：

這種方式，跟使用Python解釋器執行Python腳本沒有什麼兩樣。也可以如下面這麼執行：

當然，還有一種是使用配置文件運行，來看看怎麼用。

在項目的根目錄下，我們可以建立一個 pytest.ini 文件，在這個文件中，我們可以實現相關的配置：

那這個配置文件中的各項都是什麼意思呢？

首先， pytest.ini 文件必須位於項目的根目錄，而且也必須叫做 pytest.ini 。

其他的參數：

OK，來個示例。

首先，（詳細目錄參考開頭的目錄結構）在 scripts/test_case_01.py 中：

在 scripts/test_case_dir1/test_case02.py 中：

那麼，在不同的目錄或者文件中，共有5個用例將被執行，而結果則是兩個失敗三個成功。來執行驗證一下，因為有了配置文件，我們在終端中（前提是在項目的根目錄），直接輸入 pytest 即可。

由執行結果可以發現， 2 failed, 3 passed ，跟我們的預期一致。

後續執行相關配置都來自配置文件，如果更改，會有相應說明，終端都是直接使用 pytest 執行。

我們知道在unittest中，跳過用例可以用 skip ，那麼這同樣是適用於pytest。

來看怎麼使用：

跳過用例，我們使用 @pytest.mark.skipif(condition, reason) ：

然後將它裝飾在需要被跳過用例的的函數上面。

效果如下：

上例執行結果相對詳細，因為我們在配置文件中為 addopts 增加了 -v ，之前的示例結果中，沒有加！

另外，此時，在輸出的控制台中， 還無法列印出 reason 信息，如果需要列印，則可以在配置文件中的 addopts 參數的 -s 變為 -rs ：

如果我們事先知道測試函數會執行失敗，但又不想直接跳過，而是希望顯示的提示。

Pytest 使用 pytest.mark.xfail 實現預見錯誤功能：：

需要掌握的必傳參數的是：

那麼關於預期失敗的幾種情況需要了解一下：

結果如下：

pytest 使用 x 表示預見的失敗（XFAIL）。

如果預見的是失敗，但實際運行測試卻成功通過，pytest 使用 X 進行標記（XPASS）。

而在預期失敗的兩種情況中，我們不希望出現預期失敗，結果卻執行成功了的情況出現，因為跟我們想的不一樣嘛，我預期這條用例失敗，那這條用例就應該執行失敗才對，你雖然執行成功了，但跟我想的不一樣，你照樣是失敗的！

所以，我們需要將預期失敗，結果卻執行成功了的用例標記為執行失敗，可以在 pytest.ini 文件中，加入：

這樣就就把上述的情況標記為執行失敗了。

pytest身為強大的單元測試框架，那麼同樣支持DDT數據驅動測試的概念。也就是當對一個測試函數進行測試時，通常會給函數傳遞多組參數。比如測試賬號登陸，我們需要模擬各種千奇百怪的賬號密碼。

當然，我們可以把這些參數寫在測試函數內部進行遍歷。不過雖然參數眾多，但仍然是一個測試，當某組參數導致斷言失敗，測試也就終止了。

通過異常捕獲，我們可以保證程所有參數完整執行，但要分析測試結果就需要做不少額外的工作。

在 pytest 中，我們有更好的解決方法，就是參數化測試，即每組參數都獨立執行一次測試。使用的工具就是 pytest.mark.parametrize(argnames, argvalues) 。

使用就是以裝飾器的形式使用。

只有一個參數的測試用例

來看（重要部分）結果：：

可以看到，列表內的每個手機號，都是一條測試用例。

多個參數的測試用例

（重要部分）結果：

可以看到，每一個手機號與每一個驗證碼都組合一起執行了，這樣就執行了4次。那麼如果有很多個組合的話，用例數將會更多。我們希望手機號與驗證碼一一對應組合，也就是只執行兩次，怎麼搞呢？

在多參數情況下，多個參數名是以 , 分割的字元串。參數值是列表嵌套的形式組成的。

固件（Fixture）是一些函數，pytest 會在執行測試函數之前（或之後）載入運行它們，也稱測試夾具。

我們可以利用固件做任何事情，其中最常見的可能就是資料庫的初始連接和最後關閉操作。

Pytest 使用 pytest.fixture() 定義固件，下面是最簡單的固件，訪問主頁前必須先登錄：

結果：

在之前的示例中，你可能會覺得，這跟之前的setup和teardown的功能也類似呀，但是，fixture相對於setup和teardown來說更靈活。pytest通過 scope 參數來控制固件的使用範圍，也就是作用域。

比如之前的login固件，可以指定它的作用域：

很多時候需要在測試前進行預處理（如新建資料庫連接），並在測試完成進行清理（關閉資料庫連接）。

當有大量重複的這類操作，最佳實踐是使用固件來自動化所有預處理和後處理。

Pytest 使用 yield 關鍵詞將固件分為兩部分， yield 之前的代碼屬於預處理，會在測試前執行； yield 之後的代碼屬於後處理，將在測試完成後執行。

以下測試模擬資料庫查詢，使用固件來模擬資料庫的連接關閉：

結果：

可以看到在兩個測試用例執行前後都有預處理和後處理。

pytest中還有非常多的插件供我們使用，我們來介紹幾個常用的。

先來看一個重要的，那就是生成測試用例報告。

想要生成測試報告，首先要有下載，才能使用。

下載

如果下載失敗，可以使用PyCharm下載，怎麼用PyCharm下載這裡無需多言了吧。

使用

在配置文件中，添加參數：

效果很不錯吧！

沒完，看我大招

Allure框架是一個靈活的輕量級多語言測試報告工具，它不僅以web的方式展示了簡潔的測試結果，而且允許參與開發過程的每個人從日常執行的測試中最大限度的提取有用信息。

從開發人員（dev，developer）和質量保證人員（QA，Quality Assurance）的角度來看，Allure報告簡化了常見缺陷的統計：失敗的測試可以分為bug和被中斷的測試，還可以配置日誌、步驟、fixture、附件、計時、執行 歷史 以及與TMS和BUG管理系統集成，所以，通過以上配置，所有負責的開發人員和測試人員可以儘可能的掌握測試信息。

從管理者的角度來看，Allure提供了一個清晰的「大圖」，其中包括已覆蓋的特性、缺陷聚集的位置、執行時間軸的外觀以及許多其他方便的事情。allure的模塊化和可擴展性保證了我們總是能夠對某些東西進行微調。

少扯點，來看看怎麼使用。

Python的pytest中allure下載

但由於這個 allure-pytest 插件生成的測試報告不是 html 類型的，我們還需要使用allure工具再「加工」一下。所以說，我們還需要下載這個allure工具。

allure工具下載

在現在allure工具之前，它依賴Java環境，我們還需要先配置Java環境。

注意，如果你的電腦已經有了Java環境，就無需重新配置了。

配置完了Java環境，我們再來下載allure工具，我這裡直接給出了百度雲盤鏈接，你也可以去其他鏈接中自行下載：

下載並解壓好了allure工具包之後，還需要將allure包內的 bin 目錄添加到系統的環境變數中。

完事後打開你的終端測試：

返回了版本號說明安裝成功。

使用

一般使用allure要經歷幾個步驟：

來看配置 pytest.ini ：

就是 –alluredir ./report/result 參數。

在終端中輸入 pytest 正常執行測試用例即可：

執行完畢後，在項目的根目下，會自動生成一個 report 目錄，這個目錄下有：

接下來需要使用allure工具來生成HTML報告。

此時我們在終端（如果是windows平台，就是cmd），路徑是項目的根目錄，執行下面的命令。

PS：我在pycharm中的terminal輸入allure提示’allure’ 不是內部或外部命令，也不是可運行的程序或批處理文件。但windows的終端沒有問題。

命令的意思是，根據 reportresult 目錄中的數據（這些數據是運行pytest後產生的）。在 report 目錄下新建一個 allure_html 目錄，而這個目錄內有 index.html 才是最終的allure版本的HTML報告；如果你是重複執行的話，使用 –clean 清除之前的報告。

結果很漂亮：

allure open

默認的，allure報告需要HTTP伺服器來打開，一般我們可以通過pycharm來完成，另外一種情況就是通過allure自帶的open命令來完成。

allure的其他用法

當然，故事還是沒有完！在使用allure生成報告的時候，在編寫用例階段，還可以有一些參數可以使用：

allure.title與allure.description

feature和story

由上圖可以看到，不同的用例被分為不同的功能中。

allure.severity

allure.severity 用來標識測試用例或者測試類的級別，分為blocker，critical，normal，minor，trivial5個級別。

severity的默認級別是normal，所以上面的用例5可以不添加裝飾器了。

allure.dynamic

在之前，用例的執行順序是從上到下依次執行：

正如上例的執行順序是 3 1 2 。

現在，來看看我們如何手動控制多個用例的執行順序，這裡也依賴一個插件。

下載

使用

手動控制用例執行順序的方法是在給各用例添加一個裝飾器：

那麼， 現在的執行順序是 2 1 3 ，按照order指定的排序執行的。

如果有人較勁傳個0或者負數啥的，那麼它們的排序關係應該是這樣的：

失敗重試意思是指定某個用例執行失敗可以重新運行。

下載

使用

需要在 pytest.ini 文件中， 配置：

給 addopts 欄位新增（其他原有保持不變） –reruns=3 欄位，這樣如果有用例執行失敗，則再次執行，嘗試3次。

來看示例：

結果：

我們也可以從用例報告中看出重試的結果：

上面演示了用例失敗了，然後重新執行多少次都沒有成功，這是一種情況。

接下來，來看另一種情況，那就是用例執行失敗，重新執行次數內通過了，那麼剩餘的重新執行的次數將不再執行。

通過 random 模塊幫助我們演示出在某次執行中出現失敗的情況，而在重新執行的時候，會出現成功的情況，看結果：

可以看到，用例 02 重新執行了一次就成功了，剩餘的兩次執行就終止了。

一條一條用例的執行，肯定會很慢，來看如何並發的執行測試用例，當然這需要相應的插件。

下載

使用

在配置文件中添加：

就是這個 -n=auto ：

並發的配置可以寫在配置文件中，然後其他正常的執行用例腳本即可。另外一種就是在終端中指定，先來看示例：

結果：

pytest-sugar 改變了 pytest 的默認外觀，添加了一個進度條，並立即顯示失敗的測試。它不需要配置，只需 下載插件即可，用 pytest 運行測試，來享受更漂亮、更有用的輸出。

下載

其他照舊執行用例即可。

pytest-cov 在 pytest 中增加了覆蓋率支持，來顯示哪些代碼行已經測試過，哪些還沒有。它還將包括項目的測試覆蓋率。

下載

使用

在配置文件中：

也就是配置 –cov=./scripts ，這樣，它就會統計所有 scripts 目錄下所有符合規則的腳本的測試覆蓋率。

執行的話，就照常執行就行。

結果：

更多插件參考：

有的時候，在 pytest.ini 中配置了 pytest-html 和 allure 插件之後，執行後報錯：

出現了這個報錯，檢查你配置的解釋器中是否存在 pytest-html 和 allure-pytest 這兩個模塊。如果是使用的pycharm ide，那麼你除了檢查settings中的解釋器配置之外，還需要保證運行腳本的編輯器配置是否跟settings中配置一致。

python自動化測試框架有哪些

第一種：Robot Framework

作為最重要的python測試框架之一，Robot Framework主要被用在測試驅動類型的開發與驗收中。雖然由python開發而來，但是它也可以在基於.net的Ironpython和基於Java的Jython上運行。同時，作為一個python框架，Robot還能夠兼容諸如Windows、MacOS、Linux等平台。

在使用Robot Framework之前，需要先安裝python2.7.14及以上版本，在這裡推薦大家使用python3.6.4，以確保適當的註解能夠被添加到代碼段中，並能夠跟蹤程序的更改，同時，您還需要安裝python包管理器–pip。

第二種：Pytest

適用於多種軟體測試的Pytest，是另一個python類型的自動化測試框架。憑藉著開源和易學的特點，該工具經常被QA團體、開發團體、個人團體以及各種開源項目所使用。鑒於Pytest具有斷言重寫之類的實用功能，許多大型互聯網應用，如Dropbox、Mozilla，都已經從下面將要提到的unittest切換到了Pytest之上。

除了基本的python知識，用戶並不需要更多的技術儲備。另外，用戶只需要有一台帶有命令行界面的測試設備，並且安裝好了python包管理器以及可用於開發的IDE工具。

第三種：UnitTest/PyUnit

受到Junit啟發的UnitTest/PyUnit，也是一種標準化的針對單元測試的python類自動化測試框架。它的基類TestCase提供了各種斷言方法、以及所有清理和設置的常式。因此，TestCase子類中的每一種方法都是以test作為名詞點綴，以標識它們能夠被作為測試用例所運行。用戶可以使用load方法和TestSuite類來分組、並載入各種測試。當然，也可以通過聯合使用，來構建自定義的測試運行器。正如我們使用Junit去測試Selenium那樣，UnitTest也會用到unittest-sml-reporting，並能生成各種XML類型的報告。

第四種：Behave

行為驅動開發是一種基於敏捷軟體開發的方法。它能夠鼓勵開發人員、業務參與者和QA人員，三者之間的協作。python測試框架Behave允許團隊避開各種複雜的情況，去執行BDD測試。從本質上說該框架與SpecFlow和Cucumber相似，常被用於執行自動化測試。用戶可以通過簡單易讀的語言來編寫測試用例，並能夠在其執行期間粘貼到代碼之中。而且，那些被設定的行為規範與步驟，也可以被重用到其他的測試方案中。

第五種：Lettuce

Lettuce是另一種基於Cucumber和python的行為驅動類自動化工具。Lettuce主要專註於那些具有行為驅動開發特性的普通任務。它不但簡單易用，而且能夠使得整個測試過程更流暢、甚至更有趣。

您需要安裝帶有IDE的python2.7.14及以上版本。當然，您也可以使用pycharm或任何其他IDE工具。同時，您還需要安裝python包管理器。