python多線程讀寫文件加鎖(Python文件鎖)

本文目錄一覽:

python多個線程鎖可提高效率嗎

首先,Python的多線程本身就是效率極低的,因為有GIL(Global Interpreter Lock:全局解釋鎖)機制的限制,其作用簡單說就是:對於一個解釋器,只能有一個線程在執行bytecode。

所以如果為了追求傳統意義上多線程的效率,在Python界還是用多進程(multiprocessing)吧……

這裡你用了多線程,且用了鎖來控制公共資源,首先鎖這個東西會導致死鎖,不加鎖反而沒有死鎖隱患,但會有同步問題。

另外,如果不同線程操作的是不同的文件,是不存在同步問題的,如果操作同一個文件,我建議採用Queue(隊列)來處理。

總的來說,用單線程就好了,因為Python多線程本身就沒什麼效率,而且單線程也不用考慮同步問題了。非要追求效率的話,就用多進程吧,同樣也要考慮進程鎖。

Python多線程之threading之Lock對象

要介紹Python的 threading 模塊中的 Lock 對象前, 首先應該了解以下兩個概念:

1.基本概念 : 指某個函數/函數庫在多線程環境中被調用時, 能夠正確地處理多個線程之間的 共享變量 , 使程序功能正常完成. 多個線程訪問同一個對象時, 如果不用考慮這些線程在運行時環境下的調度和交替執行, 也不需要進行額外的同步, 或者在調用方進行任何其他操作,調用這個對象的行為都可以獲得正確的結果, 那麼這個對象就是線程安全的. 或者說: 一個類或者程序所提供的接口對於線程來說是 原子操作 或者多個線程之間的切換不會導致該接口的執行結果存在二義性, 也就是說我們不用考慮同步的問題.

2.示例 : 比如有間銀行只有1000元, 而兩個人同時提領1000元時,就有可能拿到總計2000元的金額. 為了避免這個問題, 該間銀行提款時應該使用 互斥鎖 , 即意味着對同一個資源處理時, 前一個提領交易完成後才處理下一筆交易.

3.線程安全意義 :

4.是否線程安全 :

5.資源競爭 : 即多個線程對同一個資源的改寫時, 存在的一種競爭. 如果僅僅是讀操作, 則不存在資源競爭的情況.

1.基本概念 : 因為存在上述所說的 線程安全與資源競爭 的情況, 所以引入了 線程鎖 . 即通過鎖來進行資源請求的限制, 以保證同步執行,避免資源被污染或預期結果不符. 線程鎖存在兩種狀態: 鎖定(locked)和非鎖定(unlocked).

2.基本方法 :

3.使用示例 :

上述示例如果在不加鎖的情況下, 將會出現打印順序混亂的情況, 不過最終結果都是正確的, 因為即使線程交替執行, 但最終的結果都是一致.

Python中的鎖都具有哪些?

大致羅列一下:

一、全局解釋器鎖(GIL)

1、什麼是全局解釋器鎖

每個CPU在同一時間只能執行一個線程,那麼其他的線程就必須等待該線程的全局解釋器,使用權消失後才能使用全局解釋器,即使多個線程直接不會相互影響在同一個進程下也只有一個線程使用cpu,這樣的機制稱為全局解釋器鎖(GIL)。GIL的設計簡化了CPython的實現,使的對象模型包括關鍵的內建類型,如:字典等,都是隱含的,可以並發訪問的,鎖住全局解釋器使得比較容易的實現對多線程的支持,但也損失了多處理器主機的並行計算能力。

2、全局解釋器鎖的好處

1)、避免了大量的加鎖解鎖的好處

2)、使數據更加安全,解決多線程間的數據完整性和狀態同步

3、全局解釋器的缺點

多核處理器退化成單核處理器,只能並發不能並行。

4、GIL的作用:

多線程情況下必須存在資源的競爭,GIL是為了保證在解釋器級別的線程唯一使用共享資源(cpu)。

二、同步鎖

1、什麼是同步鎖?

同一時刻的一個進程下的一個線程只能使用一個cpu,要確保這個線程下的程序在一段時間內被cpu執,那麼就要用到同步鎖。

2、為什麼用同步鎖?

因為有可能當一個線程在使用cpu時,該線程下的程序可能會遇到io操作,那麼cpu就會切到別的線程上去,這樣就有可能會影響到該程序結果的完整性。

3、怎麼使用同步鎖?

只需要在對公共數據的操作前後加上上鎖和釋放鎖的操作即可。

4、同步鎖的所用:

為了保證解釋器級別下的自己編寫的程序唯一使用共享資源產生了同步鎖。

三、死鎖

1、什麼是死鎖?

指兩個或兩個以上的線程或進程在執行程序的過程中,因爭奪資源或者程序推進順序不當而相互等待的一個現象。

2、死鎖產生的必要條件?

互斥條件、請求和保持條件、不剝奪條件、環路等待條件

3、處理死鎖的基本方法?

預防死鎖、避免死鎖(銀行家算法)、檢測死鎖(資源分配)、解除死鎖:剝奪資源、撤銷進程

四、遞歸鎖

在Python中為了支持同一個線程中多次請求同一資源,Python提供了可重入鎖。這個RLock內部維護着一個Lock和一個counter變量,counter記錄了acquire的次數,從而使得資源可以被多次require。直到一個線程所有的acquire都被release,其他的線程才能獲得資源。遞歸鎖分為可遞歸鎖與非遞歸鎖。

五、樂觀鎖

假設不會發生並發衝突,只在提交操作時檢查是否違反數據完整性。

六、悲觀鎖

假定會發生並發衝突,屏蔽一切可能違反數據完整性的操作。

python常用的加鎖方式:互斥鎖、可重入鎖、迭代死鎖、互相調用死鎖、自旋鎖大致羅列一下:

一、全局解釋器鎖(GIL)

1、什麼是全局解釋器鎖

每個CPU在同一時間只能執行一個線程,那麼其他的線程就必須等待該線程的全局解釋器,使用權消失後才能使用全局解釋器,即使多個線程直接不會相互影響在同一個進程下也只有一個線程使用cpu,這樣的機制稱為全局解釋器鎖(GIL)。GIL的設計簡化了CPython的實現,使的對象模型包括關鍵的內建類型,如:字典等,都是隱含的,可以並發訪問的,鎖住全局解釋器使得比較容易的實現對多線程的支持,但也損失了多處理器主機的並行計算能力。

2、全局解釋器鎖的好處

1)、避免了大量的加鎖解鎖的好處

2)、使數據更加安全,解決多線程間的數據完整性和狀態同步

3、全局解釋器的缺點

多核處理器退化成單核處理器,只能並發不能並行。

4、GIL的作用:

多線程情況下必須存在資源的競爭,GIL是為了保證在解釋器級別的線程唯一使用共享資源(cpu)。

二、同步鎖

1、什麼是同步鎖?

同一時刻的一個進程下的一個線程只能使用一個cpu,要確保這個線程下的程序在一段時間內被cpu執,那麼就要用到同步鎖。

2、為什麼用同步鎖?

因為有可能當一個線程在使用cpu時,該線程下的程序可能會遇到io操作,那麼cpu就會切到別的線程上去,這樣就有可能會影響到該程序結果的完整性。

3、怎麼使用同步鎖?

只需要在對公共數據的操作前後加上上鎖和釋放鎖的操作即可。

4、同步鎖的所用:

為了保證解釋器級別下的自己編寫的程序唯一使用共享資源產生了同步鎖。

三、死鎖

1、什麼是死鎖?

指兩個或兩個以上的線程或進程在執行程序的過程中,因爭奪資源或者程序推進順序不當而相互等待的一個現象。

2、死鎖產生的必要條件?

互斥條件、請求和保持條件、不剝奪條件、環路等待條件

3、處理死鎖的基本方法?

預防死鎖、避免死鎖(銀行家算法)、檢測死鎖(資源分配)、解除死鎖:剝奪資源、撤銷進程

四、遞歸鎖

在Python中為了支持同一個線程中多次請求同一資源,Python提供了可重入鎖。這個RLock內部維護着一個Lock和一個counter變量,counter記錄了acquire的次數,從而使得資源可以被多次require。直到一個線程所有的acquire都被release,其他的線程才能獲得資源。遞歸鎖分為可遞歸鎖與非遞歸鎖。

五、樂觀鎖

假設不會發生並發衝突,只在提交操作時檢查是否違反數據完整性。

六、悲觀鎖

假定會發生並發衝突,屏蔽一切可能違反數據完整性的操作。

python常用的加鎖方式:互斥鎖、可重入鎖、迭代死鎖、互相調用死鎖、自旋鎖

原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-hant/n/257304.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
小藍的頭像小藍
上一篇 2024-12-15 12:44
下一篇 2024-12-15 12:44

相關推薦

  • 如何查看Anaconda中Python路徑

    對Anaconda中Python路徑即conda環境的查看進行詳細的闡述。 一、使用命令行查看 1、在Windows系統中,可以使用命令提示符(cmd)或者Anaconda Pro…

    編程 2025-04-29
  • Python計算陽曆日期對應周幾

    本文介紹如何通過Python計算任意陽曆日期對應周幾。 一、獲取日期 獲取日期可以通過Python內置的模塊datetime實現,示例代碼如下: from datetime imp…

    編程 2025-04-29
  • Python周杰倫代碼用法介紹

    本文將從多個方面對Python周杰倫代碼進行詳細的闡述。 一、代碼介紹 from urllib.request import urlopen from bs4 import Bea…

    編程 2025-04-29
  • Python列表中負數的個數

    Python列表是一個有序的集合,可以存儲多個不同類型的元素。而負數是指小於0的整數。在Python列表中,我們想要找到負數的個數,可以通過以下幾個方面進行實現。 一、使用循環遍歷…

    編程 2025-04-29
  • Python中引入上一級目錄中函數

    Python中經常需要調用其他文件夾中的模塊或函數,其中一個常見的操作是引入上一級目錄中的函數。在此,我們將從多個角度詳細解釋如何在Python中引入上一級目錄的函數。 一、加入環…

    編程 2025-04-29
  • 蝴蝶優化算法Python版

    蝴蝶優化算法是一種基於仿生學的優化算法,模仿自然界中的蝴蝶進行搜索。它可以應用於多個領域的優化問題,包括數學優化、工程問題、機器學習等。本文將從多個方面對蝴蝶優化算法Python版…

    編程 2025-04-29
  • Python字典去重複工具

    使用Python語言編寫字典去重複工具,可幫助用戶快速去重複。 一、字典去重複工具的需求 在使用Python編寫程序時,我們經常需要處理數據文件,其中包含了大量的重複數據。為了方便…

    編程 2025-04-29
  • Python程序需要編譯才能執行

    Python 被廣泛應用於數據分析、人工智能、科學計算等領域,它的靈活性和簡單易學的性質使得越來越多的人喜歡使用 Python 進行編程。然而,在 Python 中程序執行的方式不…

    編程 2025-04-29
  • Python清華鏡像下載

    Python清華鏡像是一個高質量的Python開發資源鏡像站,提供了Python及其相關的開發工具、框架和文檔的下載服務。本文將從以下幾個方面對Python清華鏡像下載進行詳細的闡…

    編程 2025-04-29
  • python強行終止程序快捷鍵

    本文將從多個方面對python強行終止程序快捷鍵進行詳細闡述,並提供相應代碼示例。 一、Ctrl+C快捷鍵 Ctrl+C快捷鍵是在終端中經常用來強行終止運行的程序。當你在終端中運行…

    編程 2025-04-29

發表回復

登錄後才能評論