提高效率之python的多線程（python 多線程效率低）

本文目錄一覽：

• 1、Python多線程是什麼意思
• 2、Python高階（一） – 單線程、多線程和多進程的效率對比測試
• 3、python多線程能提高效率嗎

Python多線程是什麼意思

幾乎所有的操作系統都支持同時運行多個任務，一個任務通常就是一個程序，所有運行中的任務都對應一個進程。即當一個程序進入內存運行時，即變成一個進程。進程就是處於運行過程中的程序，並且具有一定的獨立功能。進程是系統進行資源分配調度的一個獨立單位，當一個程序運行時，內部可能包含多個順序執流，每個順序執行流就是一個線程。

1、線程在程序中是獨立的，並發的執行流，劃分尺度小於進程，所有多線程程序的並發性高;

2、進程在執行過程中擁有獨立的內存單元，而多個線程共享內存，可以極大地提高進程程序的運行效率;

3、線程比進程具有更高的性能，由於同一個進程中的線程都有共性，多個線程共享同一個進程的虛擬空間，可以很容易實現通信。操作系統在創建進程中，必須為該進程分配獨立內存空間，分配大量相關資源，但創建線程則簡單得多。

Python高階（一） – 單線程、多線程和多進程的效率對比測試

多線程的目的 – “最大限度地利用CPU資源”。每個程序執行時都會產生一個進程，而每一個進程至少要有一個主線程。對於單CPU來說（沒有開啟超線程），在同一時間只能執行一個線程，所以如果想實現多任務，那麼就只能每個進程或線程獲得一個時間片，在某個時間片內，只能一個線程執行，然後按照某種策略換其他線程執行。由於時間片很短，這樣給用戶的感覺是同時有好多線程在執行。

Python是運行在解釋器中的語言，查找資料知道，python中有一個全局鎖（GIL），在使用多線程(Thread)的情況下，不能發揮多核的優勢。而使用多進程(Multiprocess)，則可以發揮多核的優勢真正地提高效率。

單線程、多線程和多進程的效率對比測試： github地址

資料顯示，如果多線程的進程是CPU密集型的，那多線程並不能有多少效率上的提升，相反還可能會因為線程的頻繁切換，導致效率下降，推薦使用多進程；如果是IO密集型，多線程進程可以利用IO阻塞等待時的空閑時間執行其他線程，提升效率。所以我們根據實驗對比不同場景的效率

| CPU密集型操作| IO密集型操作| 網絡請求密集型操作

— | — | –| —

線性操作| 69.73533328374 |17.76633326213 | 6.78833333651

多線程操作| 75.40299995740 |145.68366670609 | 1.93999997775

多進程操作| 13.97433336576 | 4.67833328247| 2.38333328565

僅個人觀點，，歡迎留言~~~

python多線程能提高效率嗎

如果你的代碼是CPU密集型，多個線程的代碼很有可能是線性執行的。所以這種情況下多線程是雞肋，效率可能還不如單線程因為有context switch

但是：如果你的代碼是IO密集型，多線程可以明顯提高效率。例如製作爬蟲（我就不明白為什麼Python總和爬蟲聯繫在一起…不過也只想起來這個例子…），絕大多數時間爬蟲是在等待socket返回數據。這個時候C代碼里是有release GIL的，最終結果是某個線程等待IO的時候其他線程可以繼續執行。

反過來講：你就不應該用Python寫CPU密集型的代碼…效率擺在那裡…

如果確實需要在CPU密集型的代碼里用concurrent，就去用multiprocessing庫。這個庫是基於multi process實現了類multi thread的API接口，並且用pickle部分地實現了變量共享。

再加一條，如果你不知道你的代碼到底算CPU密集型還是IO密集型，教你個方法：

multiprocessing這個module有一個dummy的sub module，它是基於multithread實現了multiprocessing的API。

假設你使用的是multiprocessing的Pool，是使用多進程實現了concurrency

from multiprocessing import Pool

如果把這個代碼改成下面這樣，就變成多線程實現concurrency

from multiprocessing.dummy import Pool

兩種方式都跑一下，哪個速度快用哪個就行了。

UPDATE:

剛剛才發現concurrent.futures這個東西，包含ThreadPoolExecutor和ProcessPoolExecutor，可能比multiprocessing更簡單