python啟動實現多任務的簡單介紹

本文目錄一覽：

• 1、Python多進程運行——Multiprocessing基礎教程2
• 2、python 中的協程是怎麼實現多任務的？
• 3、Python多線程問題，怎麼解決
• 4、python多任務之進程隊列queen

Python多進程運行——Multiprocessing基礎教程2

上篇文章簡單介紹了multiprocessing模塊，本文將要介紹進程之間的數據共享和信息傳遞的概念。

在多進程處理中，所有新創建的進程都會有這兩個特點：獨立運行，有自己的內存空間。

我們來舉個例子展示一下：

這個程序的輸出結果是：

在上面的程序中我們嘗試在兩個地方列印全局列表result的內容：

我們再用一張圖來幫助理解記憶不同進程間的數據關係：

如果程序需要在不同的進程之間共享一些數據的話，該怎麼做呢？不用擔心，multiprocessing模塊提供了Array對象和Value對象，用來在進程之間共享數據。

所謂Array對象和Value對象分別是指從共享內存中分配的ctypes數組和對象。我們直接來看一個例子，展示如何用Array對象和Value對象在進程之間共享數據：

程序輸出的結果如下：

成功了！主程序和p1進程輸出了同樣的結果，說明程序中確實完成了不同進程間的數據共享。那麼我們來詳細看一下上面的程序做了什麼：

在主程序中我們首先創建了一個Array對象：

向這個對象輸入的第一個參數是數據類型：i表示整數，d代表浮點數。第二個參數是數組的大小，在這個例子中我們創建了包含4個元素的數組。

類似的，我們創建了一個Value對象：

我們只對Value對象輸入了一個參數，那就是數據類型，與上述的方法一致。當然，我們還可以對其指定一個初始值（比如10），就像這樣：

隨後，我們在創建進程對象時，將剛創建好的兩個對象：result和square_sum作為參數輸入給進程：

在函數中result元素通過索引進行數組賦值，square_sum通過 value 屬性進行賦值。

注意：為了完整列印result數組的結果，需要使用 result[:] 進行列印，而square_sum也需要使用 value 屬性進行列印：

每當python程序啟動時，同時也會啟動一個伺服器進程。隨後，只要我們需要生成一個新進程，父進程就會連接到伺服器並請求它派生一個新進程。這個伺服器進程可以保存Python對象，並允許其他進程使用代理來操作它們。

multiprocessing模塊提供了能夠控制伺服器進程的Manager類。所以，Manager類也提供了一種創建可以在不同流程之間共享的數據的方法。

伺服器進程管理器比使用共享內存對象更靈活，因為它們可以支持任意對象類型，如列表、字典、隊列、值、數組等。此外，單個管理器可以由網路上不同計算機上的進程共享。

但是，伺服器進程管理器的速度比使用共享內存要慢。

讓我們來看一個例子：

這個程序的輸出結果是：

我們來理解一下這個程序做了什麼：首先我們創建了一個manager對象

在with語句下的所有行，都是在manager對象的範圍內的。接下來我們使用這個manager對象創建了列表（類似的，我們還可以用 manager.dict() 創建字典）。

最後我們創建了進程p1（用於在records列表中插入一條新的record）和p2（將records列印出來），並將records作為參數進行傳遞。

伺服器進程的概念再次用下圖總結一下：

為了能使多個流程能夠正常工作，常常需要在它們之間進行一些通信，以便能夠劃分工作並匯總最後的結果。multiprocessing模塊支持進程之間的兩種通信通道：Queue和Pipe。

使用隊列來回處理多進程之間的通信是一種比較簡單的方法。任何Python對象都可以使用隊列進行傳遞。我們來看一個例子：

上面這個程序的輸出結果是：

我們來看一下上面這個程序到底做了什麼。首先我們創建了一個Queue對象：

然後，將這個空的Queue對象輸入square_list函數。該函數會將列表中的數平方，再使用 put() 方法放入隊列中：

隨後使用 get() 方法，將q列印出來，直至q重新稱為一個空的Queue對象：

我們還是用一張圖來幫助理解記憶：

一個Pipe對象只能有兩個端點。因此，當進程只需要雙向通信時，它會比Queue對象更好用。

multiprocessing模塊提供了 Pipe() 函數，該函數返回由管道連接的一對連接對象。 Pipe() 返回的兩個連接對象分別表示管道的兩端。每個連接對象都有 send() 和 recv() 方法。

我們來看一個例子：

上面這個程序的輸出結果是：

我們還是來看一下這個程序到底做了什麼。首先創建了一個Pipe對象：

與上文說的一樣，該對象返回了一對管道兩端的兩個連接對象。然後使用 send() 方法和 recv() 方法進行信息的傳遞。就這麼簡單。在上面的程序中，我們從一端向另一端發送一串消息。在另一端，我們收到消息，並在收到END消息時退出。

要注意的是，如果兩個進程(或線程)同時嘗試從管道的同一端讀取或寫入管道中的數據，則管道中的數據可能會損壞。不過不同的進程同時使用管道的兩端是沒有問題的。還要注意，Queue對象在進程之間進行了適當的同步，但代價是增加了計算複雜度。因此，Queue對象對於線程和進程是相對安全的。

最後我們還是用一張圖來示意：

Python的multiprocessing模塊還剩最後一篇文章：多進程的同步與池化

敬請期待啦！

python 中的協程是怎麼實現多任務的？

協程也稱為微線程，是在一個線程中，通過不斷的切換任務函數實現了多任務的效果。

協程在python實現的原理主要是通過yield這個關鍵字實現

但是真正在開發時，可以不需要自己實現，可以通過很多成熟的第三方模塊來實現協程，比如greenlet,gevent等模塊。多線程的課程我記得是在黑馬程序員裡面找的，一套，還有資料。

Python多線程問題，怎麼解決

在python里線程出問題，可能會導致主進程崩潰。 雖然python里的線程是操作系統的真實線程。

那麼怎麼解決呢？通過我們用進程方式。子進程崩潰後，會完全的釋放所有的內存和錯誤狀態。所以進程更安全。 另外通過進程，python可以很好的繞過GIL，這個全局鎖問題。

但是進程也是有局限的。不要建立超過CPU總核數的進程，否則效率也不高。

簡單的總結一下。

當我們想實現多任務處理時，首先要想到使用multiprocessing， 但是如果覺著進程太笨重，那麼就要考慮使用線程。 如果多任務處理中需要處理的太多了，可以考慮多進程，每個進程再採用多線程。如果還處理不要，就要使用輪詢模式，比如使用poll event, twisted等方式。如果是GUI方式，則要通過事件機制，或者是消息機制處理，GUI使用單線程。

所以在python里線程不要盲目用， 也不要濫用。 但是線程不安全是事實。如果僅僅是做幾個後台任務，則可以考慮使用守護線程做。如果需要做一些危險操作，可能會崩潰的，就用子進程去做。 如果需要高度穩定性，同時並發數又不高的服務。則強烈建議用多進程的multiprocessing模塊實現。

在linux或者是unix里，進程的使用代價沒有windows高。還是可以接受的。

python多任務之進程隊列queen

python的多進程之間無法用全局變數，需要只用隊列queen進行通訊。

1. 創建。q=multiprocessing.Queen(num)，num最大存放多少數據

2.進程使用隊列，需要在創建進程時做為參數傳進去。p=multiprocessing.Process(target=fun_name,args=(q,))

3.隊列使用。隊列是先進先出的，p.put(任何數據類型)，放進數據，當隊列滿時會進程會堵塞等待。p.get()取出數據，當隊列中無數據是，進程會堵塞等待。p.full()是否已滿，p.empty()是否空了。