本文目錄一覽：
- 1、python 多進程
- 2、用python多進程模塊multiprocessing創建的子進程如何共享內存空間？
- 3、Python多進程運行——Multiprocessing基礎教程2
- 4、python3.4.3 多進程之間結果變量的傳遞問題，程序無任何結果輸出
python 多進程
基於官方文檔：
日樂購，剛才看到的一個博客，寫的都不太對，還是基於官方的比較穩妥
我就是喜歡抄官方的，哈哈
通常我們使用Process實例化一個進程，並調用 他的 start() 方法啟動它。
這種方法和 Thread 是一樣的。
上圖中，我寫了 p.join() 所以主進程是 等待 子進程執行完後，才執行 print(“運行結束”)
否則就是反過來了（這個不一定，看你的語句了，順序其實是隨機的）例如：
主進加個 sleep
所以不加join() ,其實子進程和主進程是各干各的，誰也不等誰。都執行完後，文件運行就結束了
上面我們用了 os.getpid() 和 os.getppid() 獲取 當前進程，和父進程的id
下面就講一下，這兩個函數的用法：
os.getpid()
返回當前進程的id
os.getppid()
返回父進程的id。 父進程退出後，unix 返回初始化進程（1）中的一個
windows返回相同的id (可能被其他進程使用了)
這也就解釋了，為啥我上面 的程序運行多次， 第一次打印的parentid 都是 14212 了。
而子進程的父級 process id 是調用他的那個進程的 id ： 1940
視頻筆記：
多進程：使用大致方法：
參考： 進程通信（pipe和queue）
pool.map （函數可以有return 也可以共享內存或queue） 結果直接是個列表
poll.apply_async() （同map,只不過是一個進程，返回結果用 xx.get() 獲得）
報錯：
參考 ：
把 pool = Pool() 放到 if name == ” main “: 下面初始化搞定。
結果：
這個肯定有解釋的
測試多進程計算效果：
進程池運行：
結果：
普通計算：
我們同樣傳入 1 2 10 三個參數測試：
其實對比下來開始快了一半的；
我們把循環里的數字去掉一個 0；
單進程：
多進程：
兩次測試 單進程/進程池 分別為 0.669 和 0.772 幾乎成正比的。
問題 二：
視圖：
post 視圖裏面
Music 類：
直接報錯：
寫在 類裏面也 在函數里用 self.pool 調用也不行，也是相同的錯誤。
最後 把 pool = Pool 直接寫在 search 函數裏面，奇蹟出現了：
前台也能顯示搜索的音樂結果了
總結一點，進程這個東西，最好 寫在 直接運行的函數裏面，而不是 一個函數跳來跳去。因為最後可能 是在子進程的子進程運行的，這是不許的，會報錯。
還有一點，多進程運行的函數對象，不能是 lambda 函數。也許lambda 虛擬，在內存？？
使用 pool.map 子進程 函數報錯，導致整個 pool 掛了:
參考：
主要你要，對函數內部捕獲錯誤，而不能讓異常拋出就可以了。
關於map 傳多個函數參數
我一開始，就是正常思維，多個參數，搞個元祖，讓參數一一對應不就行了：
報錯：
參考：
普通的 process 當讓可以穿多個參數，map 卻不知道咋傳的。
apply_async 和map 一樣，不知道咋傳的。
最簡單的方法：
使用 starmap 而不是 map
結果：
子進程結束
1.8399453163146973
成功拿到結果了
關於map 和 starmap 不同的地方看源碼：
關於apply_async() ,我沒找到多參數的方法，大不了用 一個迭代的 starmap 實現。哈哈
關於 上面源碼裏面有 itertools.starmap
itertools 用法參考：
有個問題，多進程最好不要使用全部的 cpu , 因為這樣可能影響其他任務，所以 在進程池 添加 process 參數 指定，cpu 個數：
上面就是預留了 一個cpu 干其他事的
後面直接使用 Queue 遇到這個問題：
解決：
Manager().Queue() 代替 Queue()
因為 queue.get() 是堵塞型的，所以可以提前判斷是不是 空的，以免堵塞進程。比如下面這樣：
使用 queue.empty() 空為True
用python多進程模塊multiprocessing創建的子進程如何共享內存空間？
進程傳遞數據最簡單方便的是通過Queue。這樣你的自建類對象就可以放到隊列中，由子進程獲取。
到於Array, Var等方法，那是給高效數據共享用的。共享內存是進程通信的高級技巧。需要高性能計算的時候再研究這些方法。
Pool, Manager之類是一種封裝。用得反而比較少。
python與C++共享內存里，還會使用一種Numpy中的數組。那個效率更高。
你的程序中子進程及傳遞參數都沒有問題。你少了一句。在後面要加上
p.join()就可以了
如果不加，那麼你的主進程不等子進程，它先退出了，往往操作系統會自動把子進程也殺掉。
另外子進程中的print輸出有延時。即使你用sys.stdout.flush()，有時候它也會有延時。
Python多進程運行——Multiprocessing基礎教程2
上篇文章簡單介紹了multiprocessing模塊，本文將要介紹進程之間的數據共享和信息傳遞的概念。
在多進程處理中，所有新創建的進程都會有這兩個特點：獨立運行，有自己的內存空間。
我們來舉個例子展示一下：
這個程序的輸出結果是：
在上面的程序中我們嘗試在兩個地方打印全局列表result的內容：
我們再用一張圖來幫助理解記憶不同進程間的數據關係：
如果程序需要在不同的進程之間共享一些數據的話，該怎麼做呢？不用擔心，multiprocessing模塊提供了Array對象和Value對象，用來在進程之間共享數據。
所謂Array對象和Value對象分別是指從共享內存中分配的ctypes數組和對象。我們直接來看一個例子，展示如何用Array對象和Value對象在進程之間共享數據：
程序輸出的結果如下：
成功了！主程序和p1進程輸出了同樣的結果，說明程序中確實完成了不同進程間的數據共享。那麼我們來詳細看一下上面的程序做了什麼：
在主程序中我們首先創建了一個Array對象：
向這個對象輸入的第一個參數是數據類型：i表示整數，d代表浮點數。第二個參數是數組的大小，在這個例子中我們創建了包含4個元素的數組。
類似的，我們創建了一個Value對象：
我們只對Value對象輸入了一個參數，那就是數據類型，與上述的方法一致。當然，我們還可以對其指定一個初始值（比如10），就像這樣：
隨後，我們在創建進程對象時，將剛創建好的兩個對象：result和square_sum作為參數輸入給進程：
在函數中result元素通過索引進行數組賦值，square_sum通過 value 屬性進行賦值。
注意：為了完整打印result數組的結果，需要使用 result[:] 進行打印，而square_sum也需要使用 value 屬性進行打印：
每當python程序啟動時，同時也會啟動一個服務器進程。隨後，只要我們需要生成一個新進程，父進程就會連接到服務器並請求它派生一個新進程。這個服務器進程可以保存Python對象，並允許其他進程使用代理來操作它們。
multiprocessing模塊提供了能夠控制服務器進程的Manager類。所以，Manager類也提供了一種創建可以在不同流程之間共享的數據的方法。
服務器進程管理器比使用共享內存對象更靈活，因為它們可以支持任意對象類型，如列表、字典、隊列、值、數組等。此外，單個管理器可以由網絡上不同計算機上的進程共享。
但是，服務器進程管理器的速度比使用共享內存要慢。
讓我們來看一個例子：
這個程序的輸出結果是：
我們來理解一下這個程序做了什麼：首先我們創建了一個manager對象
在with語句下的所有行，都是在manager對象的範圍內的。接下來我們使用這個manager對象創建了列表（類似的，我們還可以用 manager.dict() 創建字典）。
最後我們創建了進程p1（用於在records列表中插入一條新的record）和p2（將records打印出來），並將records作為參數進行傳遞。
服務器進程的概念再次用下圖總結一下：
為了能使多個流程能夠正常工作，常常需要在它們之間進行一些通信，以便能夠劃分工作並匯總最後的結果。multiprocessing模塊支持進程之間的兩種通信通道：Queue和Pipe。
使用隊列來回處理多進程之間的通信是一種比較簡單的方法。任何Python對象都可以使用隊列進行傳遞。我們來看一個例子：
上面這個程序的輸出結果是：
我們來看一下上面這個程序到底做了什麼。首先我們創建了一個Queue對象：
然後，將這個空的Queue對象輸入square_list函數。該函數會將列表中的數平方，再使用 put() 方法放入隊列中：
隨後使用 get() 方法，將q打印出來，直至q重新稱為一個空的Queue對象：
我們還是用一張圖來幫助理解記憶：
一個Pipe對象只能有兩個端點。因此，當進程只需要雙向通信時，它會比Queue對象更好用。
multiprocessing模塊提供了 Pipe() 函數，該函數返回由管道連接的一對連接對象。 Pipe() 返回的兩個連接對象分別表示管道的兩端。每個連接對象都有 send() 和 recv() 方法。
我們來看一個例子：
上面這個程序的輸出結果是：
我們還是來看一下這個程序到底做了什麼。首先創建了一個Pipe對象：
與上文說的一樣，該對象返回了一對管道兩端的兩個連接對象。然後使用 send() 方法和 recv() 方法進行信息的傳遞。就這麼簡單。在上面的程序中，我們從一端向另一端發送一串消息。在另一端，我們收到消息，並在收到END消息時退出。
要注意的是，如果兩個進程(或線程)同時嘗試從管道的同一端讀取或寫入管道中的數據，則管道中的數據可能會損壞。不過不同的進程同時使用管道的兩端是沒有問題的。還要注意，Queue對象在進程之間進行了適當的同步，但代價是增加了計算複雜度。因此，Queue對象對於線程和進程是相對安全的。
最後我們還是用一張圖來示意：
Python的multiprocessing模塊還剩最後一篇文章：多進程的同步與池化
敬請期待啦！
python3.4.3 多進程之間結果變量的傳遞問題，程序無任何結果輸出
多進程間共享的變量要使用特殊的數據結構，在multiprocessing包里有提供，常用的有Queue, Value, Array等，這裡比較適合用Queue
修改後的程序如下，注意Result賦值，和ProcessCheck的參數
另外，Result要排序後輸出的話，要用循環從Queue取值構建list再排序，這裡省略了
import datetime
import sys
import time
import multiprocessing
PartStart = [] #每個process計算的起點
PartEnd = [] #每個process計算的終點
Result = multiprocessing.Queue() #所有結果存儲在Result數組中
ProcessCount = 10 #進程數
EndNum = 9999999 #計算範圍，默認100開始，終止數可以任意修改，大於100即可
print(‘Start:%s’ %datetime.datetime.now().strftime(“%Y/%d/%m %H:%M:%S”))
start=time.time()
d=int(((EndNum-99)/ProcessCount)+0.5)
for i in range(ProcessCount):
PartStart.append(100+i*d)
PartEnd.append(PartStart[i]+d-1)
PartEnd[ProcessCount-1]=EndNum
#==========================================
#這段代碼只是計算每個process的計算起點和終點
def CheckNum(Number):
tmp=str(Number)
len_num=len(tmp)
sum_num = 0
for i in range(len_num):
sum_num=sum_num+(int(tmp[i])**len_num)
if sum_num==int(Number):
return True
#print(Number,”是水仙花數”)
else:
return False
#print(Number,”不是水仙花數”)
def ProcessCheck(Start,End, Result):
for j in range(int(Start),int(End)+1):
if CheckNum(j):
#print(j,”是水仙花數”)
print(“hello world”)
Result.put(str(j)+”是水仙花數”)
#============================================
#這段代碼用於計算某數值區間內的水仙花數，並存儲進result數組中，也是每個process運行的代碼
def main():
threads=[]
for i in range(ProcessCount):
p=multiprocessing.Process(target=ProcessCheck, args=(PartStart[i],PartEnd[i], Result))
threads.append(p)
for i in range(ProcessCount):
threads[i].start()
for i in range(ProcessCount):
threads[i].join()
#Result.sort(key=lambda t:t[0])
for i in range(Result.qsize()):
print(Result.get())
#將最後的結果排序輸出，但沒有任何結果出現
end = time.time()
input(‘End:%s’ %datetime.datetime.now().strftime(“%Y/%d/%m %H:%M:%S”)+”\n”+”共耗時：”+str(end-start))
#這個input沒有任何意義，主要是防止程序直接結束退出
if __name__ == ‘__main__’:
main()
原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-hk/n/150517.html
微信掃一掃 
支付寶掃一掃 