本文目錄一覽：
python3.4.3 多進程之間結果變數的傳遞問題，程序無任何結果輸出
多進程間共享的變數要使用特殊的數據結構，在multiprocessing包里有提供，常用的有Queue, Value, Array等，這裡比較適合用Queue
修改後的程序如下，注意Result賦值，和ProcessCheck的參數
另外，Result要排序後輸出的話，要用循環從Queue取值構建list再排序，這裡省略了
import datetime
import sys
import time
import multiprocessing
PartStart = [] #每個process計算的起點
PartEnd = [] #每個process計算的終點
Result = multiprocessing.Queue() #所有結果存儲在Result數組中
ProcessCount = 10 #進程數
EndNum = 9999999 #計算範圍，默認100開始，終止數可以任意修改，大於100即可
print(‘Start:%s’ %datetime.datetime.now().strftime(“%Y/%d/%m %H:%M:%S”))
start=time.time()
d=int(((EndNum-99)/ProcessCount)+0.5)
for i in range(ProcessCount):
PartStart.append(100+i*d)
PartEnd.append(PartStart[i]+d-1)
PartEnd[ProcessCount-1]=EndNum
#==========================================
#這段代碼只是計算每個process的計算起點和終點
def CheckNum(Number):
tmp=str(Number)
len_num=len(tmp)
sum_num = 0
for i in range(len_num):
sum_num=sum_num+(int(tmp[i])**len_num)
if sum_num==int(Number):
return True
#print(Number,”是水仙花數”)
else:
return False
#print(Number,”不是水仙花數”)
def ProcessCheck(Start,End, Result):
for j in range(int(Start),int(End)+1):
if CheckNum(j):
#print(j,”是水仙花數”)
print(“hello world”)
Result.put(str(j)+”是水仙花數”)
#============================================
#這段代碼用於計算某數值區間內的水仙花數，並存儲進result數組中，也是每個process運行的代碼
def main():
threads=[]
for i in range(ProcessCount):
p=multiprocessing.Process(target=ProcessCheck, args=(PartStart[i],PartEnd[i], Result))
threads.append(p)
for i in range(ProcessCount):
threads[i].start()
for i in range(ProcessCount):
threads[i].join()
#Result.sort(key=lambda t:t[0])
for i in range(Result.qsize()):
print(Result.get())
#將最後的結果排序輸出，但沒有任何結果出現
end = time.time()
input(‘End:%s’ %datetime.datetime.now().strftime(“%Y/%d/%m %H:%M:%S”)+”\n”+”共耗時：”+str(end-start))
#這個input沒有任何意義，主要是防止程序直接結束退出
if __name__ == ‘__main__’:
main()
關於Python數據進程間共享
如果兩個py運行在兩個不同的解釋器，應該沒有辦法直接共享，只能通過轉發，如果數據可以序列化，可考慮存儲到資料庫，其他程序讀取
Python多進程運行——Multiprocessing基礎教程2
上篇文章簡單介紹了multiprocessing模塊，本文將要介紹進程之間的數據共享和信息傳遞的概念。
在多進程處理中，所有新創建的進程都會有這兩個特點：獨立運行，有自己的內存空間。
我們來舉個例子展示一下：
這個程序的輸出結果是：
在上面的程序中我們嘗試在兩個地方列印全局列表result的內容：
我們再用一張圖來幫助理解記憶不同進程間的數據關係：
如果程序需要在不同的進程之間共享一些數據的話，該怎麼做呢？不用擔心，multiprocessing模塊提供了Array對象和Value對象，用來在進程之間共享數據。
所謂Array對象和Value對象分別是指從共享內存中分配的ctypes數組和對象。我們直接來看一個例子，展示如何用Array對象和Value對象在進程之間共享數據：
程序輸出的結果如下：
成功了！主程序和p1進程輸出了同樣的結果，說明程序中確實完成了不同進程間的數據共享。那麼我們來詳細看一下上面的程序做了什麼：
在主程序中我們首先創建了一個Array對象：
向這個對象輸入的第一個參數是數據類型：i表示整數，d代表浮點數。第二個參數是數組的大小，在這個例子中我們創建了包含4個元素的數組。
類似的，我們創建了一個Value對象：
我們只對Value對象輸入了一個參數，那就是數據類型，與上述的方法一致。當然，我們還可以對其指定一個初始值（比如10），就像這樣：
隨後，我們在創建進程對象時，將剛創建好的兩個對象：result和square_sum作為參數輸入給進程：
在函數中result元素通過索引進行數組賦值，square_sum通過 value 屬性進行賦值。
注意：為了完整列印result數組的結果，需要使用 result[:] 進行列印，而square_sum也需要使用 value 屬性進行列印：
每當python程序啟動時，同時也會啟動一個伺服器進程。隨後，只要我們需要生成一個新進程，父進程就會連接到伺服器並請求它派生一個新進程。這個伺服器進程可以保存Python對象，並允許其他進程使用代理來操作它們。
multiprocessing模塊提供了能夠控制伺服器進程的Manager類。所以，Manager類也提供了一種創建可以在不同流程之間共享的數據的方法。
伺服器進程管理器比使用共享內存對象更靈活，因為它們可以支持任意對象類型，如列表、字典、隊列、值、數組等。此外，單個管理器可以由網路上不同計算機上的進程共享。
但是，伺服器進程管理器的速度比使用共享內存要慢。
讓我們來看一個例子：
這個程序的輸出結果是：
我們來理解一下這個程序做了什麼：首先我們創建了一個manager對象
在with語句下的所有行，都是在manager對象的範圍內的。接下來我們使用這個manager對象創建了列表（類似的，我們還可以用 manager.dict() 創建字典）。
最後我們創建了進程p1（用於在records列表中插入一條新的record）和p2（將records列印出來），並將records作為參數進行傳遞。
伺服器進程的概念再次用下圖總結一下：
為了能使多個流程能夠正常工作，常常需要在它們之間進行一些通信，以便能夠劃分工作並匯總最後的結果。multiprocessing模塊支持進程之間的兩種通信通道：Queue和Pipe。
使用隊列來回處理多進程之間的通信是一種比較簡單的方法。任何Python對象都可以使用隊列進行傳遞。我們來看一個例子：
上面這個程序的輸出結果是：
我們來看一下上面這個程序到底做了什麼。首先我們創建了一個Queue對象：
然後，將這個空的Queue對象輸入square_list函數。該函數會將列表中的數平方，再使用 put() 方法放入隊列中：
隨後使用 get() 方法，將q列印出來，直至q重新稱為一個空的Queue對象：
我們還是用一張圖來幫助理解記憶：
一個Pipe對象只能有兩個端點。因此，當進程只需要雙向通信時，它會比Queue對象更好用。
multiprocessing模塊提供了 Pipe() 函數，該函數返回由管道連接的一對連接對象。 Pipe() 返回的兩個連接對象分別表示管道的兩端。每個連接對象都有 send() 和 recv() 方法。
我們來看一個例子：
上面這個程序的輸出結果是：
我們還是來看一下這個程序到底做了什麼。首先創建了一個Pipe對象：
與上文說的一樣，該對象返回了一對管道兩端的兩個連接對象。然後使用 send() 方法和 recv() 方法進行信息的傳遞。就這麼簡單。在上面的程序中，我們從一端向另一端發送一串消息。在另一端，我們收到消息，並在收到END消息時退出。
要注意的是，如果兩個進程(或線程)同時嘗試從管道的同一端讀取或寫入管道中的數據，則管道中的數據可能會損壞。不過不同的進程同時使用管道的兩端是沒有問題的。還要注意，Queue對象在進程之間進行了適當的同步，但代價是增加了計算複雜度。因此，Queue對象對於線程和進程是相對安全的。
最後我們還是用一張圖來示意：
Python的multiprocessing模塊還剩最後一篇文章：多進程的同步與池化
敬請期待啦！
原創文章，作者：ZM83N，如若轉載，請註明出處：https://www.506064.com/zh-tw/n/127884.html
微信掃一掃 
支付寶掃一掃 