Python Multiprocess的全面介紹

一、Python Multiprocessing

Python Multiprocessing 是一個用於並行處理和並行計算的模塊。其主要提供了本地和分散式多處理功能，使我們能夠同時使用多個進程來處理更多數據。Python Multiprocessing 可以充分利用多核 CPU，提高程序的處理速度。

使用多進程比使用單進程有很多優點，它可以提高運行效率，因為當一個進程內部發生錯誤時，可以避免整個程序崩潰。

Python Multiprocessing 包括 Process，Queue，Pipe，Lock 和 Manager 等類，其中 Process 是最重要的。

二、Python Multiprocessing Pool

Python Multiprocessing Pool 是 Python Multiprocessing 的又一個重要模塊，它能夠實現進程池技術。在大量數據需要處理時，用進程池可以減少了進程的創建和銷毀過程，更加高效地完成任務。

Python Multiprocessing Pool 中有兩個常用的方法：map 和 apply_async，map 可以將函數應用於可迭代對象中的每個元素；apply_async 是非同步執行，並且它可以將函數與參數傳遞給一個進程，並且不必等待，返回一個AsyncResult 對象。

三、Python Multiprocessing用法

1、使用Python Multiprocessing創建進程

import multiprocessing

def func(x):
    print("This is a process")

if __name__ == '__main__':
    p = multiprocessing.Process(target=func, args=("argument", ))
    p.start()
    p.join()

在這個例子中，我們創建了一個名為p的進程，它將實現func函數，並且將字元串「argument」作為參數傳遞。我們使用p.start()啟動進程，p.join()等待進程完成。

2、使用Python Multiprocessing創建進程池

import multiprocessing

def func(x):
    return x*x

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=2)
    result = pool.map(func, [1, 2, 3, 4, 5])
    pool.close()
    pool.join()
    print(result)

在這個例子中，我們創建了一個名為pool的進程池，它將使用2個進程執行func函數，我們使用pool.map()函數並將[1, 2, 3, 4, 5]這樣的任務放進進程池中處理，返回的結果存儲在result變數中。

3、使用Python Multiprocessing共享內存

import multiprocessing

def func(val_list, i):
    val_list[i] = i

if __name__ == '__main__':
    manager = multiprocessing.Manager()
    val_list = manager.list(range(5))
    process_list = []

    for i in range(5):
        p = multiprocessing.Process(target=func, args=(val_list, i))
        p.start()
        process_list.append(p)

    for p in process_list:
        p.join()

    print(val_list)

在這個例子中，我們使用了multiprocessing.Manager()創建了一個名為val_list的共享數組。我們在5個進程中更新數組的值，然後使用join()等待所有進程結束。在最後，我們輸出了更新後的共享內存的值。

四、總結

使用 Python Multiprocessing 可以充分利用多核CPU，加快程序運行速度。雖然在進程池中需要用到一定的內存和 CPU 資源，但是這都是值得的，因為這可以使程序更加優化和高效。