並發編程必備：Python多進程之隊列(Queue)使用詳解

並發編程是現代程序設計中非常重要的一部分，尤其是在處理大型數據和網路任務中。在Python語言中，多進程是一種方便且高效的方式來實現並發編程。通過進程之間的通信，可以實現各種並發任務，包括網路任務、數據處理、圖像處理等。啟動多個進程並進行通信時，我們可以使用Python提供的隊列（Queue）來實現進程間的數據共享，這對於多進程編程至關重要。本文將詳細講解並發編程中Python多進程之隊列的使用。

一、什麼是Python多進程之隊列(Queue)？

隊列(Queue)是一種先進先出的數據結構，它可以在多個進程之間共享數據。在Python的多進程編程中，隊列被廣泛應用於多進程之間的數據傳送。Python提供了兩種類型的隊列：進程隊列(Process Queue)和線程隊列(Thread Queue)。這兩種隊列都可以被用於多進程之間的數據傳送，只是應用場景不同而已。

在Python多進程編程中，使用進程隊列(Process Queue)時，需要從multiprocessing模塊中引入Queue。該類實例化後，可以用來在多個進程之間傳輸數據。由於數據被存儲在隊列中，所以多進程之間不需要再次使用文件或套接字進行通信。

import multiprocessing

# 創建一個進程隊列
queue = multiprocessing.Queue()

二、Python多進程之隊列(Queue)的基本用法

Python多進程之隊列的基本用法非常簡單，只需要通過put()方法向隊列中添加元素，通過get()方法從隊列中取出元素即可。

下面是多進程隊列的一個簡單例子，它創建了兩個進程，一個進程向隊列中添加元素，另一個進程從隊列中獲取元素。在程序運行過程中，我們通過不斷向隊列中添加元素，檢查另一個進程是否能夠從隊列中成功獲取這些元素。

import multiprocessing

# 向隊列中添加元素的進程函數
def add_data(queue):
    # 向隊列中添加數據
    for i in range(10):
        queue.put(i)
        print(f"Put {i} into queue")
        
# 從隊列中獲取元素的進程函數
def read_data(queue):
    # 從隊列中獲取數據
    while True:
        data = queue.get()
        print(f"Get {data} from queue")

if __name__ == '__main__':
    # 創建進程隊列
    queue = multiprocessing.Queue()

    # 創建進程
    add_process = multiprocessing.Process(target=add_data, args=(queue,))
    read_process = multiprocessing.Process(target=read_data, args=(queue,))

    # 啟動進程
    add_process.start()
    read_process.start()
    
    # 等待兩個進程結束
    add_process.join()
    read_process.terminate()

當程序運行時，首先創建了一個進程隊列，然後創建了兩個進程，分別是向隊列中添加元素的add_data()函數和從隊列中獲取元素的read_data()函數。最後分別啟動兩個進程並等待它們結束。

通過這個例子，你可以看到向隊列中添加元素和從隊列中獲取元素的簡單方法。Python多進程之隊列(Queue)允許你在多個進程之間傳遞數據，無需擔心數據衝突問題。

三、Python多進程之隊列(Queue)的高級用法

除了向進程隊列中添加元素和從隊列中取出元素的基本用法，Python的多進程之隊列還有很多高級用法。在本節中，我們將介紹一些高級的操作，包括隊列大小的限制、隊列的阻塞操作、非阻塞操作嘗試獲取隊列元素、可等待對象等。

（1）設置隊列的大小限制

在某些情況下，我們需要控制進程隊列中存儲的元素數量。Python的Queue提供了一個可選的maxsize參數來指定隊列的最大元素數量，如果隊列已滿，將不再接受新的元素。

import multiprocessing

# 向隊列中添加元素的進程函數
def add_data(queue):
    # 向隊列中添加數據
    for i in range(10):
        queue.put(i)
        print(f"Put {i} into queue")
        
# 從隊列中獲取元素的進程函數
def read_data(queue):
    # 從隊列中獲取數據
    while True:
        data = queue.get()
        print(f"Get {data} from queue")

if __name__ == '__main__':
    # 創建進程隊列，設置大小為5
    queue = multiprocessing.Queue(maxsize=5)

    # 創建進程
    add_process = multiprocessing.Process(target=add_data, args=(queue,))
    read_process = multiprocessing.Process(target=read_data, args=(queue,))

    # 啟動進程
    add_process.start()
    read_process.start()
    
    # 等待兩個進程結束
    add_process.join()
    read_process.terminate()

在這個例子中，我們將進程隊列maxsize設置為5。當添加進程向隊列中添加元素時，當隊列存儲元素數量已滿，添加進程會被阻塞，直到隊列中的某個元素被一個獲取進程取出。

（2）阻塞隊列操作

隊列的阻塞操作是指在隊列上執行某些操作時，如果隊列為空或已滿，則會阻塞操作，直到隊列不為空或不滿為止。Python隊列模塊提供了以下阻塞隊列操作：

• put()：向隊列中添加一個元素，如果隊列已滿，此操作將被阻塞。
• put_nowait()：向隊列中添加一個元素，如果隊列已滿，此操作將不會被阻塞，並引發Full異常。
• get()：從隊列中獲取一個元素，如果隊列為空，此操作將被阻塞。
• get_nowait()：從隊列中獲取一個元素，如果隊列為空，此操作不會被阻塞，並引發Empty異常。

下面是一個簡單的例子，它演示了如何在Python的多進程中使用隊列的阻塞操作。

import multiprocessing
import time

# 向隊列中添加元素的進程函數
def add_data(queue):
    # 向隊列中添加數據
    for i in range(10):
        queue.put(i, True, 2)
        print(f"Put {i} into queue")
        time.sleep(1)

# 從隊列中獲取元素的進程函數
def read_data(queue):
    # 從隊列中獲取數據
    while True:
        data = queue.get(True, 2)
        print(f"Get {data} from queue")
        time.sleep(1)

if __name__ == '__main__':
    # 創建進程隊列，設置大小為5
    queue = multiprocessing.Queue(maxsize=5)

    # 創建進程
    add_process = multiprocessing.Process(target=add_data, args=(queue,))
    read_process = multiprocessing.Process(target=read_data, args=(queue,))

    # 啟動進程
    add_process.start()
    read_process.start()
    
    # 等待兩個進程結束
    add_process.join()
    read_process.terminate()

（3）非阻塞操作嘗試獲取隊列元素

除了阻塞操作之外，Python隊列還提供了非阻塞操作，這意味著如果隊列為空或已滿，則操作將不會被阻塞，而是立即返回結果。以下是Python隊列的非阻塞操作：

• put()：向隊列中添加一個元素，如果隊列已滿，此操作將不會被阻塞，而是立即引發Full異常。
• put_nowait()：向隊列中添加一個元素，如果隊列已滿，此操作將不會被阻塞，並引發Full異常。
• get()：從隊列中獲取一個元素，如果隊列為空，此操作將不會被阻塞，而是立即引發Empty異常。
• get_nowait()：從隊列中獲取一個元素，如果隊列為空，此操作將不會被阻塞，並引發Empty異常。

以下是一個演示Python隊列非阻塞操作的簡單例子。

import multiprocessing
import time

# 向隊列中添加元素的進程函數
def add_data(queue):
    # 向隊列中添加數據
    for i in range(10):
        try:
            queue.put_nowait(i)
            print(f"Put {i} into queue")
        except Exception as e:
            print(e)
        time.sleep(1)

# 從隊列中獲取元素的進程函數
def read_data(queue):
    # 從隊列中獲取數據
    while True:
        try:
            data = queue.get_nowait()
            print(f"Get {data} from queue")
        except Exception as e:
            print(e)
        time.sleep(1)

if __name__ == '__main__':
    # 創建進程隊列，設置大小為5
    queue = multiprocessing.Queue(maxsize=5)

    # 創建進程
    add_process = multiprocessing.Process(target=add_data, args=(queue,))
    read_process = multiprocessing.Process(target=read_data, args=(queue,))

    # 啟動進程
    add_process.start()
    read_process.start()
    
    # 等待兩個進程結束
    add_process.join()
    read_process.terminate()

（4）可等待對象

在Python的多進程編程中，有些時候我們需要等待一個進程完成任務後再執行某些操作。Python的multiprocessing模塊提供了許多同步工具，包括鎖、事件、條件變數等。此外，Python多進程之隊列(Queue)還提供了一些同步方法，這些方法允許一個進程等待另一個進程完成任務。

以下是Python多進程之隊列（Queue）提供的同步方法：

• qsize()：返回隊列元素的數量，此方法不會阻塞進程。
• empty()：如果隊列為空，返回True，否則返回False。
• full()：如果隊列已滿，返回True，否則返回False。
• join()：阻塞進程，直到隊列中的所有元素都被取出。

以下是一個演示Python多進程之隊列可等待對象的簡單例子。

import multiprocessing
# 向隊列中添加元素的進程函數
def add_data(queue):
 # 向隊列中添加數據
 for i in range(10):
 queue.put(i)
# 讀
原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-tw/n/151040.html