Python多進程寫入同一文件

在Python中，多進程是一種非常常用的編程方式。與單進程相比，多進程可以充分利用計算機中的多個CPU核心，並且可以更好地分離程序的不同功能。在某些情況下，多個進程需要同時寫入同一個文件。那麼，如何在Python中實現多進程寫入同一文件呢？

一、文件鎖

在多進程寫入同一文件的問題中，最核心的問題就是如何避免多個進程同時寫入同一個文件時引起競爭的問題。這個問題可以通過文件鎖來解決。文件鎖是一種特殊的文件屬性，用來標記文件目前是否可以被其他進程打開或修改。在Python中，可以通過flock函數訪問文件鎖。下面是一個簡單的例子，演示了如何使用文件鎖在多進程寫入同一文件時避免競爭問題：

import fcntl

f = open('test.txt', 'a')

fcntl.flock(f.fileno(), fcntl.LOCK_EX)

f.write('hello world\n')

fcntl.flock(f.fileno(), fcntl.LOCK_UN)

f.close()

在上面的例子中，我們首先通過open函數打開了一個名為test.txt的文件，並指定文件模式為「a」，表示以追加的模式打開文件。我們接下來通過fcntl.flock函數獲得了文件鎖，然後在文件中寫入了一行字元串。最後，我們再次調用fcntl.flock函數，將文件鎖關閉，並關閉了文件。

二、使用multiprocessing庫

雖然使用文件鎖可以避免多進程同時寫入同一個文件時引起競爭的問題，但是在實踐中，直接使用文件鎖還是比較麻煩的。在Python中，可以使用multiprocessing庫來方便地實現多進程寫入同一文件。下面是一個例子，演示了如何使用multiprocessing庫在多進程寫入同一文件時不會引起競爭問題：

from multiprocessing import Process, Lock

def write_to_file(l, message):
    with l:
        with open('test.txt', 'a') as f:
            f.write(message)

if __name__ == '__main__':
    lock = Lock()
    processes = []

    for i in range(10):
        p = Process(target=write_to_file, args=(lock, f'message {i}\n'))
        processes.append(p)
        p.start()

    for p in processes:
        p.join()

在上面的例子中，我們首先定義了一個函數write_to_file，這個函數用來將一條消息寫入文件中。在函數中，我們使用了multiprocessing庫中的Lock類來避免競爭問題。接下來，我們在主函數中定義了一個Lock對象，然後創建了10個進程，並將Lock對象和要寫入的消息作為參數傳遞給了進程。最後，我們等待所有進程結束並關閉文件。

三、Queue隊列

在實踐中，使用文件鎖和multiprocessing庫都可以很好地實現多進程寫入同一文件的功能。但是在某些情況下，我們可能需要更高效的寫入文件方式。比如，在一個進程中，我們需要不斷向某一個文件中寫入數據。如果每次都使用文件鎖或multiprocessing庫的方式來寫入文件，會導致程序效率很低。這時，我們可以使用Python中的Queue隊列來提高程序效率。下面是一個例子，演示了如何使用Queue隊列在多進程寫入同一文件時提高程序效率：

from multiprocessing import Process, Queue

def write_to_file(q):
    with open('test.txt', 'a') as f:
        while True:
            message = q.get()
            if message == 'QUIT':
                break
            f.write(message)

if __name__ == '__main__':
    q = Queue()
    processes = []

    for i in range(10):
        p = Process(target=write_to_file, args=(q,))
        processes.append(p)
        p.start()

    for i in range(100):
        q.put(f'message {i}\n')

    for i in range(10):
        q.put('QUIT')

    for p in processes:
        p.join()

在上面的例子中，我們首先定義了一個函數write_to_file，這個函數用來將從隊列中獲取的消息寫入文件中。在函數中，我們使用了一個while循環來不斷從隊列中獲取消息，並將消息保存到文件中。如果從隊列中獲取的消息是「QUIT」，表示隊列已經被清空完畢，我們就退出while循環。接下來，我們在主函數中定義了一個Queue對象，並創建了10個進程。我們通過for循環向隊列中添加100條消息。最後，我們通過重複向隊列中添加「QUIT」消息，並等待進程結束。