python守護線程簡述（Python守護進程）

本文目錄一覽：

• 1、什麼是守護線程？
• 2、Python面試題，線程與進程的區別，Python中如何創建多線程？
• 3、什麼是守護線程
• 4、python 守護進程
• 5、Python多線程總結

什麼是守護線程？

普通線程沒執行完不能退出。

守護就是後台進程，永遠執行，主線程，普通線程一種，退出後守護也退出。

Python面試題，線程與進程的區別，Python中如何創建多線程？

進程和線程

這兩個概念屬於操作系統，我們經常聽說，但是可能很少有人會細究它們的含義。對於工程師而言，兩者的定義和區別還是很有必要了解清楚的。

首先說進程，進程可以看成是 CPU執行的具體的任務 。在操作系統當中，由於CPU的運行速度非常快，要比計算機當中的其他設備要快得多。比如內存、磁盤等等，所以如果CPU一次只執行一個任務，那麼會導致CPU大量時間在等待這些設備，這樣操作效率很低。為了提升計算機的運行效率，把機器的技能儘可能壓榨出來，CPU是輪詢工作的。也就是說 它一次只執行一個任務，執行一小段碎片時間之後立即切換 ，去執行其他任務。

所以在早期的單核機器的時候，看起來電腦也是並發工作的。我們可以一邊聽歌一邊上網，也不會覺得卡頓。但實際上，這是CPU輪詢的結果。在這個例子當中，聽歌的軟件和上網的軟件對於CPU而言都是 獨立的進程 。我們可以把進程簡單地理解成運行的應用，比如在安卓手機裏面，一個app啟動的時候就會對應系統中的一個進程。當然這種說法不完全準確， 一個應用也是可以啟動多個進程的 。

進程是對應CPU而言的，線程則更多針對的是程序。即使是CPU在執行當前進程的時候，程序運行的任務其實也是有分工的。舉個例子，比如聽歌軟件當中，我們需要顯示歌詞的字幕，需要播放聲音，需要監聽用戶的行為，比如是否發生了切歌、調節音量等等。所以，我們需要 進一步拆分CPU的工作 ，讓它在執行當前進程的時候，繼續通過輪詢的方式來同時做多件事情。

進程中的任務就是線程，所以從這點上來說， 進程和線程是包含關係 。一個進程當中可以包含多個線程，對於CPU而言，不能直接執行線程，一個線程一定屬於一個進程。所以我們知道，CPU進程切換切換的是執行的應用程序或者是軟件，而進程內部的線程切換，切換的是軟件當中具體的執行任務。

關於進程和線程有一個經典的模型可以說明它們之間的關係，假設CPU是一家工廠，工廠當中有多個車間。不同的車間對應不同的生產任務，有的車間生產汽車輪胎，有的車間生產汽車骨架。但是工廠的電力是有限的，同時只能滿足一個廠房的使用。

為了讓大家的進度協調，所以工廠需要輪流提供各個車間的供電。 這裡的車間對應的就是進程 。

一個車間雖然只生產一種產品，但是其中的工序卻不止一個。一個車間可能會有好幾條流水線，具體的生產任務其實是流水線完成的，每一條流水線對應一個具體執行的任務。但是同樣的， 車間同一時刻也只能執行一條流水線 ，所以我們需要車間在這些流水線之間切換供電，讓各個流水線生產進度統一。

這裡車間里的 流水線自然對應的就是線程的概念 ，這個模型很好地詮釋了CPU、進程和線程之間的關係。實際的原理也的確如此，不過CPU中的情況要比現實中的車間複雜得多。因為對於進程和CPU來說，它們面臨的局面都是實時變化的。車間當中的流水線是x個，下一刻可能就成了y個。

了解完了線程和進程的概念之後，對於理解電腦的配置也有幫助。比如我們買電腦，經常會碰到一個術語，就是這個電腦的CPU是某某核某某線程的。比如我當年買的第一台筆記本是4核8線程的，這其實是在說這台電腦的CPU有 4個計算核心 ，但是使用了超線程技術，使得可以把一個物理核心模擬成兩個邏輯核心。相當於我們可以用4個核心同時執行8個線程，相當於8個核心同時執行，但其實有4個核心是模擬出來的虛擬核心。

有一個問題是 為什麼是4核8線程而不是4核8進程呢 ？因為CPU並不會直接執行進程，而是執行的是進程當中的某一個線程。就好像車間並不能直接生產零件，只有流水線才能生產零件。車間負責的更多是資源的調配，所以教科書里有一句非常經典的話來詮釋： 進程是資源分配的最小單元，線程是CPU調度的最小單元 。

啟動線程

Python當中為我們提供了完善的threading庫，通過它，我們可以非常方便地創建線程來執行多線程。

首先，我們引入threading中的Thread，這是一個線程的類，我們可以通過創建一個線程的實例來執行多線程。

from threading import Thread t = Thread(target=func, name=’therad’, args=(x, y)) t.start()

簡單解釋一下它的用法，我們傳入了三個參數，分別是 target，name和args ，從名字上我們就可以猜測出它們的含義。首先是target，它傳入的是一個方法，也就是我們希望多線程執行的方法。name是我們為這個新創建的線程起的名字，這個參數可以省略，如果省略的話，系統會為它起一個系統名。當我們執行Python的時候啟動的線程名叫MainThread，通過線程的名字我們可以做區分。args是會傳遞給target這個函數的參數。

我們來舉個經典的例子：

import time, threading # 新線程執行的代碼: def loop(n): print(‘thread %s is running…’ % threading.current_thread().name) for i in range(n): print(‘thread %s %s’ % (threading.current_thread().name, i)) time.sleep(5) print(‘thread %s ended.’ % threading.current_thread().name) print(‘thread %s is running…’ % threading.current_thread().name) t = threading.Thread(target=loop, name=’LoopThread’, args=(10, )) t.start() print(‘thread %s ended.’ % threading.current_thread().name)

我們創建了一個非常簡單的loop函數，用來執行一個循環來打印數字，我們每次打印一個數字之後這個線程會睡眠5秒鐘，所以我們看到的結果應該是每過5秒鐘屏幕上多出一行數字。

我們在Jupyter里執行一下：

表面上看這個結果沒毛病，但是其實有一個問題，什麼問題呢？ 輸出的順序不太對 ，為什麼我們在打印了第一個數字0之後，主線程就結束了呢？另外一個問題是，既然主線程已經結束了， 為什麼Python進程沒有結束 ， 還在向外打印結果呢？

因為線程之間是獨立的，對於主線程而言，它在執行了t.start()之後，並 不會停留，而是會一直往下執行一直到結束 。如果我們不希望主線程在這個時候結束，而是阻塞等待子線程運行結束之後再繼續運行，我們可以在代碼當中加上t.join()這一行來實現這點。

t.start() t.join() print(‘thread %s ended.’ % threading.current_thread().name)

join操作可以讓主線程在join處掛起等待，直到子線程執行結束之後，再繼續往下執行。我們加上了join之後的運行結果是這樣的：

這個就是我們預期的樣子了，等待子線程執行結束之後再繼續。

我們再來看第二個問題，為什麼主線程結束的時候，子線程還在繼續運行，Python進程沒有退出呢？這是因為默認情況下我們創建的都是用戶級線程，對於進程而言， 會等待所有用戶級線程執行結束之後才退出 。這裡就有了一個問題，那假如我們創建了一個線程嘗試從一個接口當中獲取數據，由於接口一直沒有返回，當前進程豈不是會永遠等待下去？

這顯然是不合理的，所以為了解決這個問題，我們可以把創建出來的線程設置成 守護線程 。

守護線程

守護線程即daemon線程，它的英文直譯其實是後台駐留程序，所以我們也可以理解成 後台線程 ，這樣更方便理解。daemon線程和用戶線程級別不同，進程不會主動等待daemon線程的執行， 當所有用戶級線程執行結束之後即會退出。進程退出時會kill掉所有守護線程 。

我們傳入daemon=True參數來將創建出來的線程設置成後台線程：

t = threading.Thread(target=loop, name=’LoopThread’, args=(10, ), daemon=True)

這樣我們再執行看到的結果就是這樣了：

這裡有一點需要注意，如果你 在jupyter當中運行是看不到這樣的結果的 。因為jupyter自身是一個進程，對於jupyter當中的cell而言，它一直是有用戶級線程存活的，所以進程不會退出。所以想要看到這樣的效果，只能通過命令行執行Python文件。

如果我們想要等待這個子線程結束，就必須通過join方法。另外，為了預防子線程鎖死一直無法退出的情況， 我們還可以 在joih當中設置timeout ，即最長等待時間，當等待時間到達之後，將不再等待。

比如我在join當中設置的timeout等於5時，屏幕上就只會輸出5個數字。

另外，如果沒有設置成後台線程的話，設置timeout雖然也有用，但是 進程仍然會等待所有子線程結束 。所以屏幕上的輸出結果會是這樣的：

雖然主線程繼續往下執行並且結束了，但是子線程仍然一直運行，直到子線程也運行結束。

關於join設置timeout這裡有一個坑，如果我們只有一個線程要等待還好，如果有多個線程，我們用一個循環將它們設置等待的話。那麼 主線程一共會等待N * timeout的時間 ，這裡的N是線程的數量。因為每個線程計算是否超時的開始時間是上一個線程超時結束的時間，它會等待所有線程都超時，才會一起終止它們。

比如我這樣創建3個線程：

ths = [] for i in range(3): t = threading.Thread(target=loop, name=’LoopThread’ + str(i), args=(10, ), daemon=True) ths.append(t) for t in ths: t.start() for t in ths: t.join(2)

最後屏幕上輸出的結果是這樣的：

所有線程都存活了6秒。

總結

在今天的文章當中，我們一起簡單了解了 操作系統當中線程和進程的概念 ，以及Python當中如何創建一個線程，以及關於創建線程之後的相關使用。

多線程在許多語言當中都是至關重要的，許多場景下必定會使用到多線程。比如 web後端，比如爬蟲，再比如遊戲開發 以及其他所有需要涉及開發ui界面的領域。因為凡是涉及到ui，必然會需要一個線程單獨渲染頁面，另外的線程負責準備數據和執行邏輯。因此，多線程是專業程序員繞不開的一個話題，也是一定要掌握的內容之一。

什麼是守護線程

「守護進程（Daemon）是運行在後台的一種特殊進程。它獨立於控制終端並且周期性地執行某種任務或等待處理某些發生的事件。」

計算機俗稱電腦，是一種用於高速計算的電子計算機器，可以進行數值計算，又可以進行邏輯計算，還具有存儲記憶功能。是能夠按照程序運行，自動、高速處理海量數據的現代化智能電子設備。由硬件系統和軟件系統所組成，沒有安裝任何軟件的計算機稱為裸機。

可分為超級計算機、工業控制計算機、網絡計算機、個人計算機、嵌入式計算機五類，較先進的計算機有生物計算機、光子計算機、量子計算機、神經網絡計算機。蛋白質計算機等。

當今計算機系統的運算速度已達到每秒萬億次，微機也可達每秒幾億次以上，使大量複雜的科學計算問題得以解決。例如：衛星軌道的計算、大型水壩的計算、24小時天氣預報的計算等，過去人工計算需要幾年、幾十年，而現在用計算機只需幾天甚至幾分鐘就可完成。

科學技術的發展特別是尖端科學技術的發展，需要高度精確的計算。計算機控制的導彈之所以能準確地擊中預定的目標，是與計算機的精確計算分不開的。一般計算機可以有十幾位甚至幾十位（二進制）有效數字，計算精度可由千分之幾到百萬分之幾，是任何計算工具所望塵莫及的。

隨着計算機存儲容量的不斷增大，可存儲記憶的信息越來越多。計算機不僅能進行計算，而且能把參加運算的數據、程序以及中間結果和最後結果保存起來，以供用戶隨時調用；還可以對各種信息（如視頻、語言、文字、圖形、圖像、音樂等）通過編碼技術進行算術運算和邏輯運算，甚至進行推理和證明。

計算機內部操作是根據人們事先編好的程序自動控制進行的。用戶根據解題需要，事先設計好運行步驟與程序，計算機十分嚴格地按程序規定的步驟操作，整個過程不需人工干預，自動執行，已達到用戶的預期結果。

超級計算機（supercomputers）通常是指由數百數千甚至更多的處理器（機）組成的、能計算普通PC機和服務器不能完成的大型複雜課題的計算機。超級計算機是計算機中功能最強、運算速度最快、存儲容量最大的一類計算機，是國家科技發展水平和綜合國力的重要標誌。

超級計算機擁有最強的並行計算能力，主要用於科學計算。在氣象、軍事、能源、航天、探礦等領域承擔大規模、高速度的計算任務。

在結構上，雖然超級計算機和服務器都可能是多處理器系統，二者並無實質區別，但是現代超級計算機較多採用集群系統，更注重浮點運算的性能，可看着是一種專註於科學計算的高性能服務器，而且價格非常昂貴。

一般的超級計算器耗電量相當大，一秒鐘電費就要上千，超級計算器的CPU至少50核也就是說是家用電腦的10倍左右，處理速度也是相當的快，但是這種CPU是無法購買的，而且價格要上千萬。

python 守護進程

一、守護進程的特性

守護進程是一個在後台運行並且不受任何終端控制的進程（守護進程獨立於所有終端，之所以脫離於終端是為了避免進程被任何終端所產生的信息所打斷，其在執行過程中的信息也不在任何終端上顯示。）

二、守護進程的作用

守護進程是一類在後台執行，生命周期較長的進程，它一般隨系統啟動運行，在系統關閉的時候停止。所以守護進程一般用作系統後台服務。

三、如何編寫一個守護進程

編寫守護進程實際上是把一個普通進程按照守護進程的特性進行改造。

守護進程的開發涉及到子進程、進程組、會晤期、信號量、文件權限、目錄和控制終端等多個概念。

由於守護進程是脫離控制終端的，因此首先創建子進程，終止父進程，使得程序在shell終端里造成一個已經運行完畢的假象。之後所有的工作都在子進程中完成，而用戶在shell終端里則可以執行其他的命令，從而使得程序以殭屍進程形式運行，在形式上做到了與控制終端的脫離。

四、python 編寫守護進程

參考：

Python多線程總結

在實際處理數據時，因系統內存有限，我們不可能一次把所有數據都導出進行操作，所以需要批量導出依次操作。為了加快運行，我們會採用多線程的方法進行數據處理， 以下為我總結的多線程批量處理數據的模板：

主要分為三大部分：

共分4部分對多線程的內容進行總結。

先為大家介紹線程的相關概念:

在飛車程序中，如果沒有多線程，我們就不能一邊聽歌一邊玩飛車，聽歌與玩 遊戲 不能並行；在使用多線程後，我們就可以在玩 遊戲 的同時聽背景音樂。在這個例子中啟動飛車程序就是一個進程，玩 遊戲 和聽音樂是兩個線程。

Python 提供了 threading 模塊來實現多線程:

因為新建線程系統需要分配資源、終止線程系統需要回收資源，所以如果可以重用線程，則可以減去新建/終止的開銷以提升性能。同時，使用線程池的語法比自己新建線程執行線程更加簡潔。

Python 為我們提供了 ThreadPoolExecutor 來實現線程池，此線程池默認子線程守護。它的適應場景為突發性大量請求或需要大量線程完成任務，但實際任務處理時間較短。

其中 max_workers 為線程池中的線程個數，常用的遍歷方法有 map 和 submit+as_completed 。根據業務場景的不同，若我們需要輸出結果按遍歷順序返回，我們就用 map 方法，若想誰先完成就返回誰，我們就用 submit+as_complete 方法。

我們把一個時間段內只允許一個線程使用的資源稱為臨界資源，對臨界資源的訪問，必須互斥的進行。互斥，也稱間接制約關係。線程互斥指當一個線程訪問某臨界資源時，另一個想要訪問該臨界資源的線程必須等待。當前訪問臨界資源的線程訪問結束，釋放該資源之後，另一個線程才能去訪問臨界資源。鎖的功能就是實現線程互斥。

我把線程互斥比作廁所包間上大號的過程，因為包間里只有一個坑，所以只允許一個人進行大號。當第一個人要上廁所時，會將門上上鎖，這時如果第二個人也想大號，那就必須等第一個人上完，將鎖解開後才能進行，在這期間第二個人就只能在門外等着。這個過程與代碼中使用鎖的原理如出一轍，這裡的坑就是臨界資源。 Python 的 threading 模塊引入了鎖。 threading 模塊提供了 Lock 類，它有如下方法加鎖和釋放鎖：

我們會發現這個程序只會打印「第一道鎖」，而且程序既沒有終止，也沒有繼續運行。這是因為 Lock 鎖在同一線程內第一次加鎖之後還沒有釋放時，就進行了第二次 acquire 請求，導致無法執行 release ，所以鎖永遠無法釋放，這就是死鎖。如果我們使用 RLock 就能正常運行，不會發生死鎖的狀態。

在主線程中定義 Lock 鎖，然後上鎖，再創建一個子 線程t 運行 main 函數釋放鎖，結果正常輸出，說明主線程上的鎖，可由子線程解鎖。

如果把上面的鎖改為 RLock 則報錯。在實際中設計程序時，我們會將每個功能分別封裝成一個函數，每個函數中都可能會有臨界區域，所以就需要用到 RLock 。

一句話總結就是 Lock 不能套娃， RLock 可以套娃； Lock 可以由其他線程中的鎖進行操作， RLock 只能由本線程進行操作。