關於python多線程dask的信息

本文目錄一覽：

• 1、python 怎麼實現多線程的
• 2、python分散式框架有哪些
• 3、python之多線程原理
• 4、如何評價python的分析型並行計算庫dask

python 怎麼實現多線程的

線程也就是輕量級的進程，多線程允許一次執行多個線程，Python是多線程語言，它有一個多線程包，GIL也就是全局解釋器鎖，以確保一次執行單個線程，一個線程保存GIL並在將其傳遞給下一個線程之前執行一些操作，也就產生了並行執行的錯覺。

python分散式框架有哪些

Dask是Python的分散式計算框架，它支持分散式的DataFrame，也就是pandas的DataFrame，二者介面完美兼容，但Dask是分散式計算的框架，可以支持內存無法裝載的數據，進行計算，它也支持對一般的python程序進行分散式計算。是非常優秀的Python框架。本文主要介紹Dask的幾種不同的調度器的使用。

Dask支持多種調度器，從單線程、多線程、多進程到本地分散式和集群分散式，各種調度器在不同情況下有不同的作用，本文來源於Dask官方文檔的翻譯，主要向大家介紹這五種調度器的使用情景和方式。最後提供了如何在不同情境下設置Dask調度器的方法。

python之多線程原理

並發：邏輯上具備同時處理多個任務的能力。

並行：物理上在同一時刻執行多個並發任務。

舉例：開個QQ，開了一個進程，開了微信，開了一個進程。在QQ這個進程裡面，傳輸文字開一個線程、傳輸語音開了一個線程、彈出對話框又開了一個線程。

總結：開一個軟體，相當於開了一個進程。在這個軟體運行的過程里，多個工作同時運轉，完成了QQ的運行，那麼這個多個工作分別有多個線程。

線程和進程之間的區別：

進程在python中的使用，對模塊threading進行操作，調用的這個三方庫。可以通過 help(threading) 了解其中的方法、變數使用情況。也可以使用 dir(threading) 查看目錄結構。

current_thread_num = threading.active_count() # 返回正在運行的線程數量

run_thread_len = len(threading.enumerate()) # 返回正在運行的線程數量

run_thread_list = threading.enumerate() # 返回當前運行線程的列表

t1=threading.Thread(target=dance) #創建兩個子線程，參數傳遞為函數名

t1.setDaemon(True) # 設置守護進程，守護進程：主線程結束時自動退出子線程。

t1.start() # 啟動子線程

t1.join() # 等待進程結束 exit()`# 主線程退出，t1子線程設置了守護進程，會自動退出。其他子線程會繼續執行。

如何評價python的分析型並行計算庫dask

試用過，在中等數據規模下分散式 dask 兼容性還不錯。 挺適合已經在 python pandas scikit-learn xgboost 這條線上的中小規模數據項目。

我們前段時間和Dask 的作者聊了下，可惜這傢伙跑到紐約去了不能直接來我們這邊做 adviser……於是我們招了個實習生開搞，目前現有的數據pipeline已經移植的差不多了。