通過python在mpi,你會python嗎

本文目錄一覽：

• 1、python MPI4PY的柵障同步操作
• 2、有沒有簡單的中文python的openMP和MPI教程?
• 3、新司機求助 python安裝mpi4py模塊時出現
• 4、MPI 中多線程的使用
• 5、python能做什麼科學計算
• 6、Python 適合大數據量的處理嗎

python MPI4PY的柵障同步操作

因為三維數組讀入需要並行計算，數據量太大，導致消耗內存劇烈

現在需要利用循環，在每一個rank的時候獨立讀取所有數據，依次循環

利用comm.Barrier()的目的類似於，我只用rank=0進程讀取數據時，其他rank走的比較快，必須要等rank=0數據讀完了再開始rank=1讀取數據，這樣的話每次rank結束加comm.Barrier()起到強制障礙的作用，並且過程中還需要隨時銷毀變量。

有沒有簡單的中文python的openMP和MPI教程?

MPI（MPI是一個標準，有不同的具體實現，比如MPICH等）是多主機聯網協作進行並行計算的工具，當然也可以用於單主機上多核/多CPU的並行計算，不過效率低。它能協調多台主機間的並行計算，因此並行規模上的可伸縮性很強，能在從個人電腦到世界TOP10的超級計算機上使用。缺點是使用進程間通信的方式協調並行計算，這導致並行效率較低、內存開銷大、不直觀、編程麻煩。

OpenMP是針對單主機上多核/多CPU並行計算而設計的工具，換句話說，OpenMP更適合單台計算機共享內存結構上的並行計算。由於使用線程間共享內存的方式協調並行計算，它在多核/多CPU結構上的效率很高、內存開銷小、編程語句簡潔直觀，因此編程容易、編譯器實現也容易（現在最新版的C、C++、Fortran編譯器基本上都內置OpenMP支持）。不過OpenMP最大的缺點是只能在單台主機上工作，不能用於多台主機間的並行計算！

如果要多主機聯網使用OpenMP（比如在超級計算機上），那必須有額外的工具幫助，比如 MPI + OpenMP 混合編程。或者是將多主機虛擬成一個共享內存環境（Intel有這樣的平台），但這麼做效率還不如混合編程，唯一的好處是編程人員可以不必額外學習MPI編程。

新司機求助 python安裝mpi4py模塊時出現

pandas 是基於 NumPy 的一個 Python 數據分析包，主要目的是為了數據分析。 它提供了大量高級的數據結構和對數據處理的方法。 pandas 有兩個主要的數據結構：Series 和 DataFrame。

MPI 中多線程的使用

在 上一篇 中我們介紹了 MPI-3 中共享內存操作，下面我們將介紹 MPI 中多線程的使用，以助於我們理解 MPI-3 中引進的線程安全的 Mprobe 操作（將在 下一篇 中介紹）。

通常 MPI 中大多數操作的基本實體是進程，但是MPI 進程中可以執行多個線程。

進程是操作系統動態執行的基本單元，在傳統的操作系統中，進程既是基本的分配單元，也是基本的執行單元。通常在一個進程中可以包含若干個線程，一個進程中至少有一個線程。線程可以利用進程所擁有的資源，在引入線程的操作系統中，通常都是把進程作為分配資源的基本單位，而把線程作為獨立運行和獨立調度的基本單位，由於線程比進程粒度更小，基本上不擁有系統資源，故對它的調度所付出的開銷就會小得多，能更高效的提高系統多個程序間並發執行的程度。

進程和線程的主要差別在於它們是不同的操作系統資源管理方式。進程有獨立的地址空間，而線程只是一個進程中的不同執行路徑。線程有自己的堆棧和局部變量，但線程沒有獨立的地址空間。

MPI 進程中可以執行多個線程，同一個進程的多個線程具有均等的機會參與該進程的 MPI 通信。

某些情況下在 MPI 中使用多線程能夠提供很大的方便，如：

在單線程的情況下，一個進程無法安全地執行到其自身的阻塞點到點通信。採用多線程，則可使同一個進程的兩個線程分別執行阻塞發送和阻塞接收而不至於死鎖。

MPI 要求 MPI_Init 和 MPI_Finalize 調用必須在相同線程內配對執行，執行了這兩個操作的線程被稱作主線程（main thread），主線程的 MPI_Finalize 調用必須在所有其它線程都執行完 MPI 相關的通信、I/O 和其它 MPI 操作之後執行。

線程安全性是指多個線程可以同時執行消息傳遞的相關調用而不會相互影響。

MPI被設計為線程安全的，但應用程序自身負責維護多線程安全，一個簡單的辦法是在不同線程使用不同的通信子對象，這樣可實現線程間操作的互不干擾。MPI 的大多數操作都滿足線程安全性的條件，但是也有例外，如在多線程中使用 MPI.Comm.Probe 或 MPI.Comm.Iprobe 來確定一個消息的來源和大小，然後接收該消息的操作就不是線程安全的，不過 MPI-3 提供了線程安全的版本 MPI.Comm.Mprobe 和 MPI.Comm.Improbe，這些將在 下一篇 中介紹。另外 MPI.File.Seek 也不是線程安全的，但是可以用線程安全的顯式偏移文件操作函數，如 MPI.File.Read_at 等來替代其操作。

該函數除了實施正常由 MPI.Init 執行的初始化之外，還負責初始化 MPI 多線程執行環境。 reauired 參數指出所要求的多線程支持程度，可能的取值如下：

這些常數都是整數，並且在數值上是從小到大的。

該函數返回 MPI 環境實際支持的多線程級別。

MPI.COMM_WORLD 中不同進程可分別設置不同的線程支持級別。多線程 MPI 中調用 MPI.Init 的實際效果等價於用 MPI.THREAD_SINGLE 調用 MPI.Init_thread。

注意 ：使用 mpi4py 時，MPI.Init 和 MPI.Init_thread 在從 mpi4py 包中 import MPI 時會被自動調用，因此一般不用在程序中顯式調用。mpi4py 中 MPI.Init_thread 默認 required 的線程級別是 MPI.THREAD_MULTIPLE，但實際得到的線程級別由 MPI 環境給出。如果想要手動控制 MPI 程序的初始化或者設置 MPI 線程級別，可以在 import MPI 之前先 import rc 模塊，並設置 rc.initialize = False，然後手動初始化，或者設置 rc.thread_level 為需要的級別（”multiple”, “serialized”, “funneled” 或 “single”）。

返回 MPI 環境支持的線程級別。

判斷調用該函數的線程是否為主線程，如果是，返回 True，否則返回 False。

MPI 並沒有提供創建線程的函數或方法，創建線程需由其它的工具來完成，這就保證了 MPI 程序可以使用任何與 MPI 實現兼容的線程，而不局限於某一種特定的線程。比較廣泛使用的線程工具有 Pthreads 庫和 OpenMP 庫。

在 Python 中則可以使用 thread 模塊（Python 3 中被命名為 _thread），但是更常用的是建立在其之上的更易用更高級別的線程模塊 threading 。下面對 threading 模塊作簡要的介紹。

threading 模塊提供了若干函數和對象，這裡主要介紹 threading.Thread 對象。該對象表示一個單獨運行的線程活動，可以通過兩種方式來創建和運行一個單獨的線程：為其傳遞一個可以被調用的對象；或者繼承該類並重載 run() 方法。一般在子類中只能重載 __init__() 和 run() 方法，其它方法都不應該被重載。

當一個線程被創建後，必須使用 start() 方法來啟動該線程，該方法會在內部調用 run() 方法。

一個線程被啟動後，它的狀態會是 “alive”，直到該線程的 run() 方法運行停止（不管是正常結束還是異常中止）。可以用 is_alive() 方法來測試該線程是否 “alive”。

其它線程可以調用一個線程的 join() 方法，此操作會阻塞該調用線程直到被調用線程停止。

每個線程都有一個名稱，如果沒有設置，系統會為其分配一個默認的名稱。可以在構造一個線程時為其傳遞一個指定的名稱，或者在運行過程中通過 name 屬性動態改變。

一個線程可以被標記為守護線程（daemon），守護線程可以一直運行而不阻塞主程序退出。如果一個服務無法用一種容易的方法來中斷線程，或者希望線程工作到一半時中止而不會損失或破壞數據，對此服務，使用守護線程就很有用。可以通過設置線程的 daemon 屬性來標記一個線程為守護線程。默認情況下線程不作為守護線程。

程序的初始線程為主線程，主線程不是守護線程。

初始化一個線程目標。 group 初始應該設置為 None，目前沒有作用，為今後的擴展所保留， target 為一個可被調用的對象， name 如果非 None，設置線程的名稱，默認名稱為 “Thread-N”，N 為一個數字， args 和 kwargs 為其它參數。

如果子類要重載此構造方法，必須首先調用基類的構造方法（Thread.__init__()），然後再做其它事情。

啟動該線程。一個線程只能至多調用一次該方法，否則會拋出 RuntimeError 異常。

線程的活動或工作。可以在子類中重載該方法以完成需要的工作。

等待線程停止。默認情況下調用該方法的線程會無限阻塞直到被調用線程停止，但是如果 timeout 參數設置為一個浮點數，則只會等待 timeout 秒就返回，無論被調用線程是否中止。該方法總是返回 None，因此必須調用 is_alive() 方法來確定該調用的返回是由於被調用線程停止還是由於等待了 timeout 時間。

可以調用一個線程的 join() 方法多次。

返回該線程是否 “alive”。

線程的名稱，為一個字符串。

線程的標識符，為一個非 0 整數。

一半布爾值表示線程是否為守護線程。

下面給出使用例程。

運行結果如下：

以上介紹了 MPI 中多線程的使用，在 下一篇 中我們將介紹 MPI-3 中線程安全的 Mprobe。

python能做什麼科學計算

python做科學計算的特點：1. 科學庫很全。（推薦學習：Python視頻教程）

科學庫：numpy，scipy。作圖：matplotpb。並行：mpi4py。調試：pdb。

2. 效率高。

如果你能學好numpy（array特性，f2py），那麼你代碼執行效率不會比fortran，C差太多。但如果你用不好array，那樣寫出來的程序效率就只能呵呵了。所以入門後，請一定花足夠多的時間去了解numpy的array類。

3. 易於調試。

pdb是我見過最好的調試工具，沒有之一。直接在程序斷點處給你一個截面，這隻有文本解釋語言才能辦到。毫不誇張的說，你用python開發程序只要fortran的1/10時間。

4. 其他。

它豐富而且統一，不像C++的庫那麼雜（好比pnux的各種發行版），python學好numpy就可以做科學計算了。python的第三方庫很全，但是不雜。python基於類的語言特性讓它比起fortran等更加容易規模化開發。

數值分析中，龍格－庫塔法（Runge-Kutta methods）是用於非線性常微分方程的解的重要的一類隱式或顯式迭代法。這些技術由數學家卡爾·龍格和馬丁·威爾海姆·庫塔於1900年左右發明。

龍格-庫塔(Runge-Kutta)方法是一種在工程上應用廣泛的高精度單步算法，其中包括著名的歐拉法，用於數值求解微分方程。由於此算法精度高，採取措施對誤差進行抑制，所以其實現原理也較複雜。

高斯積分是在概率論和連續傅里葉變換等的統一化等計算中有廣泛的應用。在誤差函數的定義中它也出現。雖然誤差函數沒有初等函數，但是高斯積分可以通過微積分學的手段解析求解。高斯積分（Gaussian integral），有時也被稱為概率積分，是高斯函數的積分。它是依德國數學家兼物理學家卡爾·弗里德里希·高斯之姓氏所命名。

洛倫茨吸引子及其導出的方程組是由愛德華·諾頓·洛倫茨於1963年發表，最初是發表在《大氣科學雜誌》（Journal of the Atmospheric Sciences）雜誌的論文《Deterministic Nonperiodic Flow》中提出的，是由大氣方程中出現的對流卷方程簡化得到的。

這一洛倫茨模型不只對非線性數學有重要性，對於氣候和天氣預報來說也有着重要的含義。行星和恆星大氣可能會表現出多種不同的准周期狀態，這些准周期狀態雖然是完全確定的，但卻容易發生突變，看起來似乎是隨機變化的，而模型對此現象有明確的表述。

更多Python相關技術文章，請訪問Python教程欄目進行學習！以上就是小編分享的關於python能做什麼科學計算的詳細內容希望對大家有所幫助，更多有關python教程請關注環球青藤其它相關文章！

Python 適合大數據量的處理嗎

python可以處理大數據，python處理大數據不一定是最優的選擇。適合大數據處理。而不是大數據量處理。 如果大數據量處理，需要採用並用結構，比如在hadoop上使用python，或者是自己做的分布式處理框架。

python的優勢不在於運行效率，而在於開發效率和高可維護性。針對特定的問題挑選合適的工具，本身也是一項技術能力。

Python處理數據的優勢（不是處理大數據）：

1. 異常快捷的開發速度，代碼量巨少

2. 豐富的數據處理包，不管正則也好，html解析啦，xml解析啦，用起來非常方便

3. 內部類型使用成本巨低，不需要額外怎麼操作（java，c++用個map都很費勁）

4. 公司中，很大量的數據處理工作工作是不需要面對非常大的數據的

5. 巨大的數據不是語言所能解決的，需要處理數據的框架（hadoop， mpi）雖然小眾，但是python還是有處理大數據的框架的，或者一些框架也支持python。

擴展資料：

Python處理數據缺點：

Python處理大數據的劣勢：

1、python線程有gil，通俗說就是多線程的時候只能在一個核上跑，浪費了多核服務器。在一種常見的場景下是要命的：並發單元之間有巨大的數據共享或者共用（例如大dict）。

多進程會導致內存吃緊，多線程則解決不了數據共享的問題，單獨的寫一個進程之間負責維護讀寫這個數據不僅效率不高而且麻煩

2、python執行效率不高，在處理大數據的時候，效率不高，這是真的，pypy（一個jit的python解釋器，可以理解成腳本語言加速執行的東西）能夠提高很大的速度，但是pypy不支持很多python經典的包，例如numpy。

3. 絕大部分的大公司，用java處理大數據不管是環境也好，積累也好，都會好很多。

參考資料來源：百度百科-Python