python執行加速（python多進程加速）

• 1、如何多線程（多進程）加速while循環(語言-python)？
• 2、用Python 做策略回測，耗時很長，有什麼加速辦法
• 3、看到幾個給 python 做加速的方案
• 4、python的性能
• 5、加速Python程序運行
• 6、怎樣加快python官網上應用的下載速度？

import numpy as np

import os

import sys

import multiprocessing as mp

import time

def MCS(input_data, med):

#t1 = time.perf_counter()

left = 0

lp = 0

while True:

lp = lp + 1

data_pool = input_data + left

output_data = med * 0.05 * data_pool / (10000 + med)

output_data = np.where(output_data data_pool, data_pool, output_data)

left = data_pool – output_data

cri = (input_data – output_data) / input_data * 100

#print(lp, data_pool, output_data, cri)

if cri = 1:

break

t2 = time.perf_counter()

#print(f’Finished in {t2 – t1} seconds’)

if __name__ == “__main__”:

pool = mp.Pool(processes=5)

tasks = []

for i in np.linspace(0.4, 0.6, num = 10):

tasks.append([100, i])

t1 = time.perf_counter()

pool.starmap(MCS, tasks)

#pool.apply_async(MCS, args=(100, 0.4))

t2 = time.perf_counter()

#pool.join()

#pool.close()

for i in np.linspace(0.4, 0.6, num = 10):

MCS(100, i)

t3 = time.perf_counter()

print(f’Finished in {t2 – t1} seconds’)

print(f’Finished in {t3 – t2} seconds’)

原因可能是只運行了一個例子，

如圖測試了10個例子，測試結果如下

Finished in 15.062450630997773 seconds

Finished in 73.1936681799998 seconds

並行確實有一定的加速。

1. 在動手優化之前，先profile看看，程序時間都花在哪些地方了:

python -m cProfile -o output.prof your_program

跑完之後，會生成一個output.profile文件。接下來需要對這個文件進行分析，這方面的工具我推薦SnakeViz，神器。安裝非常簡單，pip install snakeviz 即可。

snakeviz output.prof

運行之後，會打開一個瀏覽器窗口，好好看看，哪些函數耗時最多，耗時是因為調用次數太多呢，還是因為單次調用耗時長，明確優化重點；

2. 減少重複計算，緩存計算結果。看看 functools.lru_cache。

3. 能用list comprehension的地方，不要用for；能用numpy的地方，不要手寫循環，不要用pandas；

4. 看你的回測，40w個tick的話，數據量不算大，應該是直接load到內存里的吧？

5. 還是慢的話，上Numba — Numba，就是安裝麻煩一些，使用起來非常方便，速度提高一兩個數量級沒問題；

6. 如果你用的包PyPy都支持的話，試試pypy；

7. Cython、c module，上面的都沒效果的話，這個是最後的候選方案了。

python 性能加速的方法:

選擇一個正確的數據結構。

這個說法深有體會。Python中多變的數據結構可以造成很大的差異，使用一個set就可以事半功倍。甚至一個自己定義的數據結構，對於內存，運算速度，處理方式等都有很大的影響。

進行排序

我在項目中也遇到過，幾百萬的數據URL需要進行鑒別，哪些數據抓取了哪些沒有，抓取的部分還有重複。使用if x in y這種格式，則需要o(m*n)的時間複雜度。而兩邊都對URL進行排序後，則可以使用兩個指針輕鬆搞定。

字符串組合

編寫大字符串的時候，不建議使用加號拼接字符串。使用join，%s(py3中使用format方法)等官方的方法效果更好。

循環的使用

如果使用for循環進行簡單而大量的操作，不妨試試map()函數，或者python2.0中就已經有的list方法直接生成。或者使用迭代器進行循環的操作。

避免使用點方法

如上，需要使用list.append()方法的時候，這些方法都是需要在每次調用的時候重新確定（原文reevaluated）的，所以可以提前代替，如re.compile()方法。

使用局部變量

可以將一些代碼函數化，從而將變量轉為局部變量，Python獲取局部變量比使用全局變量要快得多。

初始化字典元素

字典的當前使用新技巧包括：使用keyError來定位沒有的key，使用get()方法來返回鍵對應的值。字典中還有collections模塊中較多的：defaultdict，OrderedDict類等。

首先在頭部寫明　import　聲明

大量的import會影響Python的性能。雖然隨處可以import, 但最好在代碼的頭部集中寫明。

數據的聚合

一次將多個數據聚合起來傳遞給函數比多次調用函數的開銷要小得多。

減少執行語句的數量

Python中有一個定期檢查線程是否該運行的函數。這個函數的大量調用會影響性能。最好我們可以設置這個值為較大的數，或者使用少的執行語句而以空間換時間。

Python不是C

移位不一定比加法快。Python是一個高級語言，調用底層不一定快。

使用profile來分析函數的性能

我用python執行時間23秒，用pypy執行時間1.54秒，用numba加速為1.5秒，c語言在本機macos上執行時間1.3秒,java運行速度1.45秒（jre8）,詳細見圖片，可見引入jit編譯後，性能直逼c語言，而寫python比寫c容易太多,比java簡潔，寫代碼速度也是非常非常重要。由於歷史原因，很多python庫用的c語言庫，如pandas（pandas的矩陣計算用numpy優化過非常快，可能比手寫c語言循環還要快），可以通過設計來分離c語言加速後的python代碼和pure python，分別用不同的加速方法，如numba可以單獨加速一個函數，把需要大量計算的放在一個函數用numba加速（numbapro支持顯卡加速但是商業版的）。

所以只適當設計一下，python在一般計算問題下有這些解決方案下性能不是問題，實在不行，你還可以用boost::python來寫個c/c++調用庫來解決性能問題。

下面的測試說明，對於性能，原生python比較慢，在windows下python比linux,macos要快，用pypy後相當於java,c#速度，pypy,c#在windows下受益msvc表現較快，,go語言速度表現比較穩定，c語言理論上是最快，但受環境和編譯器影響較大。對c#,java可能在GC垃圾回收時會表現不穩定，因為在oop中有大量計算後可能要回收垃圾內存對象，這個沒有用到oop，只是純計算，理論上還是c/c++語言最快。

python和java比，運行速度比java慢，java強大於改進n次的強大jre，但python在很多領域能調用很多現成的開源庫，在數據分析中有優勢，pyhton的代碼比java要簡潔，容易入門和使用。在優化的計算庫幫助下,如numpy numba，pandas，scikit-learn，python的實際問題運算性能並不低於java。java主要是框架太多，相對複雜，java主要用於業務程序開發，符合軟件工程理論，可伸縮性強,強類型有利於對程序的靜態檢查分析。java隨着安卓,hadoop,spark的興起，加入java語言的公司很多，性能也可以通過優化解決很多問題。很多服務器如ubuntu server,centos都默認支持python，而java虛擬機需要安裝配置，python的安裝使用也相對簡單。python的庫有開箱即用感，很多業務領域，你可能還在用oop寫代碼，考慮設計模式，用鋤頭挖溝時，而python調用挖掘機api已經炒菜完工開飯了，缺點是油耗比較大。

python是一門簡潔、高效的語言，這也是它的設計理念！下面我們來看一下如何加速我們的python。

以下舉例說明

一、分析代碼運行時間

第1式：測算代碼運行時間

平凡方法

快捷方法（jupyter環境）

第2式：測算代碼多次運行平均時間

平凡方法

快捷方法（jupyter環境）

第3式：按調用函數分析代碼運行時間

平凡方法

快捷方法（jupyter環境）

Python是一個很酷的語言，因為你可以在很短的時間內利用很少的代碼做很多事情。不僅如此，它還能輕鬆地支持多任務，比如多進程等。Python批評者有時會說Python執行緩慢。本文將嘗試介紹6個技巧，可加速你的Python應用程序。

1.讓關鍵代碼依賴於外部包

雖然Python讓許多編程任務變得容易，但它可能並不總能為緊急的任務提供最佳性能。你可以為緊急的任務使用C、C++或機器語言編寫的外部包，這樣可以提高應用程序的性能。這些包都是不能跨平台的，這意味着你需要根據你正在使用的平台，尋找合適的包。簡而言之，這個方案放棄了一些應用程序的可移植性，以換取只有在特定主機上直接編程才能獲得的程序性能。這裡有一些你應該考慮加入到你的「性能兵工廠」的包：