優化python程序執行時間的方法——wall clock timing

一、使用時間複雜度較低的演算法

在編寫python程序時,可以通過使用時間複雜度較低的演算法來減少程序的執行時間。如果程序執行時間非常長,那麼就要考慮優化演算法的時間複雜度。

例如,在對一個列表進行查找或排序時,常用的方法是使用for循環和sort()函數。但是,這種方法的時間複雜度為O(n^2),如果列表很大,程序執行時間就會非常長。而如果使用快速排序或歸併排序等演算法,時間複雜度可以降為O(nlogn),程序執行時間就會大大縮短。

# 例如,對一個列表進行排序

# 方法一:
def bubble_sort(nums):
    for i in range(len(nums)-1):
        for j in range(len(nums)-1-i):
            if nums[j] > nums[j+1]:
                nums[j], nums[j+1] = nums[j+1], nums[j]
    return nums

# 方法二:
def merge_sort(nums):
    if len(nums) <= 1:
        return nums
    mid = len(nums) // 2
    left = merge_sort(nums[:mid])
    right = merge_sort(nums[mid:])
    return merge(left, right)

def merge(left, right):
    result = []
    i, j = 0, 0
    while i < len(left) and j < len(right):
        if left[i] < right[j]:
            result.append(left[i])
            i += 1
        else:
            result.append(right[j])
            j += 1
    result += left[i:]
    result += right[j:]
    return result

nums = [3, 5, 1, 6, 4, 2]
print(bubble_sort(nums))  # 原生的冒泡演算法
print(merge_sort(nums))   # 歸併排序演算法

二、使用生成式代替列表操作

在python中,有時我們需要對一個列表進行多次操作,如果每次都對原列表進行操作,就會造成重複計算,增加程序的執行時間。這時我們可以使用生成式代替列表操作,從而減少程序的執行時間。

生成式是一種方便快捷的列表操作方式,可以通過一行代碼來實現多個操作,並且可以直接生成列表。因為生成式只執行一次,所以可以大大降低程序執行的時間。

# 例如,使用生成式計算一個列表中每個數的平方

# 方法一:
nums = [1, 2, 3, 4]
squares = []
for num in nums:
    squares.append(num**2)

# 方法二:
nums = [1, 2, 3, 4]
squares = [num**2 for num in nums]

三、避免重複計算

在編寫程序時,不要重複計算相同的值。如果程序中有循環結構或遞歸結構,會有很多重複計算的情況,這些重複計算會增加程序的執行時間。

為了避免重複計算,可以使用緩存機制,將計算結果緩存起來,下次使用時就可以直接查緩存,這樣可以大大提高程序的執行效率。

# 例如,計算斐波那契數列的第n項

# 方法一:
def fibonacci(n):
    if n <= 1:
        return n
    return fibonacci(n-1) + fibonacci(n-2)

# 方法二:
cache = {}
def fibonacci(n):
    if n in cache:
        return cache[n]
    if n <= 1:
        return n
    value = fibonacci(n-1) + fibonacci(n-2)
    cache[n] = value
    return value

print(fibonacci(100))

四、使用可視化工具

在優化python程序執行時間時,可以使用各種可視化工具來幫助我們分析程序的性能瓶頸。

例如,可以使用cProfile模塊來查看程序的函數調用次數、時間和耗時等信息,還可以使用pstats模塊對結果進行統計和分析。

# 查看程序的函數調用次數和耗時
import cProfile
import re

def factorial(n):
    if n == 0:
        return 1
    else:
        return n * factorial(n-1)

def test_factorial():
    for i in range(10):
        assert factorial(i) == 1

if __name__ == '__main__':
    cProfile.run('test_factorial()')

五、使用線程和進程

在python中,可以使用多線程和多進程的方式來加速程序的執行。通過將任務劃分為多個子任務,並同時執行這些子任務,可以提高程序的執行效率。

多線程適用於cpu計算量不大的程序,多進程適用於cpu計算量較大的程序。同時,由於python有全局解釋器鎖,因此多線程在並發性方面並不會有太大的提升。

# 例如,使用多線程和多進程分別對一個列表進行排序

# 多線程:
import threading

def bubble_sort(nums):
    for i in range(len(nums)-1):
        for j in range(len(nums)-1-i):
            if nums[j] > nums[j+1]:
                nums[j], nums[j+1] = nums[j+1], nums[j]
    return nums

def sort(nums):
    nums = bubble_sort(nums)

if __name__ == '__main__':
    nums = [3, 5, 1, 6, 4, 2]
    threads = []
    for i in range(2):
        t = threading.Thread(target=sort, args=(nums,))
        threads.append(t)
        t.start()
    for t in threads:
        t.join()

# 多進程:
from multiprocessing import Process

def bubble_sort(nums):
    for i in range(len(nums)-1):
        for j in range(len(nums)-1-i):
            if nums[j] > nums[j+1]:
                nums[j], nums[j+1] = nums[j+1], nums[j]
    return nums

def sort(nums):
    nums = bubble_sort(nums)

if __name__ == '__main__':
    nums = [3, 5, 1, 6, 4, 2]
    processes = []
    for i in range(2):
        p = Process(target=sort, args=(nums,))
        processes.append(p)
        p.start()
    for p in processes:
        p.join()

六、使用numba加速python程序

numba是一種可以加速python程序的庫,可以將python代碼編譯為機器碼,從而顯著提高程序的執行效率。

在使用numba時,需要將需要加速的函數使用jit裝飾器進行修飾,從而實現代碼的即時編譯。

# 例如,使用numba對一個計算圓周率的程序進行加速

# 原生程序:
import math

def compute_pi(n):
    pi = 0
    for i in range(n):
        pi += math.pow(-1, i) / (2*i + 1)
    return 4 * pi

print(compute_pi(1000000))

# numba加速:
import numba

@numba.jit
def compute_pi(n):
    pi = 0
    for i in range(n):
        pi += math.pow(-1, i) / (2*i + 1)
    return 4 * pi

print(compute_pi(1000000))

七、使用numpy進行向量化計算

在python中,numpy是一個非常常用的庫,使用numpy進行向量化計算可以加速程序的執行。向量化計算是一種對數組或矩陣進行運算的方式,可以將運算交給底層的C語言來執行,從而提高程序的執行效率。

# 例如,使用numpy進行向量化計算

import numpy as np

x = np.array([1, 2, 3, 4])
y = np.array([5, 6, 7, 8])

# 使用for循環進行計算
result = []
for i in range(len(x)):
    result.append(x[i] + y[i])
print(result)

# 使用numpy進行向量化計算
result = x + y
print(result)

八、使用jit編譯python代碼

除了使用numba進行加速外,還可以使用其他的編譯器來加速python程序的執行。例如,使用Cython可以將python代碼編譯為C語言代碼,並生成.so文件,在程序運行時調用C語言代碼來進行計算,從而提高程序的執行效率。

使用Cython編譯可以加快python的執行速度,並且在一些特定的計算場景下,加速效果非常顯著。

# 例如,使用Cython編譯一個計算斐波那契數列的程序

# 原生程序:
def fib(n):
    if n==1 or n==2:
        return 1
    return fib(n-1) + fib(n-2)

# Cython編譯:
# 首先需要安裝cython庫
# 然後創建一個fib.pyx文件,並編寫如下的代碼
# 然後運行以下命令生成.so文件
# python setup.py build_ext --inplace

# fib.pyx
def fib(int n):
    if n==1 or n==2:
        return 1
    return fib(n-1) + fib(n-2)

# setup.py
from distutils.core import setup
from Cython.Build import cythonize

setup(
    ext_modules = cythonize("fib.pyx")
)

# main程序中調用.so文件
import fib

print(fib.fib(100))

九、使用可變數據結構代替不可變數據結構

在python中,可變數據結構比不可變數據結構具有更高的執行效率。因為當一個不可變數據結構發生變化時,它需要創建一個新的對象來存儲修改後的結果,這個過程需要多次的內存分配和釋放,從而增加了程序的執行時間。

因此,當一個數據結構需要重複修改時,可以使用可變數據結構代替不可變數據結構,從而提高程序的執行效率。

# 例如,使用列表代替元組來存儲數據

# 使用元組存儲數據
def process_data(data):
    result = []
    for item in data:
        result.append(item[0] * item[1])
    return result

data = ((1, 2), (3, 4), (5, 6))
print(process_data(data))

# 使用列表存儲數據
def process_data(data):
    result = []
    for item in data:
        result.append(item[0] * item[1])
    return result

data = [[1, 2], [3, 4], [5, 6]]
print(process_data(data))

十、使用profiling工具進行代碼分析

在優化python程序執行時間時,可以使用各種profiling工具來分析程序的性能瓶頸,找到程序的瓶頸所在,從而有針對性地進行優化。

各種profiling工具的原理都不一樣,常見的有cProfile、memory_profiler、pyinstrument、line_profiler等。

# 例如,使用pyinstrument工具分析程序的性能瓶頸

# 首先需要安裝pyinstrument庫
# 然後在程序中插入以下代碼
import pyinstrument
profiler = pyinstrument.Profiler()
profiler.start()
# 執行程序
profiler.stop()

print(profiler.output_text(unicode=True, color=True))

總結

在優化python程序執行時間時,可以從多個方面入手,例如使用時間複雜度較低的演算法、使用生成式代替列表操作、避免重複計算、使用可視化工具、使用線程和進程、使用numba加速python程序、使用numpy進行向量

原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-tw/n/272470.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
小藍的頭像小藍
上一篇 2024-12-17 13:56
下一篇 2024-12-17 13:56

相關推薦

  • Python周杰倫代碼用法介紹

    本文將從多個方面對Python周杰倫代碼進行詳細的闡述。 一、代碼介紹 from urllib.request import urlopen from bs4 import Bea…

    編程 2025-04-29
  • Python列表中負數的個數

    Python列表是一個有序的集合,可以存儲多個不同類型的元素。而負數是指小於0的整數。在Python列表中,我們想要找到負數的個數,可以通過以下幾個方面進行實現。 一、使用循環遍歷…

    編程 2025-04-29
  • Python計算陽曆日期對應周幾

    本文介紹如何通過Python計算任意陽曆日期對應周幾。 一、獲取日期 獲取日期可以通過Python內置的模塊datetime實現,示例代碼如下: from datetime imp…

    編程 2025-04-29
  • 如何查看Anaconda中Python路徑

    對Anaconda中Python路徑即conda環境的查看進行詳細的闡述。 一、使用命令行查看 1、在Windows系統中,可以使用命令提示符(cmd)或者Anaconda Pro…

    編程 2025-04-29
  • Python中引入上一級目錄中函數

    Python中經常需要調用其他文件夾中的模塊或函數,其中一個常見的操作是引入上一級目錄中的函數。在此,我們將從多個角度詳細解釋如何在Python中引入上一級目錄的函數。 一、加入環…

    編程 2025-04-29
  • Python清華鏡像下載

    Python清華鏡像是一個高質量的Python開發資源鏡像站,提供了Python及其相關的開發工具、框架和文檔的下載服務。本文將從以下幾個方面對Python清華鏡像下載進行詳細的闡…

    編程 2025-04-29
  • Python字典去重複工具

    使用Python語言編寫字典去重複工具,可幫助用戶快速去重複。 一、字典去重複工具的需求 在使用Python編寫程序時,我們經常需要處理數據文件,其中包含了大量的重複數據。為了方便…

    編程 2025-04-29
  • Python程序需要編譯才能執行

    Python 被廣泛應用於數據分析、人工智慧、科學計算等領域,它的靈活性和簡單易學的性質使得越來越多的人喜歡使用 Python 進行編程。然而,在 Python 中程序執行的方式不…

    編程 2025-04-29
  • 蝴蝶優化演算法Python版

    蝴蝶優化演算法是一種基於仿生學的優化演算法,模仿自然界中的蝴蝶進行搜索。它可以應用於多個領域的優化問題,包括數學優化、工程問題、機器學習等。本文將從多個方面對蝴蝶優化演算法Python版…

    編程 2025-04-29
  • python強行終止程序快捷鍵

    本文將從多個方面對python強行終止程序快捷鍵進行詳細闡述,並提供相應代碼示例。 一、Ctrl+C快捷鍵 Ctrl+C快捷鍵是在終端中經常用來強行終止運行的程序。當你在終端中運行…

    編程 2025-04-29

發表回復

登錄後才能評論