GOLANG性能,golang性能測試平台

本文目錄一覽:

golang VS python性能誰更強???

Go語言

Go是Google的Robert Griesemer,Rob Pike及Ken Thompson開發的一種靜態強類型、編譯型語言。Go語言語法與C相近,但功能上有:內存安全、垃圾回收、結構形態及CSP-style並發計算。

Go的語法接近C語言,但對於變數的聲明有所不同。Go支持垃圾回收功能。Go的並行模型是以東尼·霍爾的通信順序進程為基礎,採取類似模型的其他語言包括Occam和Limbo,但它也具有Pi運算的特徵,比如通道傳輸。

Python

Python是一種廣泛使用的具有動態語義的解釋型、面向對象的高級編程語言。

Python是一種面向對象的高級編程語言,具有集成的動態語義,主要用於Web和應用程序開發。它在快速應用程序開發領域極具吸引力,因為它提供動態類型和動態綁定選項。

Python是一種解釋型語言,這意味著用Python編寫的程序不需要事先編譯就可以運行,從而可以輕鬆地測試小段代碼並使用Python編寫的代碼更容易在平台之間移動。

Go語言和Python的區別:

①語法:Python的語法使用縮進來指示代碼塊,Go的語言基於打開和關閉括弧。

②範例:Python是一種基於面向對象編程的多範式,命令式和函數式編程語言。它堅持這樣一種觀點,即如果一種語言在某些情境中表現出某種特定的方式,理想情況下它應該在所有情境中都有相似的作用。但是,它又不是純粹的OOP語言,它不支持強封裝,這是OOP的主要原則之一。Go是一種基於並發編程範式的過程編程語言,它與C具有表面相似性,實際上,Go更像是C的更新版本。

③並發:Python沒有提供內置的並發機制,而Go沒有內置的並發機制。

④類型化:Python是動態類型語言,而Go是一種靜態類型語言,它實際上有助於在編譯時捕獲錯誤,這可以進一步減少生產後期的嚴重錯誤。

⑤安全性:Python是一種強類型語言,它是經過編譯的,因此增加了一層安全性。Go具有分配給每個變數的類型,因此,它提供了安全性。但是,如果發生任何錯誤,用戶需要自己運行整個代碼。

⑥管理內存:Go允許程序員在很大程度上管理內存。而Python中的內存管理完全自動化並由Python VM管理;它不允許程序員對內存管理負責。

⑦庫:與Go相比,Python提供的庫數量要大得多。然而,Go仍然是新的,並且還沒有取得很大進展。

⑧速度:Go的速度遠遠超過Python。

golang配製高性能sql.DB

有很多教程是關於Go的sql.DB類型和如何使用它來執行SQL資料庫查詢的。但大多數內容都沒有講述 SetMaxOpenConns() , SetMaxIdleConns() 和 SetConnMaxLifetime()方法, 您可以使用它們來配置sql.DB的行為並改變其性能。

轉自:

整理:go語言中文文檔:

在本文我將詳細解釋這些設置的作用,並說明它們所能產生的(積極和消極)影響。

一個sql.DB對象就是一個資料庫連接池,它包含「正在用」和「空閑的」連接。一個正在用的連接指的是,你正用它來執行資料庫任務,例如執行SQL語句或行查詢。當任務完成連接就是空閑的。

當您創建sql.DB執行資料庫任務時,它將首先檢查連接池中是否有可用的空閑連接。如果有可用的連接,那麼Go將重用現有連接,並在執行任務期間將其標記為正在使用。如果池中沒有空閑連接,而您需要一個空閑連接,那麼Go將創建一個新的連接。

默認情況下,在同一時間打開連接的數量是沒有限制(包含使用中+空閑)。但你可以通過SetMaxOpenConns()方法實現自定義限制,如下所示:

在這個示例代碼中,連接池現在有5個並發打開的連接數。如果所有5個連接都已經被標記為正在使用,並且需要另一個新的連接,那麼應用程序將被迫等待,直到5個連接中的一個被釋放並變為空閑。

為了說明更改MaxOpenConns的影響,我運行了一個基準測試,將最大打開連接數設置為1、2、5、10和無限。基準測試在PostgreSQL資料庫上執行並行的INSERT語句,您可以在這裡找到代碼。測試結果:

對於這個基準測試,我們可以看到,允許打開的連接越多,在資料庫上執行INSERT操作所花費的時間就越少(打開的連接數為1時,執行速度3129633ns/op,而無限連接:531030ns/op——大約快了6倍)。這是因為允許打開的連接越多,可以並發執行的資料庫查詢就越多。

默認情況下,sql.DB允許連接池中最多保留2個空閑連接。你可以通過SetMaxIdleConns()方法改變它,如下所示:

從理論上講,允許池中有更多的空閑連接將提高性能,因為這樣就不太可能從頭開始建立新連接——因此有助於提升資料庫性能。

讓我們來看看相同的基準測試,最大空閑連接設置為none, 1,2,5和10:

當MaxIdleConns設置為none時,必須為每個INSERT從頭創建一個新的連接,我們可以從基準測試中看到,平均運行時和內存使用量相對較高。

只允許保留和重用一個空閑連接對基準測試影響特別明顯——它將平均運行時間減少了大約8倍,內存使用量減少了大約20倍。繼續增加空閑連接池的大小會使性能變得更好,儘管改進並不明顯。

那麼,您應該維護一個大的空閑連接池嗎?答案取決於應用程序。重要的是要意識到保持空閑連接是有代價的—它佔用了可以用於應用程序和資料庫的內存。

還有一種可能是,如果一個連接空閑時間太長,那麼它可能會變得不可用。例如,MySQL的wait_timeout設置將自動關閉任何8小時(默認)內未使用的連接。

當發生這種情況時,sql.DB會優雅地處理它。壞連接將自動重試兩次,然後放棄,此時Go將該連接從連接池中刪除,並創建一個新的連接。因此,將MaxIdleConns設置得太大可能會導致連接變得不可用,與空閑連接池更小(使用更頻繁的連接更少)相比,會佔有更多的資源。所以,如果你很可能很快就會再次使用,你只需保持一個空閑的連接。

最後要指出的是,MaxIdleConns應該總是小於或等於MaxOpenConns。Go強制執行此操作,並在必要時自動減少MaxIdleConns。

現在讓我們看看SetConnMaxLifetime()方法,它設置連接可重用的最大時間長度。如果您的SQL資料庫也實現了最大連接生命周期,或者—例如—您希望方便地在負載均衡器後交換資料庫,那麼這將非常有用。

你可以這樣使用它:

在這個例子中,所有的連接都將在創建後1小時「過期」,並且在過期後無法重用。但注意:

從理論上講,ConnMaxLifetime越短,連接過期的頻率就越高——因此,需要從頭創建連接的頻率就越高。為了說明這一點,我運行了將ConnMaxLifetime設置為100ms、200ms、500ms、1000ms和無限(永遠重用)的基準測試,默認設置為無限打開連接和2個空閑連接。這些時間段顯然比您在大多數應用程序中使用的時間要短得多,但它們有助於很好地說明行為。

在這些特定的基準測試中,我們可以看到,與無限生存期相比,在100ms生存期時內存使用量增加了3倍以上,而且每個INSERT的平均運行時也稍微長一些。

如果您在代碼中設置了ConnMaxLifetime,那麼一定要記住連接將過期(隨後重新創建)的頻率。例如,如果您總共有100個連接,而ConnMaxLifetime為1分鐘,那麼您的應用程序可能每秒鐘殺死和重新創建1.67個連接(平均值)。您不希望這個頻率太大,最終會阻礙性能,而不是提高性能。

最後,如果不說明超過資料庫連接數量的硬限制將會發生什麼,那麼本文就不完整了。 為了說明這一點,我將修改postgresql.conf文件,這樣總共只允許5個連接(默認是100個)…

然後在無限連接的情況下重新運行基準測試……

一旦達到5個連接的硬限制,資料庫驅動程序(pq)立即返回一個太多客戶端連接的錯誤消息,而無法完成INSERT。為了防止這個錯誤,我們需要將sql.DB中打開連接的最大總數(正在使用的+空閑的)設置為低於5。像這樣:

現在,sql.DB在任何時候最多只能創建3個連接,基準測試運行時應該不會出現任何錯誤。但是這樣做需要注意:當達到開放連接數限制,並且所有連接都在使用時,應用程序需要執行的任何新的資料庫任務都將被迫等待,直到連接標記為空閑。例如,在web應用程序的上下文中,用戶的HTTP請求看起來會「掛起」,甚至在等待資料庫任務運行時可能會超時。

為了減輕這種情況,你應該始終在一個上下文中傳遞。在調用資料庫時,啟用上下文的方法(如ExecContext()),使用固定的、快速的超時上下文對象。

總結

1、根據經驗,應該顯式設置MaxOpenConns值。這應該小於資料庫和基礎設施對連接數量的硬性限制。

2、一般來說,更高的MaxOpenConns和MaxIdleConns值將帶來更好的性能。但你應該注意到效果是遞減的,連接池空閑連接太多(連接沒有被重用,最終會變壞)實際上會導致性能下降。

3、為了降低上面第2點帶來的風險,您可能需要設置一個相對較短的ConnMaxLifetime。但你也不希望它太短,導致連接被殺死或不必要地頻繁重建。

4、MaxIdleConns應該總是小於或等於MaxOpenConns。

對於中小型web應用程序,我通常使用以下設置作為起點,然後根據實際吞吐量水平的負載測試結果進行優化。

golang性能測試框架k6源碼分析

k6是新興的性能測試框架,比肩jmeter,另外測試腳本使用js,更加適合自動化的架構。

k6啟動的框架是使用golang的cli標準框架cobra,入口函數

進入cobra框架後,我們直接查看getRunCmd,這個是命令run的入口,主要工作都是從這裡開始。

重點關注初始化Runner,這個是通過js腳本,使用goja庫解析後,生成的實際執行單元。

進入js目錄,查看Runner的結構,runner.go

Runner有一些配置屬性,另外還有方法,方法用lib.Runner的介面進行規範。

Runner有一個NewVU方法,裡面定義了連接參數,實現api測試

返回主函數,在初始化完成Runner後,啟動調度器,以及做結果收集

最終封裝成一個engine

啟動測試

原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-tw/n/291629.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
小藍的頭像小藍
上一篇 2024-12-25 14:06
下一篇 2024-12-25 14:06

相關推薦

  • Python能否跨平台

    Python作為一門高級編程語言,是一種跨平台的編程語言。下面從多個方面探討Python能否跨平台。 一、Python的跨平台性 Python可以在Windows、Linux、Ma…

    編程 2025-04-29
  • 使用Golang調用Python

    在現代軟體開發中,多種編程語言的協作是相當普遍的。其中一種使用場景是Golang調用Python,這使得在使用Python庫的同時,可以利用Golang的高性能和強大並發能力。這篇…

    編程 2025-04-29
  • 如何優化 Git 性能和重構

    本文將提供一些有用的提示和技巧來優化 Git 性能並重構代碼。Git 是一個非常流行的版本控制系統,但是在處理大型代碼倉庫時可能會有一些性能問題。如果你正在處理這樣的問題,本文將會…

    編程 2025-04-29
  • 使用Golang創建黑色背景圖片的方法

    本文將從多個方面介紹使用Golang創建黑色背景圖片的方法。 一、安裝必要的代碼庫和工具 在開始創建黑色背景圖片之前,我們需要先安裝必要的代碼庫和工具: go get -u git…

    編程 2025-04-29
  • 兼職程序員外包平台的開發與實現

    隨著社會經濟和科技的快速發展,更多人選擇通過互聯網進入編程行業。兼職開發已成為一種新型就業方式,並且這種方式在新冠肺炎疫情襲來、大規模遠程辦公的背景下更為普遍。本文將從多個方面詳細…

    編程 2025-04-28
  • 使用@Transactional和分表優化數據交易系統的性能和可靠性

    本文將詳細介紹如何使用@Transactional和分表技術來優化數據交易系統的性能和可靠性。 一、@Transactional的作用 @Transactional是Spring框…

    編程 2025-04-28
  • Python性能優化方案

    本文將從多個方面介紹Python性能優化方案,並提供相應的示例代碼。 一、使用Cython擴展 Cython是一個Python編譯器,可以將Python代碼轉化為C代碼,可顯著提高…

    編程 2025-04-28
  • Python AUC:模型性能評估的重要指標

    Python AUC是一種用於評估建立機器學習模型性能的重要指標。通過計算ROC曲線下的面積,AUC可以很好地衡量模型對正負樣本的區分能力,從而指導模型的調參和選擇。 一、AUC的…

    編程 2025-04-28
  • Python性能分析: 如何快速提升Python應用程序性能

    Python是一個簡潔高效的編程語言。在大多數情況下,Python的簡潔和生產力為開發人員帶來了很大便利。然而,針對應用程序的性能問題一直是Python開發人員需要面對的一個難題。…

    編程 2025-04-27
  • Unik是什麼平台?

    Unik是一個開放源碼的項目,它提供了一個虛擬機管理器,可以創建和部署基於unikernels的應用程序。 與傳統的操作系統不同,unikernels是一個單獨的應用程序,其內核可…

    編程 2025-04-27

發表回復

登錄後才能評論