本文目錄一覽:
golang VS python性能誰更強???
Go語言
Go是Google的Robert Griesemer,Rob Pike及Ken Thompson開發的一種靜態強類型、編譯型語言。Go語言語法與C相近,但功能上有:內存安全、垃圾回收、結構形態及CSP-style並發計算。
Go的語法接近C語言,但對於變數的聲明有所不同。Go支持垃圾回收功能。Go的並行模型是以東尼·霍爾的通信順序進程為基礎,採取類似模型的其他語言包括Occam和Limbo,但它也具有Pi運算的特徵,比如通道傳輸。
Python
Python是一種廣泛使用的具有動態語義的解釋型、面向對象的高級編程語言。
Python是一種面向對象的高級編程語言,具有集成的動態語義,主要用於Web和應用程序開發。它在快速應用程序開發領域極具吸引力,因為它提供動態類型和動態綁定選項。
Python是一種解釋型語言,這意味著用Python編寫的程序不需要事先編譯就可以運行,從而可以輕鬆地測試小段代碼並使用Python編寫的代碼更容易在平台之間移動。
Go語言和Python的區別:
①語法:Python的語法使用縮進來指示代碼塊,Go的語言基於打開和關閉括弧。
②範例:Python是一種基於面向對象編程的多範式,命令式和函數式編程語言。它堅持這樣一種觀點,即如果一種語言在某些情境中表現出某種特定的方式,理想情況下它應該在所有情境中都有相似的作用。但是,它又不是純粹的OOP語言,它不支持強封裝,這是OOP的主要原則之一。Go是一種基於並發編程範式的過程編程語言,它與C具有表面相似性,實際上,Go更像是C的更新版本。
③並發:Python沒有提供內置的並發機制,而Go沒有內置的並發機制。
④類型化:Python是動態類型語言,而Go是一種靜態類型語言,它實際上有助於在編譯時捕獲錯誤,這可以進一步減少生產後期的嚴重錯誤。
⑤安全性:Python是一種強類型語言,它是經過編譯的,因此增加了一層安全性。Go具有分配給每個變數的類型,因此,它提供了安全性。但是,如果發生任何錯誤,用戶需要自己運行整個代碼。
⑥管理內存:Go允許程序員在很大程度上管理內存。而Python中的內存管理完全自動化並由Python VM管理;它不允許程序員對內存管理負責。
⑦庫:與Go相比,Python提供的庫數量要大得多。然而,Go仍然是新的,並且還沒有取得很大進展。
⑧速度:Go的速度遠遠超過Python。
golang配製高性能sql.DB
有很多教程是關於Go的sql.DB類型和如何使用它來執行SQL資料庫查詢的。但大多數內容都沒有講述 SetMaxOpenConns() , SetMaxIdleConns() 和 SetConnMaxLifetime()方法, 您可以使用它們來配置sql.DB的行為並改變其性能。
轉自:
整理:go語言中文文檔:
在本文我將詳細解釋這些設置的作用,並說明它們所能產生的(積極和消極)影響。
一個sql.DB對象就是一個資料庫連接池,它包含「正在用」和「空閑的」連接。一個正在用的連接指的是,你正用它來執行資料庫任務,例如執行SQL語句或行查詢。當任務完成連接就是空閑的。
當您創建sql.DB執行資料庫任務時,它將首先檢查連接池中是否有可用的空閑連接。如果有可用的連接,那麼Go將重用現有連接,並在執行任務期間將其標記為正在使用。如果池中沒有空閑連接,而您需要一個空閑連接,那麼Go將創建一個新的連接。
默認情況下,在同一時間打開連接的數量是沒有限制(包含使用中+空閑)。但你可以通過SetMaxOpenConns()方法實現自定義限制,如下所示:
在這個示例代碼中,連接池現在有5個並發打開的連接數。如果所有5個連接都已經被標記為正在使用,並且需要另一個新的連接,那麼應用程序將被迫等待,直到5個連接中的一個被釋放並變為空閑。
為了說明更改MaxOpenConns的影響,我運行了一個基準測試,將最大打開連接數設置為1、2、5、10和無限。基準測試在PostgreSQL資料庫上執行並行的INSERT語句,您可以在這裡找到代碼。測試結果:
對於這個基準測試,我們可以看到,允許打開的連接越多,在資料庫上執行INSERT操作所花費的時間就越少(打開的連接數為1時,執行速度3129633ns/op,而無限連接:531030ns/op——大約快了6倍)。這是因為允許打開的連接越多,可以並發執行的資料庫查詢就越多。
默認情況下,sql.DB允許連接池中最多保留2個空閑連接。你可以通過SetMaxIdleConns()方法改變它,如下所示:
從理論上講,允許池中有更多的空閑連接將提高性能,因為這樣就不太可能從頭開始建立新連接——因此有助於提升資料庫性能。
讓我們來看看相同的基準測試,最大空閑連接設置為none, 1,2,5和10:
當MaxIdleConns設置為none時,必須為每個INSERT從頭創建一個新的連接,我們可以從基準測試中看到,平均運行時和內存使用量相對較高。
只允許保留和重用一個空閑連接對基準測試影響特別明顯——它將平均運行時間減少了大約8倍,內存使用量減少了大約20倍。繼續增加空閑連接池的大小會使性能變得更好,儘管改進並不明顯。
那麼,您應該維護一個大的空閑連接池嗎?答案取決於應用程序。重要的是要意識到保持空閑連接是有代價的—它佔用了可以用於應用程序和資料庫的內存。
還有一種可能是,如果一個連接空閑時間太長,那麼它可能會變得不可用。例如,MySQL的wait_timeout設置將自動關閉任何8小時(默認)內未使用的連接。
當發生這種情況時,sql.DB會優雅地處理它。壞連接將自動重試兩次,然後放棄,此時Go將該連接從連接池中刪除,並創建一個新的連接。因此,將MaxIdleConns設置得太大可能會導致連接變得不可用,與空閑連接池更小(使用更頻繁的連接更少)相比,會佔有更多的資源。所以,如果你很可能很快就會再次使用,你只需保持一個空閑的連接。
最後要指出的是,MaxIdleConns應該總是小於或等於MaxOpenConns。Go強制執行此操作,並在必要時自動減少MaxIdleConns。
現在讓我們看看SetConnMaxLifetime()方法,它設置連接可重用的最大時間長度。如果您的SQL資料庫也實現了最大連接生命周期,或者—例如—您希望方便地在負載均衡器後交換資料庫,那麼這將非常有用。
你可以這樣使用它:
在這個例子中,所有的連接都將在創建後1小時「過期」,並且在過期後無法重用。但注意:
從理論上講,ConnMaxLifetime越短,連接過期的頻率就越高——因此,需要從頭創建連接的頻率就越高。為了說明這一點,我運行了將ConnMaxLifetime設置為100ms、200ms、500ms、1000ms和無限(永遠重用)的基準測試,默認設置為無限打開連接和2個空閑連接。這些時間段顯然比您在大多數應用程序中使用的時間要短得多,但它們有助於很好地說明行為。
在這些特定的基準測試中,我們可以看到,與無限生存期相比,在100ms生存期時內存使用量增加了3倍以上,而且每個INSERT的平均運行時也稍微長一些。
如果您在代碼中設置了ConnMaxLifetime,那麼一定要記住連接將過期(隨後重新創建)的頻率。例如,如果您總共有100個連接,而ConnMaxLifetime為1分鐘,那麼您的應用程序可能每秒鐘殺死和重新創建1.67個連接(平均值)。您不希望這個頻率太大,最終會阻礙性能,而不是提高性能。
最後,如果不說明超過資料庫連接數量的硬限制將會發生什麼,那麼本文就不完整了。 為了說明這一點,我將修改postgresql.conf文件,這樣總共只允許5個連接(默認是100個)…
然後在無限連接的情況下重新運行基準測試……
一旦達到5個連接的硬限制,資料庫驅動程序(pq)立即返回一個太多客戶端連接的錯誤消息,而無法完成INSERT。為了防止這個錯誤,我們需要將sql.DB中打開連接的最大總數(正在使用的+空閑的)設置為低於5。像這樣:
現在,sql.DB在任何時候最多只能創建3個連接,基準測試運行時應該不會出現任何錯誤。但是這樣做需要注意:當達到開放連接數限制,並且所有連接都在使用時,應用程序需要執行的任何新的資料庫任務都將被迫等待,直到連接標記為空閑。例如,在web應用程序的上下文中,用戶的HTTP請求看起來會「掛起」,甚至在等待資料庫任務運行時可能會超時。
為了減輕這種情況,你應該始終在一個上下文中傳遞。在調用資料庫時,啟用上下文的方法(如ExecContext()),使用固定的、快速的超時上下文對象。
總結
1、根據經驗,應該顯式設置MaxOpenConns值。這應該小於資料庫和基礎設施對連接數量的硬性限制。
2、一般來說,更高的MaxOpenConns和MaxIdleConns值將帶來更好的性能。但你應該注意到效果是遞減的,連接池空閑連接太多(連接沒有被重用,最終會變壞)實際上會導致性能下降。
3、為了降低上面第2點帶來的風險,您可能需要設置一個相對較短的ConnMaxLifetime。但你也不希望它太短,導致連接被殺死或不必要地頻繁重建。
4、MaxIdleConns應該總是小於或等於MaxOpenConns。
對於中小型web應用程序,我通常使用以下設置作為起點,然後根據實際吞吐量水平的負載測試結果進行優化。
golang性能測試框架k6源碼分析
k6是新興的性能測試框架,比肩jmeter,另外測試腳本使用js,更加適合自動化的架構。
k6啟動的框架是使用golang的cli標準框架cobra,入口函數
進入cobra框架後,我們直接查看getRunCmd,這個是命令run的入口,主要工作都是從這裡開始。
重點關注初始化Runner,這個是通過js腳本,使用goja庫解析後,生成的實際執行單元。
進入js目錄,查看Runner的結構,runner.go
Runner有一些配置屬性,另外還有方法,方法用lib.Runner的介面進行規範。
Runner有一個NewVU方法,裡面定義了連接參數,實現api測試
返回主函數,在初始化完成Runner後,啟動調度器,以及做結果收集
最終封裝成一個engine
啟動測試
原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-tw/n/291629.html