優化python（優化電池充電什麼意思）

本文目錄一覽：

• 1、北大青鳥設計培訓：怎樣才能提高Python運行效率？
• 2、#Python乾貨#python實現——最優化算法
• 3、【Python 】性能優化系列：隨機數
• 4、Python怎麼做最優化
• 5、優化Python爬蟲速度的方法有哪些

北大青鳥設計培訓：怎樣才能提高Python運行效率？

python逐漸走入人們的視線，成為熱門編程語言，隨之而來，加入python培訓的准程序員大軍也成為社會熱點。

Python具有許多其他編程語言不具備的優勢，譬如能通過極少量代碼完成許多操作，以及多進程，能夠輕鬆支持多任務處理。

除了多種優勢外，python也有不好的地方，運行較慢，下面電腦培訓為大家介紹6個竅門，可以幫你提高python的運行效率。

1.在排序時使用鍵Python含有許多古老的排序規則，這些規則在你創建定製的排序方法時會佔用很多時間，而這些排序方法運行時也會拖延程序實際的運行速度。

最佳的排序方法其實是儘可能多地使用鍵和內置的sort()方法。

2.交叉編譯你的應用開發者有時會忘記計算機其實並不理解用來創建現代應用程序的編程語言。

計算機理解的是機器語言。

為了運行你的應用，你藉助一個應用將你所編的人類可讀的代碼轉換成機器可讀的代碼。

有時，你用一種諸如Python這樣的語言編寫應用，再以C++這樣的語言運行你的應用，這在運行的角度來說，是可行的。

關鍵在於，你想你的應用完成什麼事情，而你的主機系統能提供什麼樣的資源。

3.關鍵代碼使用外部功能包Python簡化了許多編程任務，但是對於一些時間敏感的任務，它的表現經常不盡人意。

使用C/C++或機器語言的外部功能包處理時間敏感任務，可以有效提高應用的運行效率。

這些功能包往往依附於特定的平台，因此你要根據自己所用的平台選擇合適的功能包。

簡而言之，這個竅門要你犧牲應用的可移植性以換取只有通過對底層主機的直接編程才能獲得的運行效率。

4.針對循環的優化每一種編程語言都強調最優化的循環方案。

當使用Python時，你可以藉助豐富的技巧讓循環程序跑得更快。

然而，開發者們經常遺忘的一個技巧是：盡量避免在循環中訪問變量的屬性。

5.嘗試多種編碼方法每次創建應用時都使用同一種編碼方法幾乎無一例外會導致應用的運行效率不盡人意。

可以在程序分析時嘗試一些試驗性的辦法。

譬如說，在處理字典中的數據項時，你既可以使用安全的方法，先確保數據項已經存在再進行更新，也可以直接對數據項進行更新，把不存在的數據項作為特例分開處理。

6.使用較新的Python版本你要保證自己的代碼在新版本里還能運行。

你需要使用新的函數庫才能體驗新的Python版本，然後你需要在做出關鍵性的改動時檢查自己的應用。

只有當你完成必要的修正之後，你才能體會新版本的不同。

#Python乾貨#python實現——最優化算法

函數詳見rres，此代碼使該算法運行了兩次

收穫：

這是我第一個實現的代碼。學習完該算法以後，邏輯框架基本上就有了，剩下需要明確的就是對應的python的語言。於是我就開始了查找“如何定義函數”（詳見mofan的優酷），“循環體”和“if條件語句”的格式（）“數學符號”（詳見mofan的優酷），以及print的使用

1.def是python中指定義，一般用來定義函數，如果需要深度學習搭建網絡可用來定義網絡。值得注意的一點是

我不清楚為什麼，但是如果沒有加的話，那個函數公式就是一個花瓶，就像一個結果輸不出去。

2.最坑的就是邏輯。一開始邏輯沒理清楚，或者說在代碼上有疏漏，導致我將left和right放在了循環體里，結果可想而知。不過也是因為這個錯誤，我知道pycharm中的debug怎麼用，挺簡單的，百度一下就出來了。

3.不知道什麼原因，看的莫煩視頻中的print多個變量一起輸出是沒有辦法在我的pycharm中使用的，出來的結果很奇怪。可能是因為我是win10不是ios吧。print如果多個變量一起輸出必須是print(“名字：%s,名字2：%s”%(a,b))結果輸出就是名字：a ,名字2：b

關於python中數據變量。第一遍運行結果出現很明顯不對，於是我採用了debug。結果發現，mid1處一直為1而不是1.5，於是就開始了解數據變量。起初我猜測python默認所有變量為整型，但是根據二分法的結果我意識到此猜測不對，所以要改整個file的變量格式沒有必要。所以我就在mid1式子前面加了一個float，結果就顯示為1.5了。但是如果我將整個式子用（）括起來，前面加float，結果還是1。我不太理解為什麼。不過我知道了python的數據格式是根據輸入量決定的，也就是說你的輸入量如果是整型，那麼與其直接相關的計算輸出結果一定是整型，而且還是不採用進位的整型。在我沒有採用+float/+.0這兩種方法之前，mid1~3全部是整型。

或者不再mid1前面加float,直接將輸入量後面點個點就行

真的很想吐槽一下print,好麻煩啊啊啊啊每次都得弄個%s,而且有時候還不能放一起！！！！

不要問我掌握了什麼，要問我現在寫完這個代碼後有多麼的愛python的精度表示 :-)我決定以後只要再編寫數學公式的代碼都將輸入量的小數學點後面補很多0

fibonacci函數定義，每次debug後我的手都是抖的O( _ )O~

不知道自己什麼時候有的強迫症，只要是代碼下面有“~”我就必須要消掉。笑哭。這個很簡單，前四個除了費波納茨，都很簡單。

這個公式看起來很麻煩，便寫的時候更要謹慎。我上回把那個2擱在了分號下面，結果很大，所以還是換算成0.5更好（PS：勿忘那長河般的0）。

雖然代碼很長，但是主要是因為print太多。本打算在開頭print，最後結果會漏掉最後一部分。懶得想其他辦法了，直接就這樣吧

一開始while裡面寫成了,導致run不出來。繼而，debug也沒法用。在網上一查才知道 “沒聯網”+“沒選斷點”。最後想嘗試將else裡面的內容輸出來，結果發現run以後被刷屏了。於是改成i7以後還是不行，於是想着加一個break跳出循環，結果成效了。

然後剛剛由debug了一下，才知道原來是i+1在if裡面，因為沒有辦法+1，所以i=6一直存在，就不斷循環。因為加break也好，i+1也好，都可以。

這是我第一組自己實現的python代碼，就是數學公式用python語言組裝起來。剛開始的時候知道大概需要在語言中體現什麼，但不太清楚。於是我就在網上找了幾個二分法的，他們都各有不同，但框架都差不多，不過如果要用到我們的那個公式里還需要改變很多。然後我就開始分析我們的題，我發現大體需要兩部分，一部分函數定義，一部分循環體。但我不知道如何定義函數，如何寫數學公式，如何弄變量，也就是說一些小點不太會，所以我選擇直接百度。因為我知道自己閱讀的能力不錯，相比於從視頻中提取要素，我更擅長通過閱讀獲得要點。有目的性地找知識點，掌握地更牢固。

於是我就開始了第一個——二分法的編寫。我發現，自己出現了很多錯誤而且有很多地方都很基礎。但我依然沒選擇視頻，而是將這些問題直接在百度上找，因為視頻講完或許你也沒找到點。當然，這是一步一步走的，不是直接就將程序擺上去，一點一點改。

隨着前兩個的成功，我發現自己對於這些代碼有了自信，似乎看透了他們的偽裝，抓住了本質。除此之外，我還意識到自己自從8月份以後，學習能力似乎提高了不少，而且有了更為有效的學習方法。各方面都有了一定的覺醒。除了第一個找了幾個牛頭不對馬嘴的代碼，其他都是根據自己的邏輯寫，邏輯通下來以後，對應語言中某一部分不知道如何翻譯就去百度，其實這幾個套路都一樣或者說數學公式轉化的套路都一樣。

我還意識到，彙編其實是最難的語言，目前為止所學到的，因為很多都需要自己去定義，去死摳，需要記住大量的指令且不能靈活變通。但是其他的卻只需要將一些對應的記下來就好。python真的挺簡單的。而且，我發現自己今天似乎打開了新世界的大門，我愛上了這種充滿了靈性的東西，充滿了嚴謹的美麗，還有那未知的變化，我發現我似乎愛上了代碼。可能不僅僅局限於python，這些語言都充滿了挑戰性。我覺得當你疑惑的時候，就需要相信直覺，至少我發現它很准

【Python 】性能優化系列：隨機數

最近在做的項目重點部分與大量生成隨機數有關，維度高達[1700000,10000]，需要生成 10 x 30 次左右，這裡遇到內存和速度的雙重瓶頸，特地研究了一下如何優化隨機數。

優化時間測試所需的分析工具在另一篇博客《性能優化系列一：分析工具》中提到。

原生的python中也有隨機模塊生成 random.randint 和 random.random 等，但是速度非常慢，numpy 速度可以大幅提升。一般都採用numpy生成隨機數。

比較常用的就是以上幾種。在需要生成大量隨機數的情況下，或生成偽隨機數的情況下，python 3.7 常用 RandomState 。

直接生成大規模非稀疏矩陣如下，經常遇到 MemoryError 的錯誤，大概是同時生成多個float64精度的大規模隨機矩陣服務器內存不夠，而random state 似乎也沒提供調整類型的attr，

這時最好使用即使生成即使銷毀，僅保留種子作為索引，同樣，多個CPU之間共享大規模矩陣涉及到共享內存或數據傳輸同步較慢的問題，最好也共享seed而不是直接共享矩陣。

ps. 這裡注意一般我們設置time.time()為種子時，對於並發性程序是無效的，不要在並發程序中同時定義，建議生成一個seed list 列表再從中取。

這裡可以對大規模矩陣進行分片以進行後續的np 乘法，再切片賦值，以時間換內存。這種情況的麻煩在於如果設定隨機數種子會導致每個分片的隨機數相同。可以利用一個最初seed（爺爺種子）randint生成 一組切片組數的seed（父親種子），再每次從中取不同的隨機數。

在上述切片方法嘗試之後，可以解決內存問題。但是時間非常慢，特別是採取s = 1時在standard normal 上調用170萬次的時間長達3000s，line search一下搜索了大約100000為切片值仍然太慢。在文檔中發現了 BitGenerator 和 Generator ，大約可以提速到原來的 1/3。

除了Numpy和基本模塊之外，AES CTR 加密算法生成隨機數也很快，但是並不能有比較方便的方式控制每次生成的一樣。參見以下reference。

tensorflow 和 pytorch 也都有大規模生成隨機tensor的方式。性能待考。

1. 超快生成隨機數的方式CSDN博客

2. tensorflow 生成隨機tensor

Python怎麼做最優化

一、概觀scipy中的optimize子包中提供了常用的最優化算法函數實現。我們可以直接調用這些函數完成我們的優化問題。optimize中函數最典型的特點就是能夠從函數名稱上看出是使用了什麼算法。下面optimize包中函數的概覽：1.非線性最優化fmin — 簡單Nelder-Mead算法fmin_powell — 改進型Powell法fmin_bfgs — 擬Newton法fmin_cg — 非線性共軛梯度法fmin_ncg — 線性搜索Newton共軛梯度法leastsq — 最小二乘2.有約束的多元函數問題fmin_l_bfgs_b —使用L-BFGS-B算法fmin_tnc —梯度信息fmin_cobyla —線性逼近fmin_slsqp —序列最小二乘法nnls —解|| Ax – b ||_2 for x=03.全局優化anneal —模擬退火算法brute –強力法4.標量函數fminboundbrentgoldenbracket5.擬合curve_fit– 使用非線性最小二乘法擬合6.標量函數求根brentq —classic Brent (1973)brenth —A variation on the classic Brent（1980）ridder —Ridder是提出這個算法的人名bisect —二分法newton —牛頓法fixed_point7.多維函數求根fsolve —通用broyden1 —Broyden’s first Jacobian approximation.broyden2 —Broyden’s second Jacobian approximationnewton_krylov —Krylov approximation for inverse Jacobiananderson —extended Anderson mixingexcitingmixing —tuned diagonal Jacobian approximationlinearmixing —scalar Jacobian approximationdiagbroyden —diagonal Broyden Jacobian approximation8.實用函數line_search —找到滿足強Wolfe的alpha值check_grad —通過和前向有限差分逼近比較檢查梯度函數的正確性二、實戰非線性最優化fmin完整的調用形式是：fmin(func, x0, args=(), xtol=0.0001, ftol=0.0001, maxiter=None, maxfun=None, full_output=0, disp=1, retall=0, callback=None)不過我們最常使用的就是前兩個參數。一個描述優化問題的函數以及初值。後面的那些參數我們也很容易理解。如果您能用到，請自己研究。下面研究一個最簡單的問題，來感受這個函數的使用方法：f(x)=x**2-4*x+8，我們知道，這個函數的最小值是4，在x=2的時候取到。from scipy.optimize import fmin #引入優化包def myfunc(x):return x**2-4*x+8 #定義函數x0 = [1.3] #猜一個初值xopt = fmin(myfunc, x0) #求解print xopt #打印結果運行之後，給出的結果是：Optimization terminated successfully.Current function value: 4.000000Iterations: 16Function evaluations: 32[ 2.00001953]程序準確的計算得出了最小值，不過最小值點並不是嚴格的2，這應該是由二進制機器編碼誤差造成的。除了fmin_ncg必須提供梯度信息外，其他幾個函數的調用大同小異，完全類似。我們不妨做一個對比：from scipy.optimize import fmin,fmin_powell,fmin_bfgs,fmin_cgdef myfunc(x):return x**2-4*x+8×0 = [1.3]xopt1 = fmin(myfunc, x0)print xopt1printxopt2 = fmin_powell(myfunc, x0)print xopt2printxopt3 = fmin_bfgs(myfunc, x0)print xopt3printxopt4 = fmin_cg(myfunc,x0)print xopt4給出的結果是：Optimization terminated successfully.Current function value: 4.000000Iterations: 16Function evaluations: 32[ 2.00001953]Optimization terminated successfully.Current function value: 4.000000Iterations: 2Function evaluations: 531.99999999997Optimization terminated successfully.Current function value: 4.000000Iterations: 2Function evaluations: 12Gradient evaluations: 4[ 2.00000001]Optimization terminated successfully.Current function value: 4.000000Iterations: 2Function evaluations: 15Gradient evaluations: 5[ 2.]我們可以根據給出的消息直觀的判斷算法的執行情況。每一種算法數學上的問題，請自己看書學習。個人感覺，如果不是純研究數學的工作，沒必要搞清楚那些推導以及定理云云。不過，必須了解每一種算法的優劣以及能力所及。在使用的時候，不妨多種算法都使用一下，看看效果分別如何，同時，還可以互相印證算法失效的問題。在from scipy.optimize import fmin之後，就可以使用help(fmin)來查看fmin的幫助信息了。幫助信息中沒有例子，但是給出了每一個參數的含義說明，這是調用函數時候的最有價值參考。有源碼研究癖好的，或者當你需要改進這些已經實現的算法的時候，可能需要查看optimize中的每種算法的源代碼。在這裡：https:/ / github. com/scipy/scipy/blob/master/scipy/optimize/optimize.py聰明的你肯定發現了，順着這個鏈接往上一級、再往上一級，你會找到scipy的幾乎所有源碼！

優化Python爬蟲速度的方法有哪些

很多爬蟲工作者都遇到過抓取非常慢的問題，尤其是需要採集大量數據的情況下。那麼如何提高爬蟲採集效率就十分關鍵，那一塊了解如何提高爬蟲採集效率問題。

1.儘可能減少網站訪問次數

單次爬蟲的主要把時間消耗在網絡請求等待響應上面，所以能減少網站訪問就減少網站訪問，既減少自身的工作量，也減輕網站的壓力，還降低被封的風險。

第一步要做的就是流程優化，盡量精簡流程，避免在多個頁面重複獲取。

隨後去重，同樣是十分重要的手段，一般根據url或者id進行唯一性判別，爬過的就不再繼續爬了。

2.分布式爬蟲

即便把各種法子都用盡了，單機單位時間內能爬的網頁數仍是有限的，面對大量的網頁頁面隊列，可計算的時間仍是很長，這種情況下就必須要用機器換時間了，這就是分布式爬蟲。

第一步，分布式並不是爬蟲的本質，也並不是必須的，對於互相獨立、不存在通信的任務就可手動對任務分割，隨後在多個機器上各自執行，減少每台機器的工作量，費時就會成倍減少。

例如有200W個網頁頁面待爬，可以用5台機器各自爬互不重複的40W個網頁頁面，相對來說單機費時就縮短了5倍。

可是如果存在着需要通信的狀況，例如一個變動的待爬隊列，每爬一次這個隊列就會發生變化，即便分割任務也就有交叉重複，因為各個機器在程序運行時的待爬隊列都不一樣了——這種情況下只能用分布式，一個Master存儲隊列，其他多個Slave各自來取，這樣共享一個隊列，取的情況下互斥也不會重複爬取。IPIDEA提供高匿穩定的IP同時更注重用戶隱私的保護，保障用戶的信息安全。含有240＋國家地區的ip，支持API批量使用，支持多線程高並發使用。