python一些技巧總結,python 技巧總結

本文目錄一覽：

• 1、可以讓你快速用Python進行數據分析的10個小技巧
• 2、「乾貨」讓Python性能起飛的15個技巧，你知道幾個呢？
• 3、Python元組常用操作小技巧
• 4、Python編程常用技巧
• 5、Python中的7個實用小技巧！
• 6、滿滿乾貨！20個Python使用的小技巧

可以讓你快速用Python進行數據分析的10個小技巧

一些小提示和小技巧可能是非常有用的，特別是在編程領域。有時候使用一點點黑客技術，既可以節省時間，還可能挽救「生命」。

一個小小的快捷方式或附加組件有時真是天賜之物，並且可以成為真正的生產力助推器。所以，這裡有一些小提示和小技巧，有些可能是新的，但我相信在下一個數據分析項目中會讓你非常方便。

Pandas中數據框數據的Profiling過程

Profiling（分析器）是一個幫助我們理解數據的過程，而Pandas Profiling是一個Python包，它可以簡單快速地對Pandas 的數據框數據進行 探索 性數據分析。

Pandas中df.describe()和df.info()函數可以實現EDA過程第一步。但是，它們只提供了對數據非常基本的概述，對於大型數據集沒有太大幫助。 而Pandas中的Profiling功能簡單通過一行代碼就能顯示大量信息，且在互動式HTML報告中也是如此。

對於給定的數據集，Pandas中的profiling包計算了以下統計信息：

由Pandas Profiling包計算出的統計信息包括直方圖、眾數、相關係數、分位數、描述統計量、其他信息——類型、單一變數值、缺失值等。

安裝

用pip安裝或者用conda安裝

pip install pandas-profiling

conda install -c anaconda pandas-profiling

用法

下面代碼是用很久以前的泰坦尼克數據集來演示多功能Python分析器的結果。

#importing the necessary packages

import pandas as pd

import pandas_profiling

df = pd.read_csv(‘titanic/train.csv’)

pandas_profiling.ProfileReport(df)

一行代碼就能實現在Jupyter Notebook中顯示完整的數據分析報告，該報告非常詳細，且包含了必要的圖表信息。

還可以使用以下代碼將報告導出到互動式HTML文件中。

profile = pandas_profiling.ProfileReport(df)

profile.to_file(outputfile=”Titanic data profiling.html”)

Pandas實現互動式作圖

Pandas有一個內置的.plot（）函數作為DataFrame類的一部分。但是，使用此功能呈現的可視化不是互動式的，這使得它沒那麼吸引人。同樣，使用pandas.DataFrame.plot（）函數繪製圖表也不能實現交互。 如果我們需要在不對代碼進行重大修改的情況下用Pandas繪製互動式圖表怎麼辦呢？這個時候就可以用Cufflinks庫來實現。

Cufflinks庫可以將有強大功能的plotly和擁有靈活性的pandas結合在一起，非常便於繪圖。下面就來看在pandas中如何安裝和使用Cufflinks庫。

安裝

pip install plotly

# Plotly is a pre-requisite before installing cufflinks

pip install cufflinks

用法

#importing Pandas

import pandas as pd

#importing plotly and cufflinks in offline mode

import cufflinks as cf

import plotly.offline

cf.go_offline()

cf.set_config_file(offline=False, world_readable=True)

是時候展示泰坦尼克號數據集的魔力了。

df.iplot()

df.iplot() vs df.plot()

右側的可視化顯示了靜態圖表，而左側圖表是互動式的，更詳細，並且所有這些在語法上都沒有任何重大更改。

Magic命令

Magic命令是Jupyter notebook中的一組便捷功能，旨在解決標準數據分析中的一些常見問題。使用命令％lsmagic可以看到所有的可用命令。

所有可用的Magic命令列表

Magic命令有兩種：行magic命令（line magics），以單個％字元為前綴，在單行輸入操作；單元magic命令（cell magics），以雙%%字元為前綴，可以在多行輸入操作。如果設置為1，則不用鍵入%即可調用Magic函數。

接下來看一些在常見數據分析任務中可能用到的命令：

% pastebin

％pastebin將代碼上傳到Pastebin並返回url。Pastebin是一個在線內容託管服務，可以存儲純文本，如源代碼片段，然後通過url可以與其他人共享。事實上，Github gist也類似於pastebin，只是有版本控制。

在file.py文件中寫一個包含以下內容的python腳本，並試著運行看看結果。

#file.py

def foo(x):

return x

在Jupyter Notebook中使用％pastebin生成一個pastebin url。

%matplotlib notebook

函數用於在Jupyter notebook中呈現靜態matplotlib圖。用notebook替換inline，可以輕鬆獲得可縮放和可調整大小的繪圖。但記得這個函數要在導入matplotlib庫之前調用。

%run

用％run函數在notebook中運行一個python腳本試試。

%run file.py

%%writefile

%% writefile是將單元格內容寫入文件中。以下代碼將腳本寫入名為foo.py的文件並保存在當前目錄中。

%%latex

%%latex函數將單元格內容以LaTeX形式呈現。此函數對於在單元格中編寫數學公式和方程很有用。

查找並解決錯誤

互動式調試器也是一個神奇的功能，我把它單獨定義了一類。如果在運行代碼單元時出現異常，請在新行中鍵入％debug並運行它。 這將打開一個互動式調試環境，它能直接定位到發生異常的位置。還可以檢查程序中分配的變數值，並在此處執行操作。退出調試器單擊q即可。

Printing也有小技巧

如果您想生成美觀的數據結構，pprint是首選。它在列印字典數據或JSON數據時特別有用。接下來看一個使用print和pprint來顯示輸出的示例。

讓你的筆記脫穎而出

我們可以在您的Jupyter notebook中使用警示框/注釋框來突出顯示重要內容或其他需要突出的內容。注釋的顏色取決於指定的警報類型。只需在需要突出顯示的單元格中添加以下任一代碼或所有代碼即可。

藍色警示框：信息提示

p class=”alert alert-block alert-info”

bTip:/b Use blue boxes (alert-info) for tips and notes.

If it』s a note, you don』t have to include the word 「Note」.

/p

黃色警示框：警告

p class=”alert alert-block alert-warning”

bExample:/b Yellow Boxes are generally used to include additional examples or mathematical formulas.

/p

綠色警示框：成功

p class=”alert alert-block alert-success”

Use green box only when necessary like to display links to related content.

/p

紅色警示框：高危

p class=”alert alert-block alert-danger”

It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

/p

列印單元格所有代碼的輸出結果

假如有一個Jupyter Notebook的單元格，其中包含以下代碼行：

In [1]: 10+5

11+6

Out [1]: 17

單元格的正常屬性是只列印最後一個輸出，而對於其他輸出，我們需要添加print()函數。然而通過在notebook頂部添加以下代碼段可以一次列印所有輸出。

添加代碼後所有的輸出結果就會一個接一個地列印出來。

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

恢復原始設置：

InteractiveShell.ast_node_interactivity = “last_expr”

使用’i’選項運行python腳本

從命令行運行python腳本的典型方法是：python hello.py。但是，如果在運行相同的腳本時添加-i，例如python -i hello.py，就能提供更多優勢。接下來看看結果如何。

首先，即使程序結束，python也不會退出解釋器。因此，我們可以檢查變數的值和程序中定義的函數的正確性。

其次，我們可以輕鬆地調用python調試器，因為我們仍然在解釋器中：

import pdb

pdb.pm()

這能定位異常發生的位置，然後我們可以處理異常代碼。

自動評論代碼

Ctrl / Cmd + /自動注釋單元格中的選定行，再次命中組合將取消注釋相同的代碼行。

刪除容易恢復難

你有沒有意外刪除過Jupyter notebook中的單元格？如果答案是肯定的，那麼可以掌握這個撤消刪除操作的快捷方式。

如果您刪除了單元格的內容，可以通過按CTRL / CMD + Z輕鬆恢復它。

如果需要恢復整個已刪除的單元格，請按ESC + Z或EDIT撤消刪除單元格。

結論

在本文中，我列出了使用Python和Jupyter notebook時收集的一些小提示。我相信它們會對你有用，能讓你有所收穫，從而實現輕鬆編碼！

「乾貨」讓Python性能起飛的15個技巧，你知道幾個呢？

前言

Python 一直以來被大家所詬病的一點就是執行速度慢，但不可否認的是 Python 依然是我們學習和工作中的一大利器。本文總結了15個tips有助於提升 Python 執行速度、優化性能。

關於 Python 如何精確地測量程序的執行時間，這個問題看起來簡單其實很複雜，因為程序的執行時間受到很多因素的影響，例如操作系統、Python 版本以及相關硬體（CPU 性能、內存讀寫速度）等。在同一台電腦上運行相同版本的語言時，上述因素就是確定的了，但是程序的睡眠時間依然是變化的，且電腦上正在運行的其他程序也會對實驗有干擾，因此嚴格來說這就是實驗不可重複。

我了解到的關於計時比較有代表性的兩個庫就是 time 和 timeit 。

其中， time 庫中有 time() 、 perf_counter() 以及 process_time() 三個函數可用來計時（以秒為單位），加後綴 _ns 表示以納秒計時（自 Python3.7 始）。在此之前還有 clock() 函數，但是在 Python3.3 之後被移除了。上述三者的區別如下：

與 time 庫相比， timeit 有兩個優點：

timeit.timeit(stmt=’pass’, setup=’pass’, timer= , number=1000000, globals=None) 參數說明：

本文所有的計時均採用 timeit 方法，且採用默認的執行次數一百萬次。

為什麼要執行一百萬次呢？因為我們的測試程序很短，如果不執行這麼多次的話，根本看不出差距。

Exp1：將字元串數組中的小寫字母轉為大寫字母。

測試數組為 oldlist = [‘life’, ‘is’, ‘short’, ‘i’, ‘choose’, ‘python’]。

方法一

方法二

方法一耗時 0.5267724000000005s ，方法二耗時 0.41462569999999843s ，性能提升 21.29%

Exp2：求兩個 list 的交集。

測試數組：a = [1,2,3,4,5]，b = [2,4,6,8,10]。

方法一

方法二

方法一耗時 0.9507264000000006s ，方法二耗時 0.6148200999999993s ，性能提升 35.33%

關於 set() 的語法： | 、 、 – 分別表示求並集、交集、差集。

我們可以通過多種方式對序列進行排序，但其實自己編寫排序演算法的方法有些得不償失。因為內置的 sort() 或 sorted() 方法已經足夠優秀了，且利用參數 key 可以實現不同的功能，非常靈活。二者的區別是 sort() 方法僅被定義在 list 中，而 sorted() 是全局方法對所有的可迭代序列都有效。

Exp3：分別使用快排和 sort() 方法對同一列表排序。

測試數組：lists = [2,1,4,3,0]。

方法一

方法二

方法一耗時 2.4796975000000003s ，方法二耗時 0.05551999999999424s ，性能提升 97.76%

順帶一提， sorted() 方法耗時 0.1339823999987857s 。

可以看出， sort() 作為 list 專屬的排序方法還是很強的， sorted() 雖然比前者慢一點，但是勝在它「不挑食」，它對所有的可迭代序列都有效。

擴展 ：如何定義 sort() 或 sorted() 方法的 key

1.通過 lambda 定義

2.通過 operator 定義

operator 的 itemgetter() 適用於普通數組排序， attrgetter() 適用於對象數組排序

3.通過 cmp_to_key() 定義，最為靈活

Exp4：統計字元串中每個字元出現的次數。

測試數組：sentence=’life is short, i choose python’。

方法一

方法二

方法一耗時 2.8105250000000055s ，方法二耗時 1.6317423000000062s ，性能提升 41.94%

列表推導（list comprehension）短小精悍。在小代碼片段中，可能沒有太大的區別。但是在大型開發中，它可以節省一些時間。

Exp5：對列表中的奇數求平方，偶數不變。

測試數組：oldlist = range(10)。

方法一

方法二

方法一耗時 1.5342976000000021s ，方法二耗時 1.4181957999999923s ，性能提升 7.57%

大多數人都習慣使用 + 來連接字元串。但其實，這種方法非常低效。因為， + 操作在每一步中都會創建一個新字元串並複製舊字元串。更好的方法是用 join() 來連接字元串。關於字元串的其他操作，也盡量使用內置函數，如 isalpha() 、 isdigit() 、 startswith() 、 endswith() 等。

Exp6：將字元串列表中的元素連接起來。

測試數組：oldlist = [‘life’, ‘is’, ‘short’, ‘i’, ‘choose’, ‘python’]。

方法一

方法二

方法一耗時 0.27489080000000854s ，方法二耗時 0.08166570000000206s ，性能提升 70.29%

join 還有一個非常舒服的點，就是它可以指定連接的分隔符，舉個例子

life//is//short//i//choose//python

Exp6：交換x，y的值。

測試數據：x, y = 100, 200。

方法一

方法二

方法一耗時 0.027853900000010867s ，方法二耗時 0.02398730000000171s ，性能提升 13.88%

在不知道確切的循環次數時，常規方法是使用 while True 進行無限循環，在代碼塊中判斷是否滿足循環終止條件。雖然這樣做沒有任何問題，但 while 1 的執行速度比 while True 更快。因為它是一種數值轉換，可以更快地生成輸出。

Exp8：分別用 while 1 和 while True 循環 100 次。

方法一

方法二

方法一耗時 3.679268300000004s ，方法二耗時 3.607847499999991s ，性能提升 1.94%

將文件存儲在高速緩存中有助於快速恢復功能。Python 支持裝飾器緩存，該緩存在內存中維護特定類型的緩存，以實現最佳軟體驅動速度。我們使用 lru_cache 裝飾器來為斐波那契函數提供緩存功能，在使用 fibonacci 遞歸函數時，存在大量的重複計算，例如 fibonacci(1) 、 fibonacci(2) 就運行了很多次。而在使用了 lru_cache 後，所有的重複計算只會執行一次，從而大大提高程序的執行效率。

Exp9：求斐波那契數列。

測試數據：fibonacci(7)。

方法一

方法二

方法一耗時 3.955014900000009s ，方法二耗時 0.05077979999998661s ，性能提升 98.72%

注意事項：

我被執行了（執行了兩次 demo(1, 2) ，卻只輸出一次）

functools.lru_cache(maxsize=128, typed=False) 的兩個可選參數：

點運算符( . )用來訪問對象的屬性或方法，這會引起程序使用 __getattribute__() 和 __getattr__() 進行字典查找，從而帶來不必要的開銷。尤其注意，在循環當中，更要減少點運算符的使用，應該將它移到循環外處理。

這啟發我們應該盡量使用 from … import … 這種方式來導包，而不是在需要使用某方法時通過點運算符來獲取。其實不光是點運算符，其他很多不必要的運算我們都盡量移到循環外處理。

Exp10：將字元串數組中的小寫字母轉為大寫字母。

測試數組為 oldlist = [‘life’, ‘is’, ‘short’, ‘i’, ‘choose’, ‘python’]。

方法一

方法二

方法一耗時 0.7235491999999795s ，方法二耗時 0.5475435999999831s ，性能提升 24.33%

當我們知道具體要循環多少次時，使用 for 循環比使用 while 循環更好。

Exp12：使用 for 和 while 分別循環 100 次。

方法一

方法二

方法一耗時 3.894683299999997s ，方法二耗時 1.0198077999999953s ，性能提升 73.82%

Numba 可以將 Python 函數編解碼為機器碼執行，大大提高代碼執行速度，甚至可以接近 C 或 FORTRAN 的速度。它能和 Numpy 配合使用，在 for 循環中或存在大量計算時能顯著地提高執行效率。

Exp12：求從 1 加到 100 的和。

方法一

方法二

方法一耗時 3.7199997000000167s ，方法二耗時 0.23769430000001535s ，性能提升 93.61%

矢量化是 NumPy 中的一種強大功能，可以將操作表達為在整個數組上而不是在各個元素上發生。這種用數組表達式替換顯式循環的做法通常稱為矢量化。

在 Python 中循環數組或任何數據結構時，會涉及很多開銷。NumPy 中的向量化操作將內部循環委託給高度優化的 C 和 Fortran 函數，從而使 Python 代碼更加快速。

Exp13：兩個長度相同的序列逐元素相乘。

測試數組：a = [1,2,3,4,5], b = [2,4,6,8,10]

方法一

方法二

方法一耗時 0.6706845000000214s ，方法二耗時 0.3070132000000001s ，性能提升 54.22%

若要檢查列表中是否包含某成員，通常使用 in 關鍵字更快。

Exp14：檢查列表中是否包含某成員。

測試數組：lists = [‘life’, ‘is’, ‘short’, ‘i’, ‘choose’, ‘python’]

方法一

方法二

方法一耗時 0.16038449999999216s ，方法二耗時 0.04139250000000061s ，性能提升 74.19%

itertools 是用來操作迭代器的一個模塊，其函數主要可以分為三類：無限迭代器、有限迭代器、組合迭代器。

Exp15：返回列表的全排列。

測試數組：[“Alice”, “Bob”, “Carol”]

方法一

方法二

方法一耗時 3.867292899999484s ，方法二耗時 0.3875405000007959s ，性能提升 89.98%

根據上面的測試數據，我繪製了下面這張實驗結果圖，可以更加直觀的看出不同方法帶來的性能差異。

從圖中可以看出，大部分的技巧所帶來的性能增幅還是比較可觀的，但也有少部分技巧的增幅較小（例如編號5、7、8，其中，第 8 條的兩種方法幾乎沒有差異）。

總結下來，我覺得其實就是下面這兩條原則：

內置庫函數由專業的開發人員編寫並經過了多次測試，很多庫函數的底層是用 C 語言開發的。因此，這些函數總體來說是非常高效的（比如 sort() 、 join() 等），自己編寫的方法很難超越它們，還不如省省功夫，不要重複造輪子了，何況你造的輪子可能更差。所以，如果函數庫中已經存在該函數，就直接拿來用。

有很多優秀的第三方庫，它們的底層可能是用 C 和 Fortran 來實現的，像這樣的庫用起來絕對不會吃虧，比如前文提到的 Numpy 和 Numba，它們帶來的提升都是非常驚人的。類似這樣的庫還有很多，比如Cython、PyPy等，這裡我只是拋磚引玉。

原文鏈接：

Python元組常用操作小技巧

所以這篇文章，我們先來回顧和總結Python數據結構里常用操作。Python中常見的數據結構可以統稱為容器（container）。序列（如列表和元組）、映射（如字典）以及集合（set）是三類主要的容器。而扁平序列如str、bytes、bytearray、memoryview 和 array.array等不在這篇文章的討論範圍內。

在此，我們先從元組開始說起。

元組區別於列表的顯著特徵之一就是它不能被修改，但其另外一個作用就是 用於沒有欄位名的記錄 [1] 。因為後者經常被忽略，我們先來看看元組作為記錄的作用。

使用括弧就可以定義一個元組。元組中的每個元素都存放了記錄中一個欄位的數據，外加這個欄位的位置。正是這個位置信息給數據賦予了意義。下面的例子中，元組就被當作記錄加以利用：

輸出為：

上述for循環中的操作提取了元組中的元素，也叫作拆包（unpacking）。平行賦值是對元組拆包很好的應用，示例如下：

還有一個經典而優雅的應用是交換變數的值：

用 * 運算符把一個可迭代對象拆開作為函數的參數，例如Python的內置函數pmod接收兩個數字類型的參數，返回商和餘數。以下範例將使用 * 將元組傳入函數。

輸出為：

有些函數有多個返回值，將其賦給一個變數時，變數類型即是元組：

輸出為：

zip是Python的內置函數，能夠接收兩個或多個序列，並組成一個元組列表，在Python3中會返回一個迭代器，如下所示：

輸出為：

元組當然也支持一些常規操作，如對於元組 a = (1, ‘y’, 5, 5, ‘x’) ：

上述內容不僅涵蓋了元組的基本操作，同時也結合了實際工作中常搭配使用的其他函數、運算符等。在回顧這些知識時主要參考了兩本經典的Python編程書籍：《流暢的Python》和《像計算機科學家一樣思考Python》，有興趣的朋友可以深入閱讀！

希望這篇文章對你有幫助，下回將總結Python列表的使用技巧。

[1]《流暢的Python》:

Python編程常用技巧

清理用戶輸入

對輸入的的值進行清理處理，是常見的程序要求。比如要做大小寫轉化、要驗證輸入字元的注入，通常可以通過寫正則用Regex來做專項任務。但是對於複雜的情況，可以用一些技巧，比如下面：

user_input = “This\nstring has\tsome whitespaces…\r\n”

character_map = {

ord(‘\n’) : ‘ ‘,

ord(‘\t’) : ‘ ‘,

ord(‘\r’) : None

}

在此示例中，可以看到空格字元”\n”和”\t”都被替換為空格，而 “\r”被刪除。

這是一個簡單的示例，我們還可以使用unicodedata包和combinin()函數來生成大的映射表,以生成映射來替換字元串。

提示用戶輸入

命令行工具或腳本需要輸入用戶名和密碼才能操作。要用這個功能，一個很有用的技巧是使用getpass模塊：

import getpass

user = getpass.getuser()

password = getpass.getpass()

這三行代碼就可以讓我們優雅的交互提醒用戶輸入輸入密碼並捕獲當前的系統用戶和輸入的密碼，而且輸入密碼時候會自動屏蔽顯示，以防止被人竊取。

查找字元串頻率

如果需要使用查找類似於某些輸入字元串的單詞，可以使用difflib來實現：

import difflib

difflib.get_close_matches(‘appel’, [‘ape’, ‘apple’, ‘peach’, ‘puppy’], n=2)

# 返回[‘apple’, ‘ape’]

difflib.get_close_matches會查找相似度最匹配的字串。本例中，第一個參數與第二個參數匹配。提供可選參數n，該參數指定要返回的最大匹配數，以及參數cutoff(默認值為0.6)設置為thr確定匹配字元串的分數。

關於Python編程常用技巧，青藤小編就和您分享到這裡了。如果您對python編程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於python編程的技巧及素材等內容，可以點擊本站的其他文章進行學習。

Python中的7個實用小技巧！

「相對來說，Python的技巧是比較少見的，但是非常實用。」

Talk is cheap show me the code、

1、交換兩個值

2.、列表中所有元素合成一個字元串

3. 列表中所有元素合成一個字元串

4. 檢查兩個字元串是否所用的字母及其個數都一樣

5. 反轉字元串

6. 反轉列表

7. 二維數組轉換

若有不明白的地方，請移步Python視頻教程繼續學習！！

滿滿乾貨！20個Python使用的小技巧

本節對一些 Python 易混淆的操作進行對比。

1.1 有放回隨機採樣和無放回隨機採樣

1.2 lambda 函數的參數

1.3 copy 和 deepcopy

複製和變數別名結合在一起時，容易混淆：

對別名的修改會影響原變數，（淺）複製中的元素是原列表中元素的別名，而深層複製是遞歸地進行複製，對深層複製的修改不影響原變數。

1.4 == 和 is

1.5 判斷類型

1.6 字元串搜索

1.7 List 後向索引

這個只是習慣問題，前向索引時下標從0開始，如果反向索引也想從0開始可以使用~。

2.1 讀寫 CSV 文件

注意，當 CSV 文件過大時會報錯：_csv.Error: field larger than field limit (131072)，通過修改上限解決

csv 還可以讀以 分割的數據

2.2 迭代器工具

itertools 重新定義了很多迭代器工具，例如子序列工具：

序列排序：

多個序列合併：

2.3 計數器

計數器可以統計一個可迭代對象中每個元素出現的次數。

2.4 帶默認值的 Dict

當訪問不存在的 Key 時，defaultdict 會將其設置為某個默認值。

2.5 有序 Dict

3.1 輸出錯誤和警告信息

向標準錯誤輸出信息

輸出警告信息

控制警告消息的輸出

3.2 代碼中測試

有時為了調試，我們想在代碼中加一些代碼，通常是一些 print 語句，可以寫為：

一旦調試結束，通過在命令行執行 -O 選項，會忽略這部分代碼：

3.3 代碼風格檢查

使用 pylint 可以進行不少的代碼風格和語法檢查，能在運行之前發現一些錯誤

3.4 代碼耗時

耗時測試

測試某代碼塊耗時

代碼耗時優化的一些原則

4.1 argmin 和 argmax

argmax同理。

4.2 轉置二維列表

4.3 一維列表展開為二維列表