python技巧筆記（python自學筆記）

本文目錄一覽：

• 1、Python筆記：命令行參數解析
• 2、python自學筆記一 基礎輸出
• 3、Python元組常用操作小技巧
• 4、利用Python進行數據分析筆記：3.1數據結構
• 5、可以讓你快速用Python進行數據分析的10個小技巧

Python筆記：命令行參數解析

有些時候我們需要通過命令行將參數傳遞給腳本，C語言中有個getopt()方法，python中也有個類似的命令行參數解析方法getopt()。python也提供了比getopt()更簡潔的argparse方法。另外，sys模塊也可以實現簡單的參數解析，本文將對這3種命令行參數解析方法簡要介紹。

sys.argv是傳入的參數列表，sys.argv[0]是當前python腳本的名稱，sys.argv[1]表示第一個參數，以此類推。

命令行運行：

可以看到傳入的參數通過sys.argv來獲取，它就是一個參數列表。

python的getopt與C語言的的getopt()函數類似。相比於sys模塊，支持長參數和短參數，並對參數解析賦值。但它需要結合sys模塊進行參數解析，語法格式如下：

短參數為單個英文字母，如果必須賦值需要在後面加英文冒號( : )，長參數一般為字元串(相比短參數，更能說明參數含義)，如果必須賦值需要在後面加等號( = )。

命令行運行：

注意：短參數(options)和長參數(long_options)不需要一一對應，可以任意順序，也可以只有短參數或者只有長參數。

argparse模塊提供了很多可以設置的參數，例如參數的默認值，幫助消息，參數的數據類型等。argparse類主要包括ArgumentParser、add_argument和parse_args三個方法。

下面介紹這三個函數的使用方法。

argparse默認提供了 -h | –help 參數：

命令行運行：

下面列出部分參數：

下面來添加參數：

命令行運行：

parse_args() 方法用於解析參數，在前面的示例代碼中使用parse_args方法來提取參數值，對於無效或者錯誤的參數會列印錯誤信息和幫助信息：

命令行運行：

本文介紹了Python的三種命令行參數解析方法sys.argv、getopt和argparse，可以根據自己的需要進行選擇，getopt和argparse兩種方法相比來說，建議選擇argparse，代碼量更少更簡潔。更詳細的使用方法參考官方文檔：

–THE END–

python自學筆記一 基礎輸出

print(“我是python小白”)

終端輸出:我是python 。

此種寫法只用於了解print函數的作用，在程序中要輸出某個內容，一般採用變數的形式，即:

my=”小白”

print(“我是python％s。” ％ my)

終端輸出:我是python小白。

此處my為變數，小白是被賦值給變數my，並不是my等於變數。定義變數的好處是一個程序可以無限次數的使用它。定義變數還可以為:

a=b=c=2 ＃2同時賦值給a b c三個變數

a,b c=1,2,3 ＃a=1 b=2 c=3

注意:變數名區分大小寫，不能以數字開頭。

name,age,weight=”小白”,18,65.5

stuid=1

print(“我的名字是％s,我的年齡是％d,我的體重是％f公斤,我和學號是％d” ％ (name,age,weight,stuid))

終端輸出：我的名字是小白，我的年齡是18歲，我的體重是65.500000公斤，我的學號是1

print(“我的名字是％s,我的年齡是％d歲,我的體重是％.2f公斤，我的學號是％03d” ％(name,age,weight,stuid))

終端輸出：我的名字是小白，我的年齡是18歲，我的體重是65.50公斤，我的學號是001

printt(f”我的名字是{name}，我明年的年齡是{age 1}歲,我的體重是{weight}公斤，我的學號是00{stuid}”)

＃此種寫法為最常用的。

終端輸出：我的名字是小白，我明年的年齡是19歲，我的體重是65.5公斤，我的學號是001

％d 為整數型函數值 ％03d表示以3位整數顯示，不足的以0替代，超出的原樣顯示。

％f為小數型函數值％.2f表示只顯示小數點後兩位

％s為字元型函數值 字元串應以雙引或單引號括起。

Python元組常用操作小技巧

所以這篇文章，我們先來回顧和總結Python數據結構里常用操作。Python中常見的數據結構可以統稱為容器（container）。序列（如列表和元組）、映射（如字典）以及集合（set）是三類主要的容器。而扁平序列如str、bytes、bytearray、memoryview 和 array.array等不在這篇文章的討論範圍內。

在此，我們先從元組開始說起。

元組區別於列表的顯著特徵之一就是它不能被修改，但其另外一個作用就是 用於沒有欄位名的記錄 [1] 。因為後者經常被忽略，我們先來看看元組作為記錄的作用。

使用括弧就可以定義一個元組。元組中的每個元素都存放了記錄中一個欄位的數據，外加這個欄位的位置。正是這個位置信息給數據賦予了意義。下面的例子中，元組就被當作記錄加以利用：

輸出為：

上述for循環中的操作提取了元組中的元素，也叫作拆包（unpacking）。平行賦值是對元組拆包很好的應用，示例如下：

還有一個經典而優雅的應用是交換變數的值：

用 * 運算符把一個可迭代對象拆開作為函數的參數，例如Python的內置函數pmod接收兩個數字類型的參數，返回商和餘數。以下範例將使用 * 將元組傳入函數。

輸出為：

有些函數有多個返回值，將其賦給一個變數時，變數類型即是元組：

輸出為：

zip是Python的內置函數，能夠接收兩個或多個序列，並組成一個元組列表，在Python3中會返回一個迭代器，如下所示：

輸出為：

元組當然也支持一些常規操作，如對於元組 a = (1, ‘y’, 5, 5, ‘x’) ：

上述內容不僅涵蓋了元組的基本操作，同時也結合了實際工作中常搭配使用的其他函數、運算符等。在回顧這些知識時主要參考了兩本經典的Python編程書籍：《流暢的Python》和《像計算機科學家一樣思考Python》，有興趣的朋友可以深入閱讀！

希望這篇文章對你有幫助，下回將總結Python列表的使用技巧。

[1]《流暢的Python》:

利用Python進行數據分析筆記：3.1數據結構

元組是一種固定長度、不可變的Python對象序列。創建元組最簡單的辦法是用逗號分隔序列值：

tuple 函數將任意序列或迭代器轉換為元組：

中括弧 [] 可以獲取元組的元素， Python中序列索引從0開始 ：

元組一旦創建，各個位置上的對象是無法被修改的，如果元組的一個對象是可變的，例如列表，你可以在它內部進行修改：

可以使用 + 號連接元組來生成更長的元組：

元組乘以整數，則會和列表一樣，生成含有多份拷貝的元組：

將元組型的表達式賦值給變數，Python會對等號右邊的值進行拆包：

拆包的一個常用場景就是遍曆元組或列表組成的序列：

*rest 用於在函數調用時獲取任意長度的位置參數列表：

count 用於計量某個數值在元組中出現的次數：

列表的長度可變，內容可以修改。可以使用 [] 或者 list 類型函數來定義列表：

append 方法將元素添加到列表尾部：

insert 方法可以將元素插入到指定列表位置：

（ 插入位置範圍在0到列表長度之間 ）

pop 是 insert 的反操作，將特定位置的元素移除並返回：

remove 方法會定位第一個符合要求的值並移除它：

in 關鍵字可以檢查一個值是否在列表中；

not in 表示不在：

+ 號可以連接兩個列表：

extend 方法可以向該列表添加多個元素：

使用 extend 將元素添加到已經存在的列表是更好的方式，比 + 快。

sort 方法可以對列表進行排序：

key 可以傳遞一個用於生成排序值的函數，例如通過字元串的長度進行排序：

bisect.bisect 找到元素應當被插入的位置，返回位置信息

bisect.insort 將元素插入到已排序列表的相應位置保持序列排序

bisect 模塊的函數並不會檢查列表是否已經排序，因此對未排序列表使用bisect不會報錯，但是可能導致不正確結果

切片符號可以對大多數序列類型選取子集，基本形式是 [start:stop]

起始位置start索引包含，結束位置stop索引不包含

切片還可以將序列賦值給變數：

start和stop可以省略，默認傳入起始位置或結束位置，負索引可以從序列尾部進行索引：

步進值 step 可以在第二個冒號後面使用， 意思是每隔多少個數取一個值：

對列表或元組進行翻轉時，一種很聰明的用法時向步進值傳值-1：

dict(字典)可能是Python內建數據結構中最重要的，它更為常用的名字是 哈希表 或者 關聯數組 。

字典是鍵值對集合，其中鍵和值都是Python對象。

{} 是創建字典的一種方式，字典中用逗號將鍵值對分隔：

你可以訪問、插入或設置字典中的元素,:

in 檢查字典是否含有一個鍵：

del 或 pop 方法刪除值， pop 方法會在刪除的同時返回被刪的值，並刪除鍵：

update 方法將兩個字典合併：

update方法改變了字典元素位置，對於字典中已經存在的鍵，如果傳給update方法的數據也含有相同的鍵，則它的值將會被覆蓋。

字典的值可以是任何Python對象，但鍵必須是不可變的對象，比如標量類型（整數、浮點數、字元串）或元組（且元組內對象也必須是不可變對象）。

通過 hash 函數可以檢查一個對象是否可以哈希化（即是否可以用作字典的鍵）：

集合是一種無序且元素唯一的容器。

set 函數或者是用字面值集與大括弧，創建集合：

union 方法或 | 二元操作符獲得兩個集合的聯合即兩個集合中不同元素的並集：

intersection 方法或 操作符獲得交集即兩個集合中同時包含的元素：

常用的集合方法列表：

和字典類似，集合的元素必須是不可變的。如果想要包含列表型的元素，必須先轉換為元組：

可以讓你快速用Python進行數據分析的10個小技巧

一些小提示和小技巧可能是非常有用的，特別是在編程領域。有時候使用一點點黑客技術，既可以節省時間，還可能挽救「生命」。

一個小小的快捷方式或附加組件有時真是天賜之物，並且可以成為真正的生產力助推器。所以，這裡有一些小提示和小技巧，有些可能是新的，但我相信在下一個數據分析項目中會讓你非常方便。

Pandas中數據框數據的Profiling過程

Profiling（分析器）是一個幫助我們理解數據的過程，而Pandas Profiling是一個Python包，它可以簡單快速地對Pandas 的數據框數據進行 探索 性數據分析。

Pandas中df.describe()和df.info()函數可以實現EDA過程第一步。但是，它們只提供了對數據非常基本的概述，對於大型數據集沒有太大幫助。 而Pandas中的Profiling功能簡單通過一行代碼就能顯示大量信息，且在互動式HTML報告中也是如此。

對於給定的數據集，Pandas中的profiling包計算了以下統計信息：

由Pandas Profiling包計算出的統計信息包括直方圖、眾數、相關係數、分位數、描述統計量、其他信息——類型、單一變數值、缺失值等。

安裝

用pip安裝或者用conda安裝

pip install pandas-profiling

conda install -c anaconda pandas-profiling

用法

下面代碼是用很久以前的泰坦尼克數據集來演示多功能Python分析器的結果。

#importing the necessary packages

import pandas as pd

import pandas_profiling

df = pd.read_csv(‘titanic/train.csv’)

pandas_profiling.ProfileReport(df)

一行代碼就能實現在Jupyter Notebook中顯示完整的數據分析報告，該報告非常詳細，且包含了必要的圖表信息。

還可以使用以下代碼將報告導出到互動式HTML文件中。

profile = pandas_profiling.ProfileReport(df)

profile.to_file(outputfile=”Titanic data profiling.html”)

Pandas實現互動式作圖

Pandas有一個內置的.plot（）函數作為DataFrame類的一部分。但是，使用此功能呈現的可視化不是互動式的，這使得它沒那麼吸引人。同樣，使用pandas.DataFrame.plot（）函數繪製圖表也不能實現交互。 如果我們需要在不對代碼進行重大修改的情況下用Pandas繪製互動式圖表怎麼辦呢？這個時候就可以用Cufflinks庫來實現。

Cufflinks庫可以將有強大功能的plotly和擁有靈活性的pandas結合在一起，非常便於繪圖。下面就來看在pandas中如何安裝和使用Cufflinks庫。

安裝

pip install plotly

# Plotly is a pre-requisite before installing cufflinks

pip install cufflinks

用法

#importing Pandas

import pandas as pd

#importing plotly and cufflinks in offline mode

import cufflinks as cf

import plotly.offline

cf.go_offline()

cf.set_config_file(offline=False, world_readable=True)

是時候展示泰坦尼克號數據集的魔力了。

df.iplot()

df.iplot() vs df.plot()

右側的可視化顯示了靜態圖表，而左側圖表是互動式的，更詳細，並且所有這些在語法上都沒有任何重大更改。

Magic命令

Magic命令是Jupyter notebook中的一組便捷功能，旨在解決標準數據分析中的一些常見問題。使用命令％lsmagic可以看到所有的可用命令。

所有可用的Magic命令列表

Magic命令有兩種：行magic命令（line magics），以單個％字元為前綴，在單行輸入操作；單元magic命令（cell magics），以雙%%字元為前綴，可以在多行輸入操作。如果設置為1，則不用鍵入%即可調用Magic函數。

接下來看一些在常見數據分析任務中可能用到的命令：

% pastebin

％pastebin將代碼上傳到Pastebin並返回url。Pastebin是一個在線內容託管服務，可以存儲純文本，如源代碼片段，然後通過url可以與其他人共享。事實上，Github gist也類似於pastebin，只是有版本控制。

在file.py文件中寫一個包含以下內容的python腳本，並試著運行看看結果。

#file.py

def foo(x):

return x

在Jupyter Notebook中使用％pastebin生成一個pastebin url。

%matplotlib notebook

函數用於在Jupyter notebook中呈現靜態matplotlib圖。用notebook替換inline，可以輕鬆獲得可縮放和可調整大小的繪圖。但記得這個函數要在導入matplotlib庫之前調用。

%run

用％run函數在notebook中運行一個python腳本試試。

%run file.py

%%writefile

%% writefile是將單元格內容寫入文件中。以下代碼將腳本寫入名為foo.py的文件並保存在當前目錄中。

%%latex

%%latex函數將單元格內容以LaTeX形式呈現。此函數對於在單元格中編寫數學公式和方程很有用。

查找並解決錯誤

互動式調試器也是一個神奇的功能，我把它單獨定義了一類。如果在運行代碼單元時出現異常，請在新行中鍵入％debug並運行它。 這將打開一個互動式調試環境，它能直接定位到發生異常的位置。還可以檢查程序中分配的變數值，並在此處執行操作。退出調試器單擊q即可。

Printing也有小技巧

如果您想生成美觀的數據結構，pprint是首選。它在列印字典數據或JSON數據時特別有用。接下來看一個使用print和pprint來顯示輸出的示例。

讓你的筆記脫穎而出

我們可以在您的Jupyter notebook中使用警示框/注釋框來突出顯示重要內容或其他需要突出的內容。注釋的顏色取決於指定的警報類型。只需在需要突出顯示的單元格中添加以下任一代碼或所有代碼即可。

藍色警示框：信息提示

p class=”alert alert-block alert-info”

bTip:/b Use blue boxes (alert-info) for tips and notes.

If it』s a note, you don』t have to include the word 「Note」.

/p

黃色警示框：警告

p class=”alert alert-block alert-warning”

bExample:/b Yellow Boxes are generally used to include additional examples or mathematical formulas.

/p

綠色警示框：成功

p class=”alert alert-block alert-success”

Use green box only when necessary like to display links to related content.

/p

紅色警示框：高危

p class=”alert alert-block alert-danger”

It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

/p

列印單元格所有代碼的輸出結果

假如有一個Jupyter Notebook的單元格，其中包含以下代碼行：

In [1]: 10+5

11+6

Out [1]: 17

單元格的正常屬性是只列印最後一個輸出，而對於其他輸出，我們需要添加print()函數。然而通過在notebook頂部添加以下代碼段可以一次列印所有輸出。

添加代碼後所有的輸出結果就會一個接一個地列印出來。

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

恢復原始設置：

InteractiveShell.ast_node_interactivity = “last_expr”

使用’i’選項運行python腳本

從命令行運行python腳本的典型方法是：python hello.py。但是，如果在運行相同的腳本時添加-i，例如python -i hello.py，就能提供更多優勢。接下來看看結果如何。

首先，即使程序結束，python也不會退出解釋器。因此，我們可以檢查變數的值和程序中定義的函數的正確性。

其次，我們可以輕鬆地調用python調試器，因為我們仍然在解釋器中：

import pdb

pdb.pm()

這能定位異常發生的位置，然後我們可以處理異常代碼。

自動評論代碼

Ctrl / Cmd + /自動注釋單元格中的選定行，再次命中組合將取消注釋相同的代碼行。

刪除容易恢復難

你有沒有意外刪除過Jupyter notebook中的單元格？如果答案是肯定的，那麼可以掌握這個撤消刪除操作的快捷方式。

如果您刪除了單元格的內容，可以通過按CTRL / CMD + Z輕鬆恢復它。

如果需要恢復整個已刪除的單元格，請按ESC + Z或EDIT撤消刪除單元格。

結論

在本文中，我列出了使用Python和Jupyter notebook時收集的一些小提示。我相信它們會對你有用，能讓你有所收穫，從而實現輕鬆編碼！