包含處理缺失值的python代碼的詞條

本文目錄一覽：

• 1、缺失值處理
• 2、python中利用pandas怎麼處理預設值
• 3、如何使用Python 對缺失值進行處理
• 4、python填充缺失值

缺失值處理

 缺失數據 

1 缺失值的統計和刪除 

1.1 缺失信息的統計

缺失數據可以使用 isna 或 isnull （兩個函數沒有區別）來查看每個單元格是否缺失，通過和 sum 的組合可以計算出每列缺失值的比例。

如果想要查看某一列缺失或者非缺失的行，可以利用 Series 上的 isna 或者 notna 進行布爾索引。例如，查看身高缺失的行：

如果想要同時對幾個列，檢索出全部為缺失或者至少有一個缺失或者沒有缺失的行，可以使用 isna, notna 和any, all 的組合。例如，對身高、體重和轉系情況這 3 列分別進行這三種情況的檢索

1.2 缺失信息的刪除

數據處理中經常需要根據缺失值的大小、比例或其他特徵來進行行樣本或列特徵的刪除，pandas 中提供了dropna 函數來進行操作。

dropna 的主要參數為軸方向 axis （默認為 0，即刪除行）、刪除方式 how 、刪除的非缺失值個數閾值 thresh（非缺失值沒有達到這個數量的相應維度會被刪除）、備選的刪除子集 subset ，其中 how 主要有 any 和 all兩種參數可以選擇。

2 缺失值的填充和插值 

2.1 利用 fillna 進行填充 

在 fillna 中有三個參數是常用的：value, method, limit 。其中，value 為填充值，可以是標量，也可以是索引到元素的字典映射；method 為填充方法，有用前面的元素填充 ffill 和用後面的元素填充 bfill 兩種類型，limit 參數表示連續缺失值的最大填充次數。

2.2 插值函數 

在關於 interpolate 函數的 文檔 描述中，列舉了許多插值法，包括了大量 Scipy 中的方法。由於很多插值方法涉及到比較複雜的數學知識，因此這裡只討論比較常用且簡單的三類情況，即線性插值、最近鄰插值和索引插值。

對於 interpolate 而言，除了插值方法（默認為 linear 線性插值）之外，有與 fillna 類似的兩個常用參數，一個是控制方向的 limit_direction ，另一個是控制最大連續缺失值插值個數的 limit 。其中，限制插值的方向默認為 forward ，這與 fillna 的 method 中的 ffill 是類似的，若想要後向限制插值或者雙向限制插值可以指定為 backward 或 both

關於 polynomial 和 spline 插值的注意事項

在 interpolate 中 如 果 選 用 polynomial 的 插 值 方 法， 它 內 部 調 用 的 是scipy.interpolate.interp1d(*,*,kind=order) ， 這 個 函 數 內 部 調 用 的 是 make_interp_spline方法，因此其實是樣條插值而不是類似於 numpy 中的 polyfit 多項式擬合插值；而當選用 spline方法時，pandas 調用的是 scipy.interpolate.UnivariateSpline 而不是普通的樣條插值。這一部分的文檔描述比較混亂，而且這種參數的設計也是不合理的，當使用這兩類插值方法時，用戶一定要小心謹慎地根據自己的實際需求選取恰當的插值方法。

3 Nullable 類型

3.1 缺失記號及其缺陷

在 python 中的缺失值用 None 表示，該元素除了等於自己本身之外，與其他任何元素不相等：

在 numpy 中利用 np.nan 來表示缺失值，該元素除了不和其他任何元素相等之外，和自身的比較結果也返回False

值得注意的是，雖然在對缺失序列或表格的元素進行比較操作的時候，np.nan 的對應位置會返回 False ，但是在使用 equals 函數進行兩張表或兩個序列的相同性檢驗時，會自動跳過兩側表都是缺失值的位置，直接返回 True ：

在時間序列的對象中，pandas 利用 pd.NaT 來指代缺失值，它的作用和 np.nan 是一致的

那麼為什麼要引入 pd.NaT 來表示時間對象中的缺失呢？仍然以 np.nan 的形式存放會有什麼問題？在 pandas中可以看到 object 類型的對象，而 object 是一種混雜對象類型，如果出現了多個類型的元素同時存儲在 Series中，它的類型就會變成 object

NaT 問題的根源來自於 np.nan 的本身是一種浮點類型，而如果浮點和時間類型混合存儲，如果不設計新的內置缺失類型來處理，就會變成含糊不清的 object 類型，這顯然是不希望看到的。

同時，由於 np.nan 的浮點性質，如果在一個整數的 Series 中出現缺失，那麼其類型會轉變為 float64 ；而如果在一個布爾類型的序列中出現缺失，那麼其類型就會轉為 object 而不是 bool

因此，在進入 1.0.0 版本後，pandas 嘗試設計了一種新的缺失類型 pd.NA 以及三種 Nullable 序列類型來應對這些缺陷，它們分別是 Int, boolean 和 string 。

3.2 Nullable 類型的性質

從字面意義上看 Nullable 就是可空的，言下之意就是序列類型不受缺失值的影響。例如，在上述三個 Nullable類型中存儲缺失值，都會轉為 pandas 內置的 pd.NA

在 Int 的序列中，返回的結果會儘可能地成為 Nullable 的類型

對於 boolean 類型的序列而言，其和 bool 序列的行為主要有兩點區別：

第一點是帶有缺失的布爾列表無法進行索引器中的選擇，而 boolean 會把缺失值看作 False

第二點是在進行邏輯運算時，bool 類型在缺失處返回的永遠是 False ，而 boolean 會根據邏輯運算是否能確定唯一結果來返回相應的值。那什麼叫能否確定唯一結果呢？舉個簡單例子：True | pd.NA 中無論缺失值為什麼值，必然返回 True ；False | pd.NA 中的結果會根據缺失值取值的不同而變化，此時返回 pd.NA ；False pd.NA 中無論缺失值為什麼值，必然返回 False 。

3.3 缺失數據的計算和分組

當調用函數 sum, prob 使用加法和乘法的時候，缺失數據等價於被分別視作 0 和 1，即不改變原來的計算結果

當使用累計函數時，會自動跳過缺失值所處的位置：

當進行單個標量運算的時候，除了 np.nan ** 0 和 1 ** np.nan 這兩種情況為確定的值之外，所有運算結果全為缺失（pd.NA 的行為與此一致），並且 np.nan 在比較操作時一定返回 False ，而 pd.NA 返回 pd.NA

另外需要注意的是，diff, pct_change 這兩個函數雖然功能相似，但是對於缺失的處理不同，前者凡是參與缺失計算的部分全部設為了缺失值，而後者缺失值位置會被設為 0% 的變化率

對於一些函數而言，缺失可以作為一個類別處理，例如在 groupby, get_dummies 中可以設置相應的參數來進行增加缺失類別：

4 練習 

4.1 Ex1：缺失值與類別的相關性檢驗

.4.2 Ex2：用回歸模型解決分類問題

python中利用pandas怎麼處理預設值

null/None/NaN

null經常出現在資料庫中

None是Python中的缺失值，類型是NoneType

NaN也是python中的缺失值，意思是不是一個數字，類型是float

在pandas和Numpy中會將None替換為NaN，而導入資料庫中的時候則需要把NaN替換成None

找出空值

isnull()

notnull()

添加空值

numeric容器會把None轉換為NaN

In [20]: s = pd.Series([1, 2, 3])

In [21]: s.loc[0] = None

In [22]: s

Out[22]:

0 NaN

1 2.0

2 3.0

dtype: float641234567891012345678910

object容器會儲存None

In [23]: s = pd.Series([“a”, “b”, “c”])

In [24]: s.loc[0] = None

In [25]: s.loc[1] = np.nan

In [26]: s

Out[26]:

0 None

1 NaN

2 c

dtype: object123456789101112123456789101112

空值計算

arithmetic operations(數學計算)

NaN運算的結果是NaN

statistics and computational methods(統計計算)

NaN會被當成空置

GroupBy

在分組中會忽略空值

清洗空值

填充空值

fillna

DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)

參數

value : scalar, dict, Series, or DataFrame

method : {『backfill』, 『bfill』, 『pad』, 『ffill』, None}, default None(bfill使用後面的值填充,ffill相反）

axis : {0 or 『index』, 1 or 『columns』}

inplace : boolean, default False

limit : int, default None

downcast : dict, default is None

返回值

filled : DataFrame

Interpolation

replace

刪除空值行或列

DataFrame.dropna(axis=0, how=』any』, thresh=None, subset=None, inplace=False)

參數

axis : {0 or 『index』, 1 or 『columns』}, or tuple/list thereof

how : {『any』, 『all』}

thresh : int, default None

subset : array-like

inplace : boolean, default False

返回

dropped : DataFrame

如何使用Python 對缺失值進行處理

錄入的時候可以直接省略不錄入分析的時候也一般剔除這樣的樣本。但也有替換的方法，一般有：均值替換法(meanimputation)，即用其他個案中該變數觀測值的平均數對缺失的數據進行替換，但這種方法會產生有偏估計，所以並不被推崇。個別替換法(singleimputation)通常也被叫做回歸替換法(regressionimputation)，在該個案的其他變數值都是通過回歸估計得到的情況下，這種方法用缺失數據的條件期望值對它進行替換。這雖然是一個無偏估計，但是卻傾向於低估標準差和其他未知性質的測量值，而且這一問題會隨著缺失信息的增多而變得更加嚴重。多重替代法(multipleimputation)(Rubin,1977)。?它從相似情況中或根據後來在可觀測的數據上得到的預設數據的分布情況給每個預設數據賦予一個模擬值。結合這種方法，研究者可以比較容易地，在不捨棄任何數據的情況下對缺失數據的未知性質進行推斷(LittleandRubin,1987;ubin,1987,1996)。

python填充缺失值

對於大多數情況而言，fillna方法是最主要的函數。通過一個常數調用fillna就會將缺失值替換為那個常數值。

fillna(value)

參數：value

說明：用於填充缺失值的標量值或字典對象

#通過常數調用fillna

書寫方式：df.fillna(0) #用0替換缺失值

#通過字典調用fillna

書寫方式：df.fillna({1:0.5,3:-1})

fillna(value,inplace=True)

參數：inplace

說明：修改調用者對象而不產生副本

#總是返回被填充對象的引用

書寫方式：df.fillna(0,inplace=True)

fillna(method=ffill)

參數：method

說明：插值方式。如果函數調用時未指定其他參數的話，默認為「ffill」

對reindex有效的那些插值方法也可用於fillna：

In [23]: from numpy import nan as NA

In [21]: df=DataFrame(np.random.randn(6,3))

In [24]: df.ix[2:,1]=NA;df.ix[4:,2]=NA

In [25]: df

Out[25]:

0 1 2

0 -0.863925 1.005127 -0.529901

1 0.701671 -0.501728 -0.617387

2 -0.951060 NaN -0.263626

3 0.810230 NaN -0.277401

4 -0.403899 NaN NaN

5 -0.081091 NaN NaN

In [26]: df.fillna(method=’ffill’)

Out[26]:

0 1 2

0 -0.863925 1.005127 -0.529901

1 0.701671 -0.501728 -0.617387

2 -0.951060 -0.501728 -0.263626

3 0.810230 -0.501728 -0.277401

4 -0.403899 -0.501728 -0.277401

5 -0.081091 -0.501728 -0.277401

fillna(limit=2)

參數：limit

說明：（對於前向和後向填充）可以連續填充的最大數量

In [27]: df.fillna(method=’ffill’,limit=2)

Out[27]:

0 1 2

0 -0.863925 1.005127 -0.529901

1 0.701671 -0.501728 -0.617387

2 -0.951060 -0.501728 -0.263626

3 0.810230 -0.501728 -0.277401

4 -0.403899 NaN -0.277401

5 -0.081091 NaN -0.277401

fillna(data.mean())

只要稍微動動腦子，就可以利用fillna實現許多別的功能。比如說，可以傳入Series的平均值或中位數：

In [28]: data=Series([1,NA,3.5,NA,7])

In [29]: data.fillna(data.mean())