使用Pandas刪除空值的行

一、刪除空值的定義

空值是指在DataFrame中出現的缺失值，通常用「NaN」來表示。在數據探索和數據分析的過程中，發現數據中存在大量的空值會影響後續數據處理和分析的準確性，因此需要對空值進行處理。

二、pandas刪除空值函數介紹

Pandas中，可以使用dropna()函數來刪除含有空值的行或列。dropna()函數的默認參數是axis=0，即刪除行；若要刪除列，則需要指定axis=1。在使用dropna()函數時，我們還可以通過設置參數來實現更靈活的空值處理方式。

import pandas as pd
import numpy as np

# 創建含有空值的DataFrame
df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [np.nan, 5, 6]})

# 刪除含有空值的行
df.dropna(axis=0, inplace=True)

# 刪除含有空值的列
df.dropna(axis=1, inplace=True)

# 使用thresh參數，指定每行中至少要有幾個非空值才不被刪除
df.dropna(axis=0, thresh=2, inplace=True)

# 使用subset參數，指定要檢查空值的列
df.dropna(axis=0, subset=['A'], inplace=True)

三、如何處理空值

1. 刪除空值

最常見的空值處理方式是刪除含有空值的行或列，對於在數據清洗過程中發現的空值，刪除可能是最容易的處理方式。

# 創建含有空值的DataFrame
df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [np.nan, 5, 6]})

# 刪除含有空值的行
df.dropna(axis=0, inplace=True)

# 刪除含有空值的列
df.dropna(axis=1, inplace=True)

2. 填充空值

除了刪除空值，我們還可以採用填充的方式對空值進行處理。

(1) 填充為0

可以使用fillna()函數將空值填充為0。這種方法適合於處理數值型數據。

# 創建含有空值的DataFrame
df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [np.nan, 5, 6]})

# 填充空值為0
df.fillna(0, inplace=True)

(2) 平均值填充

針對連續型的數據，可以使用平均值進行填充，保證數據的完整性。

# 創建含有空值的DataFrame
df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [5, np.nan, 6]})

# 計算每列的平均值並填充空值
df.fillna(df.mean(), inplace=True)

(3) 填充為前一個非空值

如果所處理的空值的數據具有時間戳順序，那麼可以填充為空值前的那個非空值。

# 創建含有空值的DataFrame
df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [5, np.nan, 6]})

# 使用ffill()函數，填充為空值前的非空值
df.fillna(method='ffill', inplace=True)

四、空值處理小結

在數據探索和數據分析的過程中，空值處理是不可避免的一個環節。本文介紹了使用Pandas刪除空值的方法，以及填充空值的常用方法。在實際的數據處理和分析中，需要根據實際情況選擇相應的方法對空值進行處理，保證數據的完整性和準確性。