Python Pandas的多個方面詳細分析

一、基礎數據結構

Python Pandas是一款用於數據操作和數據分析的高效Python庫。它的基礎數據結構是Series和DataFrame。Series是一維數據結構，類似於數組或列表，每個值都有相應的索引。DataFrame是二維數據結構，由多個Series組成，類似於表格或Excel電子表格，每個列都是一個Series。以下是Series和DataFrame示例代碼：

import pandas as pd

# 創建Series
s = pd.Series([1, 3, 5, np.nan, 6, 8])
print(s)

# 創建DataFrame
df = pd.DataFrame({'A': [1, 2, 3], 'B': pd.Timestamp('20160101'), 'C': pd.Series(1, index=list(range(3)), dtype='float32'), 'D': np.array([3] * 3, dtype='int32'), 'E': pd.Categorical(["test", "train", "test"]), 'F': 'foo'})
print(df)

創建Series時，可以在列表中包含不同類型的數據，例如空值（NaN）和字符串。創建DataFrame時，可以使用字典表示多個Series，並為每個Series設置列名和數據類型。此外，DataFrame還支持Categorical類型，用於處理分類數據。

二、數據清洗

數據清洗是數據分析的重要步驟，涉及到缺失值、重複值、異常值和格式問題等。Python Pandas提供了一系列函數和方法用於數據清洗，以下是常用的函數和方法：

1. isna()和fillna()

isna()函數用於檢查每個元素是否為空值，fillna()函數用於填充空值。以下是示例代碼：

import pandas as pd
import numpy as np

# 創建包含空值的DataFrame
df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [4, np.nan, np.nan], 'C': [7, 8, 9]})
print(df)

# 檢查是否為空值
print(df.isna())

# 填充空值
df = df.fillna(0)
print(df)

在示例中，創建了一個包含空值的DataFrame。isna()函數用於檢查每個元素是否為空值，輸出結果是一個與原DataFrame相同大小的布爾型DataFrame。fillna()函數用於填充空值，在示例中使用了0填充空值。

2. drop_duplicates()

drop_duplicates()方法用於刪除DataFrame中的重複行。以下是示例代碼：

import pandas as pd

# 創建包含重複行的DataFrame
df = pd.DataFrame({'A': [1, 1, 2, 3], 'B': [4, 5, 6, 7], 'C': [8, 9, 8, 10]})
print(df)

# 刪除重複行
df = df.drop_duplicates()
print(df)

在示例中，創建了一個包含重複行的DataFrame。drop_duplicates()方法用於刪除重複行，輸出結果是一個不包含重複行的DataFrame。

3. astype()

astype()方法用於更改Series或DataFrame的數據類型。以下是示例代碼：

import pandas as pd

# 創建一個包含整數和字符串的Series
s = pd.Series([1, 2, 3, '4'])
print(s)

# 將整數轉為字符串
s = s.astype(str)
print(s)

在示例中，創建了一個包含整數和字符串的Series。astype()方法用於將整數轉為字符串，輸出結果是一個整數轉為字符串的Series。

三、數據統計

數據統計是數據分析的核心步驟之一，Python Pandas提供了豐富的函數和方法用於數據統計和聚合。以下是常用的函數和方法：

1. describe()

describe()方法用於計算Series或DataFrame的多個統計信息，例如均值、標準差、最小值、最大值等。以下是示例代碼：

import pandas as pd
import numpy as np

# 創建一個隨機DataFrame
df = pd.DataFrame(np.random.randn(10, 5), columns=list('ABCDE'))
print(df)

# 計算多個統計信息
print(df.describe())

在示例中，創建了一個隨機DataFrame。describe()方法用於計算多個統計信息，輸出結果是一個包含多個統計信息的DataFrame。

2. groupby()

groupby()方法用於對DataFrame進行分組，然後進行聚合計算。例如，可以按照一個列進行分組，然後計算另一列的均值、標準差等。以下是示例代碼：

import pandas as pd

# 創建一個包含姓名、科目和分數的DataFrame
df = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Emily'] * 2, 'Subject': ['Math'] * 5 + ['English'] * 5, 'Score': [90, 80, 85, 95, 92, 82, 75, 80, 88, 90]})
print(df)

# 按姓名進行分組，然後計算每個姓名的平均分數
grouped = df.groupby('Name')
print(grouped.mean())

在示例中，創建了一個包含姓名、科目和分數的DataFrame。groupby()方法用於按姓名進行分組，然後計算每個姓名的平均分數，輸出結果是一個以姓名為索引的DataFrame。

3. pivot_table()

pivot_table()方法用於將DataFrame中的數據重新排列，生成一個新的DataFrame。例如，可以將一個DataFrame按照行列索引進行分組，然後計算另一列的均值、標準差等。以下是示例代碼：

import pandas as pd

# 創建一個包含姓名、科目和分數的DataFrame
df = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Emily'] * 2, 'Subject': ['Math'] * 5 + ['English'] * 5, 'Score': [90, 80, 85, 95, 92, 82, 75, 80, 88, 90]})
print(df)

# 將DataFrame重新排列，生成新的DataFrame
table = pd.pivot_table(df, values='Score', index=['Name'], columns=['Subject'], aggfunc=np.mean)
print(table)

在示例中，創建了一個包含姓名、科目和分數的DataFrame。pivot_table()方法用於將DataFrame重新排列，生成一個新的DataFrame，其中行索引為姓名，列索引為科目，值為分數的均值。輸出結果是一個新的DataFrame。