Python Pandas的多个方面详细分析

一、基础数据结构

Python Pandas是一款用于数据操作和数据分析的高效Python库。它的基础数据结构是Series和DataFrame。Series是一维数据结构，类似于数组或列表，每个值都有相应的索引。DataFrame是二维数据结构，由多个Series组成，类似于表格或Excel电子表格，每个列都是一个Series。以下是Series和DataFrame示例代码：

import pandas as pd

# 创建Series
s = pd.Series([1, 3, 5, np.nan, 6, 8])
print(s)

# 创建DataFrame
df = pd.DataFrame({'A': [1, 2, 3], 'B': pd.Timestamp('20160101'), 'C': pd.Series(1, index=list(range(3)), dtype='float32'), 'D': np.array([3] * 3, dtype='int32'), 'E': pd.Categorical(["test", "train", "test"]), 'F': 'foo'})
print(df)

创建Series时，可以在列表中包含不同类型的数据，例如空值（NaN）和字符串。创建DataFrame时，可以使用字典表示多个Series，并为每个Series设置列名和数据类型。此外，DataFrame还支持Categorical类型，用于处理分类数据。

二、数据清洗

数据清洗是数据分析的重要步骤，涉及到缺失值、重复值、异常值和格式问题等。Python Pandas提供了一系列函数和方法用于数据清洗，以下是常用的函数和方法：

1. isna()和fillna()

isna()函数用于检查每个元素是否为空值，fillna()函数用于填充空值。以下是示例代码：

import pandas as pd
import numpy as np

# 创建包含空值的DataFrame
df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [4, np.nan, np.nan], 'C': [7, 8, 9]})
print(df)

# 检查是否为空值
print(df.isna())

# 填充空值
df = df.fillna(0)
print(df)

在示例中，创建了一个包含空值的DataFrame。isna()函数用于检查每个元素是否为空值，输出结果是一个与原DataFrame相同大小的布尔型DataFrame。fillna()函数用于填充空值，在示例中使用了0填充空值。

2. drop_duplicates()

drop_duplicates()方法用于删除DataFrame中的重复行。以下是示例代码：

import pandas as pd

# 创建包含重复行的DataFrame
df = pd.DataFrame({'A': [1, 1, 2, 3], 'B': [4, 5, 6, 7], 'C': [8, 9, 8, 10]})
print(df)

# 删除重复行
df = df.drop_duplicates()
print(df)

在示例中，创建了一个包含重复行的DataFrame。drop_duplicates()方法用于删除重复行，输出结果是一个不包含重复行的DataFrame。

3. astype()

astype()方法用于更改Series或DataFrame的数据类型。以下是示例代码：

import pandas as pd

# 创建一个包含整数和字符串的Series
s = pd.Series([1, 2, 3, '4'])
print(s)

# 将整数转为字符串
s = s.astype(str)
print(s)

在示例中，创建了一个包含整数和字符串的Series。astype()方法用于将整数转为字符串，输出结果是一个整数转为字符串的Series。

三、数据统计

数据统计是数据分析的核心步骤之一，Python Pandas提供了丰富的函数和方法用于数据统计和聚合。以下是常用的函数和方法：

1. describe()

describe()方法用于计算Series或DataFrame的多个统计信息，例如均值、标准差、最小值、最大值等。以下是示例代码：

import pandas as pd
import numpy as np

# 创建一个随机DataFrame
df = pd.DataFrame(np.random.randn(10, 5), columns=list('ABCDE'))
print(df)

# 计算多个统计信息
print(df.describe())

在示例中，创建了一个随机DataFrame。describe()方法用于计算多个统计信息，输出结果是一个包含多个统计信息的DataFrame。

2. groupby()

groupby()方法用于对DataFrame进行分组，然后进行聚合计算。例如，可以按照一个列进行分组，然后计算另一列的均值、标准差等。以下是示例代码：

import pandas as pd

# 创建一个包含姓名、科目和分数的DataFrame
df = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Emily'] * 2, 'Subject': ['Math'] * 5 + ['English'] * 5, 'Score': [90, 80, 85, 95, 92, 82, 75, 80, 88, 90]})
print(df)

# 按姓名进行分组，然后计算每个姓名的平均分数
grouped = df.groupby('Name')
print(grouped.mean())

在示例中，创建了一个包含姓名、科目和分数的DataFrame。groupby()方法用于按姓名进行分组，然后计算每个姓名的平均分数，输出结果是一个以姓名为索引的DataFrame。

3. pivot_table()

pivot_table()方法用于将DataFrame中的数据重新排列，生成一个新的DataFrame。例如，可以将一个DataFrame按照行列索引进行分组，然后计算另一列的均值、标准差等。以下是示例代码：

import pandas as pd

# 创建一个包含姓名、科目和分数的DataFrame
df = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Emily'] * 2, 'Subject': ['Math'] * 5 + ['English'] * 5, 'Score': [90, 80, 85, 95, 92, 82, 75, 80, 88, 90]})
print(df)

# 将DataFrame重新排列，生成新的DataFrame
table = pd.pivot_table(df, values='Score', index=['Name'], columns=['Subject'], aggfunc=np.mean)
print(table)

在示例中，创建了一个包含姓名、科目和分数的DataFrame。pivot_table()方法用于将DataFrame重新排列，生成一个新的DataFrame，其中行索引为姓名，列索引为科目，值为分数的均值。输出结果是一个新的DataFrame。