如何使用Python剔除异常值

本文将详细介绍如何使用Python剔除异常值。异常值是在一个数据集中与其他数据点明显不同的值，会影响到数据的分析和可视化。

一、找出异常值

首先需要找出异常值。可以使用Python中的三种方法来找出异常值：基于分布的方法、基于距离的方法和基于模型的方法。

1. 基于分布的方法

基于分布的方法假设数据遵循某种分布，从而判断哪些值可能是异常值。可以通过以下步骤实现这种方法：

import numpy as np
import matplotlib.pyplot as plt

# 生成数据
data = np.random.normal(0, 1, 1000)

# 绘制正态分布概率密度图
plt.hist(data, bins=50, density=True, alpha=0.6, color='g')

# 设定阈值标准
threshold = 3

# 识别异常点
outliers = np.where(abs(data - np.mean(data)) > threshold * np.std(data))[0]

# 将异常点标红
plt.scatter(data[outliers], np.zeros_like(data[outliers]), c='r')
plt.show()

2. 基于距离的方法

基于距离的方法使用数据点之间的距离来识别异常点。可以通过以下步骤实现这种方法：

import numpy as np
from scipy.spatial.distance import cdist

# 生成数据
data = np.random.normal(0, 1, (100, 2))

# 计算所有数据点之间的距离
distances = cdist(data, data)

# 设定阈值标准
threshold = np.percentile(distances, 95)

# 识别异常点
outliers = np.where(distances > threshold)

# 绘制散点图
plt.scatter(data[:,0], data[:,1])
plt.scatter(data[outliers[0],0], data[outliers[0],1], color='r')
plt.show()

3. 基于模型的方法

基于模型的方法使用数据建立模型，然后通过数据点与模型的差异来判断哪些值可能是异常值。可以通过以下步骤实现这种方法：

from sklearn.covariance import EllipticEnvelope
import numpy as np

# 生成数据
data = np.random.multivariate_normal([0, 0], [[1, 0], [0, 1]], 100)

# 使用EllipticEnvelope模型识别异常点
detector = EllipticEnvelope(contamination=0.1)
detector.fit(data)

# 标记异常点
outliers = detector.predict(data)

# 绘制散点图
plt.scatter(data[:,0], data[:,1], c=outliers)
plt.show()

二、剔除异常值

找出异常值之后，需要将其排除在数据集之外。以下是几种剔除异常值的常用方法：

1. 删除异常值所在的行

最简单的方法是删除异常值所在的行：

import pandas as pd

# 生成数据
data = {'A': [1, 2, 3, 4, 5, 6],
        'B': [4, 2, 1, 3, 6, 8]}

df = pd.DataFrame(data)

# 找出异常值
q1 = df['B'].quantile(0.25)
q3 = df['B'].quantile(0.75)
iqr = q3 - q1
upper_bound = q3 + 1.5 * iqr
lower_bound = q1 - 1.5 * iqr

outliers = df[(df['B'] < lower_bound) | (df['B'] > upper_bound)]

# 删除异常值所在的行
clean_data = df.drop(outliers.index)

2. 替换异常值

另一种方法是将异常值替换为数据集的中位数或平均值：

import pandas as pd

# 生成数据
data = {'A': [1, 2, 3, 4, 5, 6],
        'B': [4, 2, 1, 3, 6, 8]}

df = pd.DataFrame(data)

# 找出异常值
q1 = df['B'].quantile(0.25)
q3 = df['B'].quantile(0.75)
iqr = q3 - q1
upper_bound = q3 + 1.5 * iqr
lower_bound = q1 - 1.5 * iqr

outliers = df[(df['B'] < lower_bound) | (df['B'] > upper_bound)]

# 替换异常值
median = df['B'].median()
df['B'] = df['B'].apply(lambda x: median if (x < lower_bound or x > upper_bound) else x)

3. 使用插值法填补异常值

另一种方法是使用插值法填补异常值。例如，使用数据集的前一个数据点和后一个数据点之间的平均值作为异常值的替代值：

import pandas as pd

# 生成数据
data = {'A': [1, 2, 3, 4, 5, 6],
        'B': [4, 2, 1, 3, 6, 8]}

df = pd.DataFrame(data)

# 找出异常值
q1 = df['B'].quantile(0.25)
q3 = df['B'].quantile(0.75)
iqr = q3 - q1
upper_bound = q3 + 1.5 * iqr
lower_bound = q1 - 1.5 * iqr

outliers = df[(df['B'] < lower_bound) | (df['B'] > upper_bound)]

# 使用插值法填补异常值
df['B'] = df['B'].interpolate()

三、结语

本文介绍了如何使用Python找出和剔除异常值，并通过代码实现了三种查找异常值的方法和三种剔除异常值的方法。剔除异常值可以提高数据分析和可视化的准确性，但是需要根据实际情况酌情使用。

原创文章，作者：DJUCW，如若转载，请注明出处：https://www.506064.com/n/374062.html