一、什么是异常值
异常值是指数据集中的一些值与其他值相差较大，不符合现实或理论的规律，常常成为数据分析中的难点。Python的异常处理机制可以有效地识别、捕获和处理这些异常值。
二、异常值识别
Python可以通过多种方式来识别异常值，包括：直方图、箱型图、离群值检测以及基于统计学的方法。
1、直方图
import matplotlib.pyplot as plt
import numpy as np
x = np.random.randn(1000)
plt.hist(x, bins=30)
plt.show()上述代码可以生成一张直方图。异常值通常分布在直方图两端，分布较稀疏处。
2、箱型图
import matplotlib.pyplot as plt
import numpy as np
x = np.random.randn(1000)
plt.boxplot(x)
plt.show()上述代码可以生成一张箱型图。使用箱型图可以有效地检测数据中的异常值，箱型图中的“触须”即为异常值。
3、离群值检测
import numpy as np
from sklearn.covariance import EllipticEnvelope
x = np.random.randn(1000, 2)
x[:50, 0] += 5
x[50:100, 1] += 5
clf = EllipticEnvelope(contamination=0.1)
clf.fit(x)
y_pred = clf.predict(x)
print(np.where(y_pred==-1))上述代码使用了一个离群值检测器——椭圆包络。如果一个点被预测为异常值，则其对应的序号会在输出中被标记为-1。
4、基于统计学的方法
import numpy as np
x = np.random.randn(1000)
m = np.mean(x)
s = np.std(x)
threshold = 2
outliers = []
for i in range(len(x)):
if abs(x[i]-m) > threshold*s:
outliers.append(i)
print(outliers)上述代码使用了基于统计学的方法来识别异常值，所有距离均值大于2倍标准差的数据点都被识别为异常值。
三、异常值处理
Python可以通过多种方式来处理异常值，包括：替换、删除以及基于模型的方法。
1、替换
import numpy as np
x = np.random.randn(1000)
m = np.mean(x)
s = np.std(x)
threshold = 2
outliers = []
for i in range(len(x)):
if abs(x[i]-m) > threshold*s:
outliers.append(i)
for i in outliers:
x[i] = m
print(np.where(abs(x-m)>threshold*s))上述代码使用均值代替所有异常值。所有被代替的数据点均会接近均值，不再被识别为异常。
2、删除
import numpy as np
x = np.random.randn(1000)
m = np.mean(x)
s = np.std(x)
threshold = 2
outliers = []
for i in range(len(x)):
if abs(x[i]-m) > threshold*s:
outliers.append(i)
x = np.delete(x, outliers)
print(len(outliers))上述代码删除了所有异常值。数据集将变得更加干净，但也会造成一定的数据量损失。
3、基于模型的方法
import numpy as np
from sklearn.covariance import EllipticEnvelope
x = np.random.randn(1000, 2)
x[:50, 0] += 5
x[50:100, 1] += 5
clf = EllipticEnvelope(contamination=0.1)
clf.fit(x)
y_pred = clf.predict(x)
x_new = []
for i in range(len(x)):
if y_pred[i] == 1:
x_new.append(x[i])
print(len(x_new)/len(x))上述代码使用了基于模型的方法来处理异常值。离群值检测器会将所有异常值标记并删除，只留下正常数据，从而使数据更具表现性。
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/293309.html
微信扫一扫 
支付宝扫一扫 