数据集中的缺失值是指数据集中某些变量或者属性的取值为空或者未知，这种情况在数据挖掘和机器学习中经常会遇到。在进行数据挖掘和机器学习时，缺失值会对结果产生负面影响，因此需要有效地处理数据集中的缺失值。
一、全面了解缺失值
了解缺失值是什么，以及对结果和数据挖掘/机器学习模型有何影响，是第一步。缺失值有以下几类：
1. 完全随机缺失（MCAR）：缺失值不受任何因素影响，缺失值出现是完全随机的。在这种情况下，数据被删除或者进行插值处理都是有效的方法。
2. 随机缺失（MAR）：缺失值的出现是由于另外的观测结果而产生的。在这种情况下，需要使用预测模型进行插值或者直接删除带有缺失值的观测。
3. 非随机缺失（MNAR）：缺失值取决于丢失数据的变量值。在这种情况下，需要使用更加复杂的模型来进行处理。
二、查找缺失值
在处理缺失值之前，需要先查找缺失值出现的位置和数量。Pandas是一种常用的Python库，可以方便地检查数据集中的缺失值。以下是查找缺失值的示例代码：
import pandas as pd
import numpy as np
data = pd.read_csv('data.csv')
print(data.isnull().sum())
其中，isnull()函数会返回一个值为True或者False的矩阵，值为True表示数据集中对应位置存在缺失值，使用sum()函数可返回每列中缺失值的数量。
三、处理缺失值
1. 删除带有缺失值的行
对于完全随机缺失的数据，可以使用删除行的方法进行处理。以下是使用Pandas进行行删除的示例代码：
import pandas as pd
data = pd.read_csv('data.csv')
data = data.dropna(axis=0)
其中，axis=0表示删除行。
2. 删除带有缺失值的列
对于某些列缺失值过多的数据，可以使用删除列的方法进行处理。以下是使用Pandas进行列删除的示例代码：
import pandas as pd
data = pd.read_csv('data.csv')
data = data.dropna(thresh=0.9*len(data),axis=1)
其中，thresh参数表示该列中缺失值的比例阈值，axis=1表示删除列。
3. 插值法
对于随机缺失的数据，可以使用插值法进行填充。插值法是通过已知的数据来推断未知数据的方法。以下是使用Pandas进行插值处理的示例代码：
import pandas as pd
data = pd.read_csv('data.csv')
data = data.interpolate(method='linear', axis=0)
其中，method参数表示使用的插值方法，’linear’表示使用线性插值法。
4. 使用回归模型
对于MNAR的数据，可以使用回归模型进行处理。以下是使用线性回归模型进行处理的示例代码：
from sklearn.linear_model import LinearRegression
import pandas as pd
import numpy as np
data = pd.read_csv('data.csv')
data_train = data.dropna(axis=0)
data_test = data.loc[data.index.difference(data_train.index),:]
x_train = data_train.iloc[:,:-1]
y_train = data_train.iloc[:,-1]
x_test = data_test.iloc[:,:-1]
y_test = data_test.iloc[:,-1]
reg = LinearRegression().fit(x_train, y_train)
y_pred = reg.predict(x_test)
data_test['y'] = y_pred
data = pd.concat([data_train, data_test])
其中，使用dropna()函数删除带有缺失值的行，使用loc()函数查找缺失值所在行，使用LinearRegression()函数生成回归模型，使用fit()函数进行拟合，使用predict()函数进行预测。
四、总结
在数据挖掘和机器学习中，缺失值对结果产生的负面影响非常大，因此需要进行有效的处理。本文介绍了查找、删除、插值和使用回归模型进行缺失值处理的方法。在处理缺失值时，需要考虑数据的类型、缺失值的出现方式、缺失值的位置等多个因素，并采取不同的方法进行处理。
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/231668.html
微信扫一扫 
支付宝扫一扫 