一、Python逐步回歸法
Python逐步回歸法是一種針對高維數據選擇最優變數子集的演算法。該演算法通過反覆地調整模型中自變數的數量，然後利用交叉驗證來確定最優模型。
使用Python進行逐步回歸，通常使用statsmodels庫中的OLS函數。下面是一個簡單的例子：
from statsmodels.formula.api import ols
model = ols('y ~ x1 + x2', data=df).fit()
print(model.summary())
在以上代碼中，y代表因變數，x1和x2代表自變數，df代表數據集。這個模型只考慮了兩個自變數，還可以通過加號添加更多自變數。
Python逐步回歸還可以利用step函數逐步選擇最優模型：
import statsmodels.api as sm results = sm.OLS(y, X).fit() print(results.summary()) print(results.params) selected, remaining = step(X, y) print(selected.model.formula)
其中step函數可以通過指定如下的一些參數進行調節：
- method：可以是「backward」、「forward」、「both」中的任何一個值，表示逐步回歸的方法。
- criterion：可以是「AIC」或「BIC」，表示評估模型的準則。
- alpha：調節的參數變化大小。
二、Python回歸問題
Python中的回歸問題通常包括線性回歸、多項式回歸、嶺回歸、Lasso回歸等。Python中可以使用多個庫進行回歸分析，包括numpy、pandas、scikit-learn、statsmodels等。
Python的線性回歸可以使用numpy庫實現，下面是一個簡單的例子：
import numpy as np x1 = np.array([1, 2, 3, 4, 5]) x2 = np.array([2, 4, 6, 8, 10]) y = np.array([2.1, 4.2, 6.3, 8.4, 10.5]) X = np.column_stack((np.ones(5), x1, x2)) w = np.linalg.lstsq(X, y)[0] print(w)
以上代碼實現了一個最小二乘線性回歸的例子。其中，x1和x2代表自變數，y代表因變數。
三、Python逐步回歸包
Python中有許多可以用於逐步回歸的包。其中，較為著名的包有statsmodels和scikit-learn。
statsmodels的逐步回歸包使用起來比較簡單。下面是一個簡單的例子：
import statsmodels
import statsmodels.api as sm
X = np.column_stack((np.ones(5), x1, x2))
y = np.array([2.1, 4.2, 6.3, 8.4, 10.5])
results = sm.OLS(y, X).fit()
print(results.summary())
selected, remaining = statsmodels.regression.linear_model.OLS(y, X).\
fit().model.exog[:, 1:], statsmodels.regression.linear_model.OLS(y, X).\
fit().model.exog[:, 1:]
while remaining.shape[1] > 0:
scores = []
model = sm.OLS(y, selected).fit()
for col in remaining.T:
test_X = np.column_stack((selected, col))
test_model = sm.OLS(y, test_X).fit()
scores.append((test_model.rsquared_adj, col))
best_new_score, best_new_col = max(scores)
if best_new_score > model.rsquared_adj:
selected = np.column_stack((selected, best_new_col))
remaining = np.delete(remaining, np.argwhere(
remaining == best_new_col)[0][0], 1)
print('Add x%d with R-squared %.2f' %
(np.argwhere(X == best_new_col)[1][0], best_new_score))
else:
print('Model is complete.')
break
以上代碼使用了statsmodels中自帶的逐步回歸方法，並可以分步進行調節，包括添加新變數等等。
scikit-learn也提供了類似的逐步回歸方法，稱為RFE（Recursive Feature Elimination），使用起來也比較簡單：
from sklearn.feature_selection import RFE lr = LinearRegression() rfe = RFE(lr, 1) rfe = rfe.fit(X, y) print(rfe.support_) print(rfe.ranking_)
以上代碼將會輸出一個bool類型的數組，代表哪些變數被選擇，以及一個int類型的數組，代表每個變數的排名。
四、Python逐步回歸代碼
Python逐步回歸的代碼其實就是逐步添加自變數的代碼。下面是一個簡單的例子，用於說明如何進行逐步回歸：
import pandas as pd
import numpy as np
import statsmodels.api as sm
data = pd.read_csv('data.csv')
X = data[['x1', 'x2']]
y = data['y']
def stepwise_selection(X, y,
initial_list=[],
threshold_in=0.01,
threshold_out = 0.05,
verbose=True):
included = list(initial_list)
while True:
changed=False
excluded = list(set(X.columns)-set(included))
new_pval = pd.Series(index=excluded,dtype='float64')
for new_column in excluded:
model = sm.OLS(y, sm.add_constant(pd.DataFrame(X[included+[new_column]]))).fit()
new_pval[new_column] = model.pvalues[new_column]
best_pval = new_pval.min()
if best_pval threshold_out:
changed=True
worst_feature = pvalues.argmax()
included.remove(worst_feature)
if verbose:
print('Drop %s with p-value %.6f' % (worst_feature, worst_pval))
if not changed:
break
return included
result = stepwise_selection(X, y)
print(result)
以上代碼使用了statsmodels庫中的OLS函數進行逐步回歸，並可以調節新增變數的閾值、剔除變數的閾值、初始列表等參數。
五、Python做回歸分析
Python做回歸分析可以使用多種庫。本文中已經涉及到了numpy、pandas、statsmodels和scikit-learn等庫。
對於多元回歸分析，可以使用statsmodels庫實現，下面是一個簡單的例子：
import statsmodels.api as sm X = df[['x1', 'x2', 'x3']] y = df['y'] model = sm.OLS(y, X).fit() print(model.summary()) print(model.predict(df_new[['x1', 'x2', 'x3']]))
以上代碼使用OLS函數對三個自變數進行回歸分析，並可以通過predict函數預測新的結果。
對於嶺回歸和Lasso回歸，可以使用scikit-learn庫進行實現，下面是一個簡單的例子：
from sklearn.linear_model import Ridge, Lasso ridge = Ridge(alpha=1.0) ridge.fit(X, y) lasso = Lasso(alpha=0.1) lasso.fit(X, y) print(ridge.coef_) print(lasso.coef_)
以上代碼分別實現了嶺回歸和Lasso回歸，並輸出結果。
六、Python逐步回歸分析
Python逐步回歸分析是指通過逐步回歸的方式來確定最優模型。逐步回歸可以分為前向逐步回歸和後向逐步回歸兩種。
對於前向逐步回歸，可以使用statsmodels庫中的step函數進行實現，下面是一個簡單的例子：
import statsmodels.api as sm
X = df[['x1', 'x2', 'x3']]
y = df['y']
selected = []
for i in range(3):
remaining = [x for x in X.columns if x not in selected]
scores = {}
for candidate in remaining:
formula = "{} ~ {} + 1".format('y', ' + '.join(selected + [candidate]))
score = smf.ols(formula, data).fit().rsquared_adj
scores[candidate] = score
bestvar, bestscore = sorted(scores.items(), key=lambda x: x[1], reverse=True)[0]
selected.append(bestvar)
print(selected)
以上代碼使用了OLS函數和step函數實現了前向逐步回歸。具體來說，該代碼一開始沒有變數，然後在每次循環中，選擇最優變數子集中的變數，並在已選擇的自變數中添加以後的變數。
對於後向逐步回歸，可以使用和前向逐步回歸類似的方法。下面是一個簡單的例子：
import statsmodels.api as sm
X = df[['x1', 'x2', 'x3']]
y = df['y']
included_vars = list(X.columns)
while True:
changed = False
best_pval = float('inf')
for var in included_vars:
formula = "y ~ " + ' + '.join(list(set(included_vars) - set([var])))
ols_result = smf.ols(formula=formula, data=df).fit()
p = ols_result.pvalues[var]
if p < best_pval:
best_pval = p
best_var = var
if best_pval < 0.05:
included_vars.remove(best_var)
changed = True
if not changed:
break
print(included_vars)
以上代碼實現了後向逐步回歸。該代碼一開始考慮全部變數，然後在每次循環中，剔除P值過大的自變數，直到不再有變化。
七、Python逐步回歸庫選取
Python中有眾多可以用於逐步回歸的庫，包括：statsmodels、scikit-learn、mlxtend等。這些庫各有優缺點，可以根據需要選擇使用。
statsmodels是一個常用的處理統計問題的庫，綜合性較強，逐步回歸的功能也比較全面。scikit-learn是一個全面性較強的機器學習庫，在回歸問題中表現出色，而且可以很方便地實現交叉驗證、正則化等功能。mlxtend則是一個相對較新的庫，但是對於特徵選擇和逐步回歸，實現方式比較簡單，也比較易於理解。
原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-tw/n/258373.html
微信掃一掃 
支付寶掃一掃 