組合預測模型python,組合預測模型方法

本文目錄一覽：

• 1、python gradientboostingregressor可以做預測嗎
• 2、如何用Python在10分鐘內建立一個預測模型
• 3、如何用python作空間自回歸模型
• 4、如何用神經網絡實現連續型變量的回歸預測？

python gradientboostingregressor可以做預測嗎

可以

最近項目中涉及基於Gradient Boosting Regression 算法擬合時間序列曲線的內容，利用python機器學習包 scikit-learn 中的GradientBoostingRegressor完成

因此就學習了下Gradient Boosting算法，在這裡分享下我的理解

Boosting 算法簡介

Boosting算法，我理解的就是兩個思想：

1）“三個臭皮匠頂個諸葛亮”，一堆弱分類器的組合就可以成為一個強分類器；

2）“知錯能改，善莫大焉”，不斷地在錯誤中學習，迭代來降低犯錯概率

當然，要理解好Boosting的思想，首先還是從弱學習算法和強學習算法來引入：

1）強學習算法：存在一個多項式時間的學習算法以識別一組概念，且識別的正確率很高；

2）弱學習算法：識別一組概念的正確率僅比隨機猜測略好；

Kearns Valiant證明了弱學習算法與強學習算法的等價問題，如果兩者等價，只需找到一個比隨機猜測略好的學習算法，就可以將其提升為強學習算法。

那麼是怎麼實現“知錯就改”的呢？

Boosting算法，通過一系列的迭代來優化分類結果，每迭代一次引入一個弱分類器，來克服現在已經存在的弱分類器組合的shortcomings

在Adaboost算法中，這個shortcomings的表徵就是權值高的樣本點

而在Gradient Boosting算法中,這個shortcomings的表徵就是梯度

無論是Adaboost還是Gradient Boosting，都是通過這個shortcomings來告訴學習器怎麼去提升模型，也就是“Boosting”這個名字的由來吧

Adaboost算法

Adaboost是由Freund 和 Schapire在1997年提出的，在整個訓練集上維護一個分布權值向量W,用賦予權重的訓練集通過弱分類算法產生分類假設（基學習器）y(x),然後計算錯誤率,用得到的錯誤率去更新分布權值向量w,對錯誤分類的樣本分配更大的權值,正確分類的樣本賦予更小的權值。每次更新後用相同的弱分類算法產生新的分類假設,這些分類假設的序列構成多分類器。對這些多分類器用加權的方法進行聯合,最後得到決策結果。

其結構如下圖所示：

前一個學習器改變權重w，然後再經過下一個學習器，最終所有的學習器共同組成最後的學習器。

如果一個樣本在前一個學習器中被誤分，那麼它所對應的權重會被加重，相應地，被正確分類的樣本的權重會降低。

這裡主要涉及到兩個權重的計算問題：

1）樣本的權值

1 沒有先驗知識的情況下,初始的分布應為等概分布,樣本數目為n,權值為1/n

2 每一次的迭代更新權值，提高分錯樣本的權重

2）弱學習器的權值

1 最後的強學習器是通過多個基學習器通過權值組合得到的。

2 通過權值體現不同基學習器的影響,正確率高的基學習器權重高。實際上是分類誤差的一個函數

Gradient Boosting

和Adaboost不同，Gradient Boosting 在迭代的時候選擇梯度下降的方向來保證最後的結果最好。

損失函數用來描述模型的“靠譜”程度，假設模型沒有過擬合，損失函數越大，模型的錯誤率越高

如果我們的模型能夠讓損失函數持續的下降，則說明我們的模型在不停的改進，而最好的方式就是讓損失函數在其梯度方向上下降。

下面這個流程圖是Gradient Boosting的經典圖了，數學推導並不複雜，只要理解了Boosting的思想，不難看懂

這裡是直接對模型的函數進行更新，利用了參數可加性推廣到函數空間。

訓練F0-Fm一共m個基學習器，沿着梯度下降的方向不斷更新ρm和am

GradientBoostingRegressor實現

python中的scikit-learn包提供了很方便的GradientBoostingRegressor和GBDT的函數接口，可以很方便的調用函數就可以完成模型的訓練和預測

GradientBoostingRegressor函數的參數如下：

class sklearn.ensemble.GradientBoostingRegressor(loss=’ls’, learning_rate=0.1, n_estimators=100, subsample=1.0, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, init=None, random_state=None, max_features=None, alpha=0.9, verbose=0, max_leaf_nodes=None, warm_start=False, presort=’auto’)[source]¶

loss: 選擇損失函數，默認值為ls(least squres)

learning_rate: 學習率，模型是0.1

n_estimators: 弱學習器的數目，默認值100

max_depth: 每一個學習器的最大深度，限制回歸樹的節點數目，默認為3

min_samples_split: 可以劃分為內部節點的最小樣本數，默認為2

min_samples_leaf: 葉節點所需的最小樣本數，默認為1

……

可以參考

官方文檔裡帶了一個很好的例子，以500個弱學習器，最小平方誤差的梯度提升模型，做波士頓房價預測，代碼和結果如下：

1 import numpy as np 2 import matplotlib.pyplot as plt 3  4 from sklearn import ensemble 5 from sklearn import datasets 6 from sklearn.utils import shuffle 7 from sklearn.metrics import mean_squared_error 8  9 ###############################################################################10 # Load data11 boston = datasets.load_boston()12 X, y = shuffle(boston.data, boston.target, random_state=13)13 X = X.astype(np.float32)14 offset = int(X.shape[0] * 0.9)15 X_train, y_train = X[:offset], y[:offset]16 X_test, y_test = X[offset:], y[offset:]17 18 ###############################################################################19 # Fit regression model20 params = {‘n_estimators’: 500, ‘max_depth’: 4, ‘min_samples_split’: 1,21           ‘learning_rate’: 0.01, ‘loss’: ‘ls’}22 clf = ensemble.GradientBoostingRegressor(**params)23 24 clf.fit(X_train, y_train)25 mse = mean_squared_error(y_test, clf.predict(X_test))26 print(“MSE: %.4f” % mse)27 28 ###############################################################################29 # Plot training deviance30 31 # compute test set deviance32 test_score = np.zeros((params[‘n_estimators’],), dtype=np.float64)33 34 for i, y_pred in enumerate(clf.staged_predict(X_test)):35     test_score[i] = clf.loss_(y_test, y_pred)36 37 plt.figure(figsize=(12, 6))38 plt.subplot(1, 2, 1)39 plt.title(‘Deviance’)40 plt.plot(np.arange(params[‘n_estimators’]) + 1, clf.train_score_, ‘b-‘,41          label=’Training Set Deviance’)42 plt.plot(np.arange(params[‘n_estimators’]) + 1, test_score, ‘r-‘,43          label=’Test Set Deviance’)44 plt.legend(loc=’upper right’)45 plt.xlabel(‘Boosting Iterations’)46 plt.ylabel(‘Deviance’)47 48 ###############################################################################49 # Plot feature importance50 feature_importance = clf.feature_importances_51 # make importances relative to max importance52 feature_importance = 100.0 * (feature_importance / feature_importance.max())53 sorted_idx = np.argsort(feature_importance)54 pos = np.arange(sorted_idx.shape[0]) + .555 plt.subplot(1, 2, 2)56 plt.barh(pos, feature_importance[sorted_idx], align=’center’)57 plt.yticks(pos, boston.feature_names[sorted_idx])58 plt.xlabel(‘Relative Importance’)59 plt.title(‘Variable Importance’)60 plt.show()

可以發現，如果要用Gradient Boosting 算法的話，在sklearn包里調用還是非常方便的，幾行代碼即可完成，大部分的工作應該是在特徵提取上。

感覺目前做數據挖掘的工作，特徵設計是最重要的，據說現在kaggle競賽基本是GBDT的天下，優劣其實還是特徵上，感覺做項目也是，不斷的在研究數據中培養對數據的敏感度。

如何用Python在10分鐘內建立一個預測模型

有各種各樣的方法可以驗證你模型性能，建議你將訓練數據集劃分為訓練集和驗證集（理想的比例是7030並且在70%訓練數據集上建模。現在使用30%驗證數據集進行交叉驗證並使用評價指標進行性能評估。最後需要12分鐘執行和記錄結果。

本文的目的不是贏得競賽，而是建立我自己的基準。讓我用python代碼來執行上面的方法，建立你第一個有較高影響的模型。

如何用python作空間自回歸模型

基本形式

線性模型(linear model)就是試圖通過屬性的線性組合來進行預測的函數，基本形式如下：

f(x)=wTx+b

許多非線性模型可在線性模型的基礎上通過引入層結構或者高維映射（比如核方法）來解決。線性模型有很好的解釋性。

線性回歸

線性回歸要求均方誤差最小:

(w∗,b∗)=argmin∑i=1m(f(xi)−yi)2

均方誤差有很好的幾何意義，它對應了常用的歐式距離(Euclidean distance)。基於均方誤差最小化來進行模型求解稱為最小二乘法(least square method)，線性回歸中，最小二乘發就是試圖找到一條直線，使得所有樣本到直線的歐式距離之和最小。

我們把上式寫成矩陣的形式：

w∗=argmin(y−Xw)T(y−Xw)

這裡我們把b融合到w中，X中最後再加一列1。為了求最小值，我們對w求導並令其為0：

2XT(Xw−y)=0

當XTX為滿秩矩陣(full-rank matrix)時是可逆的。此時：

w=(XTX)−1XTy

令xi=(xi,1)，可以得到線性回歸模型：

f(xi)=xTi(XTX)−1XTy

如何用神經網絡實現連續型變量的回歸預測？

神經網絡最開始是機器學習的一種模型，但其訓練的時間和其他幾種模型相比不佔優勢，且結果也不盡人意，所以一直沒有被廣泛使用。但隨着數學的深入研究以及計算機硬件質量的提高，尤其是GPU的出現，給深度學習的廣泛應用提供了基礎。GPU最初是為了給遊戲玩家帶來高質量的視覺體驗，由於其處理矩陣運算的能力特別優秀，也被用於深度學習中模型的訓練，以往數十天才能訓練好的模型在GPU上訓練幾天就可以訓練好，大大減少了深度學習的訓練時間，因而深度學習的應用越來越多。

神經網絡作為深度學習最主要的模型，人工神經網絡ANN是最基礎的神經網絡結構，其工作原理很像人類大腦中的神經。神經元是ANN的工作單元，每個神經元含有權重和偏置，神經元將上一層神經元傳遞過來的值通過權重和偏置的運算，得到新的結果，將該結果傳遞給下一層神經元，通過不斷的傳遞，最終獲得輸出結果。

要想用神經網絡實現連續型變量的回歸預測，需要將該N維變量的數據作為輸入，中間再設置隱藏層和每一層的神經元個數，至於隱藏層的層數則需要多次訓練才能得出較準確的層數。而最後輸出層的值和實際變量的值會有誤差，神經網絡會通過不斷地訓練，更改權重和偏置的值來使誤差儘可能的小，當誤差小到一定程度，該神經網絡的回歸預測就算成功了。

通常使用Python來搭建神經網絡，Python自帶深度學習的一些庫，在進行回歸預測時，我們只需用調用函數，設定幾個參數，如隱藏層層數和神經元個數等，剩下的就是等模型自行訓練，最終便能完成回歸預測，非常的方便。