forest及python實現的簡單介紹

本文目錄一覽：

• 1、求python寫的隨機森林的roc代碼
• 2、Python 如何畫類似輻射圖
• 3、如何用python實現隨機森林分類

求python寫的隨機森林的roc代碼

隨機森林在R packages和Python scikit-learn中的實現是當下非常流行的，下列是在R和Python中載入隨機森林模型的具體代碼：

Python

#Import Library

fromsklearn.ensemble import RandomForestClassifier #use RandomForestRegressor for regression problem

#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

# Create Random Forest object

model= RandomForestClassifier(n_estimators=1000)

# Train the model using the training sets and check score

model.fit(X, y)

#Predict Output

predicted= model.predict(x_test)

R Code

library(randomForest)

x- cbind(x_train,y_train)

# Fitting model

fit- randomForest(Species ~ ., x,ntree=500)

summary(fit)

#Predict Output

predicted= predict(fit,x_test)

Python 如何畫類似輻射圖

Python有一些自帶的圖形例子，在Python目錄的Lib\turtledemo下面，通過下面的命令可以執行，forest和tree有點類似你想要的圖形，可以參考一下。

pythonw -m turtledemo forest

如何用python實現隨機森林分類

大家如何使用scikit-learn包中的類方法來進行隨機森林演算法的預測。其中講的比較好的是各個參數的具體用途。

這裡我給出我的理解和部分翻譯：

參數說明：

最主要的兩個參數是n_estimators和max_features。

n_estimators：表示森林裡樹的個數。理論上是越大越好。但是伴隨著就是計算時間的增長。但是並不是取得越大就會越好，預測效果最好的將會出現在合理的樹個數。

max_features：隨機選擇特徵集合的子集合，並用來分割節點。子集合的個數越少，方差就會減少的越快，但同時偏差就會增加的越快。根據較好的實踐經驗。如果是回歸問題則：

max_features＝n_features，如果是分類問題則max_features＝sqrt(n_features)。

如果想獲取較好的結果，必須將max_depth＝None,同時min_sample_split=1。

同時還要記得進行cross_validated（交叉驗證），除此之外記得在random forest中，bootstrap=True。但在extra-trees中，bootstrap=False。

這裡也給出一篇老外寫的文章：調整你的隨機森林模型參數　

這裡我使用了scikit-learn自帶的iris數據來進行隨機森林的預測：

[python] view plain copy

from sklearn.tree import DecisionTreeRegressor

from sklearn.ensemble import RandomForestRegressor

import numpy as np

from sklearn.datasets import load_iris

iris=load_iris()

#print iris#iris的4個屬性是：萼片寬度　萼片長度　花瓣寬度　花瓣長度　標籤是花的種類：setosa versicolour virginica

print iris[‘target’].shape

rf=RandomForestRegressor()#這裡使用了默認的參數設置

rf.fit(iris.data[:150],iris.target[:150])#進行模型的訓練

#

#隨機挑選兩個預測不相同的樣本

instance=iris.data[[100,109]]

print instance

print ‘instance 0 prediction；’,rf.predict(instance[0])

print ‘instance 1 prediction；’,rf.predict(instance[1])

print iris.target[100],iris.target[109]

返回的結果如下：

(150,)

[[ 6.3  3.3  6.   2.5]

 [ 7.2  3.6  6.1  2.5]]

instance 0 prediction； [ 2.]

instance 1 prediction； [ 2.]

2 2

在這裡我有點困惑，就是在scikit-learn演算法包中隨機森林實際上就是一顆顆決策樹組成的。但是之前我寫的決策樹博客中是可以將決策樹給顯示出來。但是隨機森林卻做了黑盒處理。我們不知道內部的決策樹結構，甚至連父節點的選擇特徵都不知道是誰。所以我給出下面的代碼（這代碼不是我的原創），可以顯示的顯示出所有的特徵的貢獻。所以對於貢獻不大的，甚至是負貢獻的我們可以考慮刪除這一列的特徵值，避免做無用的分類。

[python] view plain copy

from sklearn.cross_validation import cross_val_score, ShuffleSplit

X = iris[“data”]

Y = iris[“target”]

names = iris[“feature_names”]

rf = RandomForestRegressor()

scores = []

for i in range(X.shape[1]):

score = cross_val_score(rf, X[:, i:i+1], Y, scoring=”r2″,

cv=ShuffleSplit(len(X), 3, .3))

scores.append((round(np.mean(score), 3), names[i]))

print sorted(scores, reverse=True)

顯示的結果如下：

[(0.934, ‘petal width (cm)’), (0.929, ‘petal length (cm)’), (0.597, ‘sepal length (cm)’), (0.276, ‘sepal width (cm)’)]

這裡我們會發現petal width、petal length這兩個特徵將起到絕對的貢獻，之後是sepal length，影響最小的是sepal width。這段代碼將會提示我們各個特徵的貢獻，可以讓我們知道部分內部的結構。