決策樹(Decision Tree)是機器學習中一種常見的演算法，它的思想非常樸素，就像我們平時利用選擇做決策的過程。決策樹是一種基本的分類與回歸方法，當被用於分類時叫做分類樹，被用於回歸時叫做回歸樹。
一、決策樹結構：
顧名思義，決策樹在邏輯上表現為樹的形式，包含有節點和向邊。
一般情況下，一棵決策樹包含一個根節點、若干個內部節點和若干個葉結點。
根節點：包含樣本全集，從根節點到每個葉結點的路徑對應了一個判定測試序列。
內部節點：表示一個特徵和屬性。每個內部節點都是一個判斷條件，並且包含數據集中，滿足從根節點到該節點所有條件的數據的集合。根據內部節點的屬性測試結果，內部節點對應的數據的集合別分到兩個或多個子節點中。
葉節點：表示一個類，對應於決策結果。葉節點為最終的類別，如果該數據被包含在該葉節點，則屬於該類別。
如下圖中，其中圓和方框分別表示內部節點和葉結點。
簡而言之，決策樹是一個利用樹的模型進行決策的預測模型，表現出的是對象屬性與對象值之間的一種映射關係，簡單明了，非常容易理解。
我們決策樹學習的目的是為了產生一棵泛化能力強，也就是能夠高效、有效處理未見示例的決策樹。
二、決策樹的優缺點：
1.決策樹的最大優點是，對背景知識要求不高，計算複雜度也不是很高，可以自學習。
2.屬於有監督學習
3.對中間缺失值不敏感
4. 解釋性強，甚至超過線性回歸
5.相比傳統的回歸和分類方法，決策樹是更接近人的決策模式
6. 能夠用圖形來表示，即使不是專業人士也可以輕鬆理解
7.可以在不創建啞變數的情況下，直接處理定性的預測變數，
8.決策樹的預測準確性相比一般比回歸和分類方法比較弱，但能夠通過用集成學習方法組合大量決策樹，這樣可以顯著提升樹的預測效果
三、決策樹的生成
決策樹的生成是一個自頂向下的遞歸過程，其基本思想是以信息熵為度量構造一棵熵值下降最快的樹，到葉子結點處的熵值為零。
在決策樹演算法中有三種情形導致遞歸返回：
1)當前節點包含的樣本屬於同一類，不需要劃分;
2)當前屬性集為空，無法進行劃分。這種情況下，需要將當前節點標記成葉節點，並將其類別設定為所含樣本最多的類別;利用當前節點的後驗分布;(就是：有樣本無屬性進行劃分)
3)當前結點包含的樣本集合為空，不能進項劃分。此時，要將當前節點標記為葉節點，將其類別設定為其父結點所含樣本最多的類別;利用父結點的先驗分布(就是：無樣本有屬性)
原創文章，作者：投稿專員，如若轉載，請註明出處：https://www.506064.com/zh-tw/n/314297.html
微信掃一掃 
支付寶掃一掃 