貝葉斯分類器及python實現的簡單介紹

本文目錄一覽：

• 1、貝葉斯分類器（3）樸素貝葉斯分類器
• 2、python scikit-learn 有什麼算法
• 3、python 如何得到準確率最高的貝葉斯分類器
• 4、哪些機器學習算法可以處理多分類
• 5、樸素貝葉斯分類算法的sklearn實現
• 6、機器學習有哪些算法

貝葉斯分類器（3）樸素貝葉斯分類器

根據 貝葉斯分類器（1）貝葉斯決策論概述、貝葉斯和頻率、概率和似然 ，我們對貝葉斯分類器所要解決的問題、問題的求解方法做了概述，將貝葉斯分類問題轉化成了求解 的問題，在上一篇 貝葉斯分類器（2）極大似然估計、MLE與MAP

中，我們分析了第一個求解方法：極大似然估計。在本篇中，我們來介紹一個更加簡單的 求解方法，並在此基礎上講講常用的一個貝葉斯分類器的實現：樸素貝葉斯分類器（Naive Bayes classifier）。

我們的目標是通過對樣本的學習來得到一個分類器，以此來對未知數據進行分類，即求後驗概率 。在 貝葉斯分類器（1）貝葉斯決策論概述、貝葉斯和頻率、概率和似然 中，我們描述了貝葉斯分類器是以生成式模型的思路來處理這個問題的，如下面的公式所示，貝葉斯分類器通過求得聯合概率 來計算 ，並將聯合概率 轉化成了計算類先驗概率 、類條件概率 、證據因子 。

其中的難點是類條件概率 的計算，因為樣本 本身就是其所有屬性的聯合概率，各種屬性隨意組合，變幻莫測，要計算其中某一種組合出現的概率真的是太難了，而樸素貝葉斯的出現就是為了解決這個問題的。

要想計算聯合概率 ，我們肯定是希望事件 與事件 是相互獨立的，可以簡單粗暴的 ，多想對着流星許下心愿：讓世界上複雜的聯合概率都變成簡單的連乘！

樸素貝葉斯實現了我們的夢想！樸素貝葉斯中的樸素就是對多屬性的聯合分佈做了一個大膽的假設，即 的 個維度之間相互獨立：

樸素貝葉斯通過這一假設大大簡化了 的計算，當然，使用這個假設是有代價的，一般情況下，大量樣本的特徵之間獨立這個條件是弱成立的，畢竟哲學上說聯繫是普遍的，所以我們使用樸素貝葉斯會降低一些準確性；如果實際問題中的事件的各個屬性非常不獨立的話，甚至是無法使用樸素貝葉斯的。總的來說，樸素貝葉斯大大簡化了計算，同時犧牲了一些結果的準確性，具體要不要使用、怎麼使用就看我們在實際問題中的權衡了。

在樸素貝葉斯的思想下再看回分類問題，事件 有 個屬性，可將分類問題按下式轉化：

只需要計算出上式不同類別 下的值，令值最大的類別 即為分類結果。

其中，根據大數定律， ， 是類別 下的後驗概率，其計算要取決於先驗 ，這裡需要分為 是離散或連續兩種情況：

為樣本中類別為 的頻數， 為類別為 的樣本中，第 個屬性中 出現的頻數。

不過有些出現的概率比較低的屬性，在我們的樣本中不一定會出現，即頻數為0，如果不作處理的話會導致其 為0，會導致包含這個屬性的樣本永遠都不會被分類到類別 ，而現實不一定是這樣，因此我們需要對沒出現的情況做平滑處理，比如常見的拉普拉斯平滑，給分子 的頻數加上一個定值 ，而分母加上 ，表示為第 個屬性中的每一種取值的頻數都加定值 ：

舉例：垃圾郵件判斷

樸素貝葉斯分類在垃圾郵件的判斷上有不錯的實踐效果，這是一個二分類問題， ，假設 為垃圾郵件， 為正常郵件，統計出：

現在收到一封郵件包含一些關鍵詞：【中獎，筆記本電腦，特朗普，大選，…】，根據大量的數據可以統計出這些詞出現的頻數，除以類別中所有詞的總頻數得到其出現的後驗概率，在垃圾郵件中：

在正常郵件中：

可以計算得到：

時的值是 時值的26倍，所以判斷此郵件是垃圾郵件。

我們判斷西瓜好壞的問題也可以轉化成離散型隨機變量的分類問題，過程與上面類似。

比如垃圾郵件的例子，在多項式樸素貝葉斯中：

如果我們只關心「中獎」出現與否，不管詞頻，則在伯努利樸素貝葉斯中：

舉例：性別判斷

下面是一組人類身體特徵的統計資料。

有人身高6英尺、體重130磅，腳掌8英寸，判斷此人性別：

各屬性為連續變量，假設男性和女性的身高、體重、腳掌都是正態分佈，通過樣本計算出均值和方差。男性的身高是均值5.855、方差0.035的正態分佈。所以，例如男性的身高為6英尺的概率的相對值等於1.5789（密度函數的值，並不是概率，只用來反映各個值的相對可能性）。

分佈確定後，就可以計算性別的分類了：

女性的概率比男性要高出將近10000倍，所以判斷該人為女性。

在前文1.2.1小節中我們已經提過平滑處理，主要針對於那些在樣本中沒有出現過的詞，它們的概率是0，導致在分類中完全沒有存在感，所以要對這些進行平滑處理。

平滑處理的方法也有很多種，包括我們上面說過的拉普拉斯平滑，除此之外還有古德圖靈平滑，線性插值法，回退法（K-Z回退）等，不過這些方法在自然語言處理中比較常用，我們暫時先不多介紹了，還是聚焦在樸素貝葉斯上，下面我們看看樸素貝葉斯在sklearn中的實現。

sklearn中有3種常用的不同類型的樸素貝葉斯：

1）高斯分佈型樸素貝葉斯

Parameters

priors： array-like of shape (n_classes,)

類別的先驗概率，如果指定，則不再根據數據計算調整

var_smoothing： float, default=1e-9

Portion of the largest variance of all features that is added to variances for calculation stability.（不是很明白）

2）多項式分佈型樸素貝葉斯

Parameters

alpha： float, default=1.0

Additive (Laplace/Lidstone) smoothing parameter (0 for no smoothing).

fit_prior： bool, default=True

Whether to learn class prior probabilities or not. If false, a uniform prior will be used.

class_prior： array-like of shape (n_classes,), default=None

Prior probabilities of the classes. If specified the priors are not adjusted according to the data.

其常用函數與高斯型一樣。

3）伯努利分佈型樸素貝葉斯

Parameters

binarize： float or None, default=0.0

Threshold for binarizing (mapping to booleans) of sample features. If None, input is presumed to already consist of binary vectors.（用於設置二值化的閾值）

官方例子與多項式型的基本一樣，而且也沒有設置binarize，相當於默認使用binarize=0.0，根據源碼 sklearn/preprocessing/_data.py

中的binarize(X, *, threshold=0.0, copy=True)函數可以發現，大於binarize的都賦值為1，其他為0。

優點

缺點

可見，樸素貝葉斯的缺點很大程度來來源於其假設太強，對於其假設符合程度較低的問題會損失較多的準確性，因此，如果我們能把假設弱化一下，是不是就能提高樸素貝葉斯的性能呢？在接下來的篇章中我們來繼續探索。

主要參考資料

《機器學習》周志華

《統計學習方法》 李航

scikit-learn Naive Bayes文檔

python scikit-learn 有什麼算法

1，前言

很久不發文章，主要是Copy別人的總感覺有些不爽，所以整理些乾貨，希望相互學習吧。不啰嗦，進入主題吧，本文主要時說的為樸素貝葉斯分類算法。與邏輯回歸，決策樹一樣，是較為廣泛使用的有監督分類算法，簡單且易於理解（號稱十大數據挖掘算法中最簡單的算法）。但其在處理文本分類，郵件分類，拼寫糾錯，中文分詞，統計機器翻譯等自然語言處理範疇較為廣泛使用，或許主要得益於基於概率理論，本文主要為小編從理論理解到實踐的過程記錄。

2，公式推斷

一些貝葉斯定理預習知識：我們知道當事件A和事件B獨立時，P（AB）=P（A）（B），但如果事件不獨立，則P（AB）=P（A）P（B|A）。為兩件事件同時發生時的一般公式，即無論事件A和B是否獨立。當然也可以寫成P（AB）=P（B）P（A|B），表示若要兩件事同事發生，則需要事件B發生後，事件A也要發生。

由上可知，P（A）P（B|A）= P（B）P（A|B）

推出P（B|A）=

其中P（B）為先驗概率，P（B|A）為B的後驗概率，P（A|B）為A的後驗概率（在這裡也為似然值），P（A）為A的先驗概率（在這也為歸一化常量）。

由上推導可知，其實樸素貝葉斯法就是在貝葉斯定理基礎上，加上特徵條件獨立假設，對特定輸入的X（樣本，包含N個特徵），求出後驗概率最大值時的類標籤Y（如是否為垃圾郵件），理解起來比邏輯回歸要簡單多，有木有，這也是本算法優點之一，當然運行起來由於得益於特徵獨立假設，運行速度也更快。

. 參數估計

3，參數估計

由上面推斷出的公式，我們知道其實樸素貝葉斯方法的學習就是對概率P(Y=ck)和P(X(j)=x(j)|Y=ck)的估計。我們可以用極大似然估計法估計上述先驗概率和條件概率。

其中I(x)為指示函數，若括號內成立，則計1，否則為0。李航的課本直接給出了用極大似然（MLE）估計求出的結果，並沒給推導過程，

我們知道，貝葉斯較為常見的問題為0概率問題。為此，需要平滑處理，主要使用拉普拉斯平滑，如下所示：

K是類的個數，Sj是第j維特徵的最大取值。實際上平滑因子λ=0即為最大似然估計，這時會出現提到的0概率問題；而λ=1則避免了0概率問題，這種方法被稱為拉普拉斯平滑。

4，算法流程

5，樸素貝葉斯算法優缺點

優點：樸素貝葉斯模型發源於古典數學理論，有着堅實的數學基礎，以及穩定的分類效率

需調參較少，簡單高效，尤其是在文本分類/垃圾文本過濾/情感判別等自然語言處理有廣泛應用。

在樣本量較少情況下，也能獲得較好效果，計算複雜度較小，即使在多分類問題。

無論是類別類輸入還是數值型輸入（默認符合正態分佈）都有相應模型可以運用。

缺點：0概率問題，需要平滑處理，通常為拉普拉斯平滑，但加一平滑不一定為效果最好，

樸素貝葉斯有分佈獨立的假設前提，生活中較少完全獨立，在屬性個數比較多或者屬性之間相關性較大時，NBC模型的分類效率比不上決策樹模型。而在屬性相關性較小時，NBC模型的性能最為良好。

模型注意點：

1， 大家也知道，很多特徵是連續數值型的，一般選擇使用樸素貝葉斯高斯模型。

2， 為避免0概率事件，記得平滑，簡單一點可以用『拉普拉斯平滑』。先處理處理特徵，把相關特徵去掉，

3， 樸素貝葉斯分類器一般可調參數比較少，需集中精力進行數據的預處理等特徵工程工作。

6，Scikit-learn三大樸素貝葉斯模型

Scikit-learn裏面有3種不同類型的樸素貝葉斯（：

1， 高斯分佈型模型：用於classification問題，假定屬性/特徵是服從正態分佈的，一般用在數值型特徵。,

2， 多項式型模型：用於離散值模型里。比如文本分類問題裏面我們提到過，我們不光看詞語是否在文本中出現，也得看出現的次數。如果總詞數為n，出現詞數為m的話，說起來有點像擲骰子n次出現m次這個詞的場景。

3， 伯努利模型：這種情況下，就如提到的bag ofwords處理方式一樣，最後得到的特徵只有0(沒出現)和1(出現過)。

7. Scikit-learn算法實踐

小編通過實現樸素貝葉斯三種模型以及主要分類算法，對比發現跟SVM，隨機森林，融合算法相比，貝葉斯差距明顯，但其時間消耗要遠低於上述算法，以下為主要算法主要評估指標）。

8. Python代碼

# -*-coding: utf-8 -*-

importtime

fromsklearn import metrics

fromsklearn.naive_bayes import GaussianNB

fromsklearn.naive_bayes import MultinomialNB

fromsklearn.naive_bayes import BernoulliNB

fromsklearn.neighbors import KNeighborsClassifier

fromsklearn.linear_model import LogisticRegression

fromsklearn.ensemble import RandomForestClassifier

fromsklearn import tree

fromsklearn.ensemble import GradientBoostingClassifier

fromsklearn.svm import SVC

importnumpy as np

importurllib

# urlwith dataset

url =”-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data”

#download the file

raw_data= urllib.request.urlopen(url)

#load the CSV file as a numpy matrix

dataset= np.loadtxt(raw_data, delimiter=”,”)

#separate the data from the target attributes

X =dataset[:,0:7]

#X=preprocessing.MinMaxScaler().fit_transform(x)

#print(X)

y =dataset[:,8]

print(“\n調用scikit的樸素貝葉斯算法包GaussianNB “)

model= GaussianNB()

start_time= time.time()

model.fit(X,y)

print(‘training took %fs!’ % (time.time() – start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(“\n調用scikit的樸素貝葉斯算法包MultinomialNB “)

model= MultinomialNB(alpha=1)

start_time= time.time()

model.fit(X,y)

print(‘training took %fs!’ % (time.time() – start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(“\n調用scikit的樸素貝葉斯算法包BernoulliNB “)

model= BernoulliNB(alpha=1,binarize=0.0)

start_time= time.time()

model.fit(X,y)

print(‘training took %fs!’ % (time.time() – start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(“\n調用scikit的KNeighborsClassifier “)

model= KNeighborsClassifier()

start_time= time.time()

model.fit(X,y)

print(‘training took %fs!’ % (time.time() – start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(“\n調用scikit的LogisticRegression(penalty=’l2′) “)

model= LogisticRegression(penalty=’l2′)

start_time= time.time()

model.fit(X,y)

print(‘training took %fs!’ % (time.time() – start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(“\n調用scikit的RandomForestClassifier(n_estimators=8)  “)

model= RandomForestClassifier(n_estimators=8)

start_time= time.time()

model.fit(X,y)

print(‘training took %fs!’ % (time.time() – start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(“\n調用scikit的tree.DecisionTreeClassifier() “)

model= tree.DecisionTreeClassifier()

start_time= time.time()

model.fit(X,y)

print(‘training took %fs!’ % (time.time() – start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(“\n調用scikit的GradientBoostingClassifier(n_estimators=200) “)

model= GradientBoostingClassifier(n_estimators=200)

start_time= time.time()

model.fit(X,y)

print(‘training took %fs!’ % (time.time() – start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(“\n調用scikit的SVC(kernel=’rbf’, probability=True) “)

model= SVC(kernel=’rbf’, probability=True)

start_time= time.time()

model.fit(X,y)

print(‘training took %fs!’ % (time.time() – start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

“””

# 預處理代碼集錦

importpandas as pd

df=pd.DataFrame(dataset)

print(df.head(3))

print(df.describe())##描述性分析

print(df.corr())##各特徵相關性分析

##計算每行每列數據的缺失值個數

defnum_missing(x):

return sum(x.isnull())

print(“Missing values per column:”)

print(df.apply(num_missing, axis=0)) #axis=0代表函數應用於每一列

print(“\nMissing values per row:”)

print(df.apply(num_missing, axis=1).head()) #axis=1代表函數應用於每一行”””

python 如何得到準確率最高的貝葉斯分類器

該樣本被分為C類的條件概率。那麼如何用上式來對測試樣本分類呢？

舉例來說，有個測試樣本，其特徵F1出現了（F1=1），那麼就計算P(C=0|F1=1)和P(C=1|F1=1)的概率值。前者大，則該樣本被認為是0類；後者大，則分為1類。

哪些機器學習算法可以處理多分類

maxsoft作為logistics二分類的改進版，天生適合多分類；神經網絡(如bp神經網絡，隨機權神經網絡，RBF神經網絡等)；通過建立多個支持向量機或者最小二乘支持向量機分類模型，通過投票算法選擇概率最大的分類標籤；也可以通過聚類算法(KNN，kMeans等)等無監督學習算法實現分類。

樸素貝葉斯分類器算法是最受歡迎的學習方法之一，按照相似性分類，用流行的貝葉斯概率定理來建立機器學習模型，特別是用於疾病預測和文檔分類。 它是基於貝葉斯概率定理的單詞的內容的主觀分析的簡單分類。

如果特徵數量遠大於訓練樣本數，則使用邏輯回歸或線性核方法的SVM。

如果特徵數較小，而樣本數量相對較多，可以考慮高斯核方法的SVM。

如果特徵數少兒樣本數極大，可以考慮增加一些特徵，再使用邏輯回歸或線性核方法的SVM

神經網絡則對上述情況都可適用，但訓練時間較長。

想要學習了解更多機器學習的信息，推薦CDA數據分析師課程。CDA 與國際知名考試服務機構 Pearson VUE 合作,認證考點覆蓋全球。課程內容綜合使用統計分析方法、統計模型、運籌學、機器學習、文本挖掘算法，而非單一的機器學習算法。 點擊預約免費試聽課。

樸素貝葉斯分類算法的sklearn實現

1、背景

《機器學習實戰》當中，用python根據貝葉斯公式實現了基本的分類算法。現在來看看用sklearn，如何實現。還拿之前的例子，對帖子的分類。數據如下：

補充：題目的值左邊是幾個人的評論，右邊是評論屬於侮辱類（1）、正常類（0），需要進行文本分類，且再有新的文本過來時能自動劃分至0或1。

2、分類

（1）算法的準備

通過查看sklearn的訓練模型函數，fit(X, Y)，發現只需要準備兩個參數。一個是數據的矩陣，另一個是數據的分類數組。首先就是將以上的文本轉化成矩陣。

在前一章其實已經講解過如何將文本轉化成矩陣。這裡將示意的再補充下。

a.首先選取所有的單詞，形成列，也可理解為屬性。例如：

b.其次將遍歷每個文本，填滿上述列的值。文本出現過列的次，填一。沒有出現過填0。比如第一句就是：my dog has flea problems help please，可表示為：

同理所有的文本都可如此表示，所以就形成了一個數字的矩陣。

（2）beyes模型的選擇

在完成數據的準備以後，就可以直接調用sklearn的模型和函數完成模型的訓練啦。但在beyes模型的選擇的時候發現，beyes下有多個模型可選擇，所以這個會讓人糾結。接下來共同了解下這些模型：

a.高斯模型（GaussianNB）

高斯模型是對於每個屬性的值是連續的，且服從高斯分佈時可使用：

比如人的身高，比如花的高度等等。當然你也可將這些數據離散化，比如按等距劃分、等頻劃分成離散的值，但可能效果都沒有直接用高斯模型來計算的好。

用法：class sklearn.naive_bayes.GaussianNB

參數：無

b.多項式模型（MultinominalNB）

如果大部分是多元離散值，則採用多項式模型要好些。多項式模型，通常就是構造參數向量，然後通過極大似然估計來尋求參數的最有值。

這裡只簡單的略列一些公式，具體可查詢更多資料。從這個計算過程中可得出，這裡引入啦一個平滑先驗值alpha，這個值在模型訓練的時候也會用到。通常alpha0，可引入不在訓練集的特徵，尤其當alpha=1，成為拉普拉絲平滑。具體alpha取值對模型的影響可附件的圖。

用法：class sklearn.naive_bayes.MultinomialNB(alpha=1.0,fit_prior=True,class_prior=None) 

參數：

alpha：浮點數，就是上述說的引入平滑的值；

fit_prior：bool值，如果為Ture，則不用去學習P(y=ck),以均勻分佈替代，否則則去學習P（y=ck）（不懂）

class_prior:一個數組。它指定了每個分類的先驗概率P(y=c1),P(y=c2)…..,若指定了該參數 

則每個分類的先驗概率無需學習 （不懂）

c.伯努利模型（BernoulliNB）

如果特徵值為二元離散值或是稀疏的多元離散值，則可採用伯努利模型。

公式：class sklearn.naive_bayes.BernoulliNB(alpha=1.0,binarize=0.0,fit_prior=Ture, 

class_prior=None) 

參數：

binarize:一個浮點數或者None，如果為浮點數則以該數值為界，特徵值大於它的取1，小於的為0 。如果為None，假定原始數據已經二值化 

其它參數同上。

通過以上的模型對比和分析，由於文本分析轉化後是很多二項取值的稀疏矩陣，因此選取伯努利模型效果會更佳。

補充：alpha、binarize值對模型效果的影響

機器學習有哪些算法

樸素貝葉斯分類器算法是最受歡迎的學習方法之一，按照相似性分類，用流行的貝葉斯概率定理來建立機器學習模型，特別是用於疾病預測和文檔分類。 它是基於貝葉斯概率定理的單詞的內容的主觀分析的簡單分類。

什麼時候使用機器學習算法 – 樸素貝葉斯分類器？

（1）如果您有一個中等或大的訓練數據集。

（2）如果實例具有幾個屬性。

（3）給定分類參數，描述實例的屬性應該是條件獨立的。

A．樸素貝葉斯分類器的應用

（1）情緒分析 – 用於Facebook分析表示積極或消極情緒的狀態更新。

（2）文檔分類 – Google使用文檔分類來索引文檔並查找相關性分數，即PageRank。 PageRank機制考慮在使用文檔分類技術解析和分類的數據庫中標記為重要的頁面。

（3）樸素貝葉斯算法也用於分類關於技術，娛樂，體育，政治等的新聞文章。

（4）電子郵件垃圾郵件過濾 – Google Mail使用NaïveBayes算法將您的電子郵件歸類為垃圾郵件或非垃圾郵件。

B．樸素貝葉斯分類器機器學習算法的優點

（1）當輸入變量是分類時，樸素貝葉斯分類器算法執行得很好。

（2）當樸素貝葉斯條件獨立假設成立時，樸素貝葉斯分類器收斂更快，需要相對較少的訓練數據，而不像其他判別模型，如邏輯回歸。

（3）使用樸素貝葉斯分類器算法，更容易預測測試數據集的類。 多等級預測的好賭注。

（4）雖然它需要條件獨立假設，但是樸素貝葉斯分類器在各種應用領域都表現出良好的性能。

Python中的數據科學庫實現NaïveBayes – Sci-Kit學習

數據科學圖書館在R實施樸素貝葉斯 – e1071

3.2 K均值聚類算法

K-means是用於聚類分析的普遍使用的無監督機器學習算法。 K-Means是一種非確定性和迭代的方法。 該算法通過預定數量的簇k對給定數據集進行操作。 K Means算法的輸出是具有在簇之間分割的輸入數據的k個簇。

例如，讓我們考慮維基百科搜索結果的K均值聚類。 維基百科上的搜索詞「Jaguar」將返回包含Jaguar這個詞的所有頁面，它可以將Jaguar稱為Car，Jaguar稱為Mac OS版本，Jaguar作為動物。 K均值聚類算法可以應用於對描述類似概念的網頁進行分組。 因此，算法將把所有談論積架的網頁作為一個動物分組到一個集群，將積架作為一個汽車分組到另一個集群，等等。

A．使用K-means聚類機學習算法的優點

（1）在球狀簇的情況下，K-Means產生比層級聚類更緊密的簇。

（2）給定一個較小的K值，K-Means聚類計算比大量變量的層次聚類更快。

B．K-Means聚類的應用

K Means Clustering算法被大多數搜索引擎（如Yahoo，Google）用於通過相似性對網頁進行聚類，並識別搜索結果的「相關率」。 這有助於搜索引擎減少用戶的計算時間。

Python中的數據科學庫實現K均值聚類 – SciPy，Sci-Kit學習，Python包裝

數據科學庫中的R實現K均值聚類 – 統計

3.3 支持向量機學習算法

支持向量機是一種分類或回歸問題的監督機器學習算法，其中數據集教導關於類的SVM，以便SVM可以對任何新數據進行分類。 它通過找到將訓練數據集分成類的線（超平面）將數據分類到不同的類中來工作。 由於存在許多這樣的線性超平面，SVM算法嘗試最大化所涉及的各種類之間的距離，並且這被稱為邊際最大化。 如果識別出最大化類之間的距離的線，則增加對未看見數據良好推廣的概率。

A．SVM分為兩類：

線性SVM – 在線性SVM中，訓練數據，即分類器由超平面分離。

非線性SVM在非線性SVM中，不可能使用超平面來分離訓練數據。 例如，用於面部檢測的訓練數據由作為面部的一組圖像和不是面部的另一組圖像（換句話說，除了面部之外的所有其他圖像）組成。 在這種條件下，訓練數據太複雜，不可能找到每個特徵向量的表示。 將面的集合與非面的集線性分離是複雜的任務。

B．使用SVM的優點

（1）SVM對訓練數據提供最佳分類性能（精度）。

（2）SVM為未來數據的正確分類提供了更高的效率。

（3）SVM的最好的事情是它不對數據做任何強有力的假設。

（4）它不會過度擬合數據。

C．支持向量機的應用

（1）SVM通常用於各種金融機構的股票市場預測。 例如，它可以用來比較股票相對於同一行業中其他股票的表現的相對表現。 股票的相對比較有助於管理基於由SVM學習算法做出的分類的投資決策。

（2）Python中的數據科學庫實現支持向量機-SciKit學習，PyML，SVMStruct Python，LIBSVM

（3）R中的數據科學庫實現支持向量機 – klar，e1071

3.4 Apriori機器學習算法

Apriori算法是無監督機器學習算法，其從給定數據集生成關聯規則。 關聯規則意味着如果項目A出現，則項目B也以一定概率出現。 生成的大多數關聯規則採用IF_THEN格式。 例如，如果人們買了一個iPad，他們還買了一個iPad保護套。 為了得到這樣的結論的算法，它首先觀察購買iPad的人購買iPad的人數。 這樣一來，比例就像100個購買iPad的人一樣，85個人還購買了一個iPad案例。

A．Apriori機器學習算法的基本原理：

如果項集合頻繁出現，則項集合的所有子集也頻繁出現。

如果項集合不經常出現，則項集合的所有超集都不經常出現。

B．先驗算法的優點

（1）它易於實現並且可以容易地並行化。

（2）Apriori實現使用大項目集屬性。

C.Apriori算法應用

檢測不良藥物反應

Apriori算法用於關於醫療數據的關聯分析，例如患者服用的藥物，每個患者的特徵，不良的不良反應患者體驗，初始診斷等。該分析產生關聯規則，其幫助識別患者特徵和藥物的組合 導致藥物的不良副作用。

市場籃子分析

許多電子商務巨頭如亞馬遜使用Apriori來繪製數據洞察，哪些產品可能是一起購買，哪些是最響應促銷。 例如，零售商可能使用Apriori預測購買糖和麵粉的人很可能購買雞蛋來烘烤蛋糕。

自動完成應用程序

Google自動完成是Apriori的另一個流行的應用程序，其中 – 當用戶鍵入單詞時，搜索引擎尋找人們通常在特定單詞之後鍵入的其他相關聯的單詞。

Python中的數據科學庫實現Apriori機器學習算法 – 在PyPi中有一個python實現Apriori

數據科學庫在R中實現Apriori機器學習算法 – arules

3.5 線性回歸機器學習算法

線性回歸算法顯示了2個變量之間的關係，以及一個變量中的變化如何影響另一個變量。 該算法顯示了在改變自變量時對因變量的影響。 自變量被稱為解釋變量，因為它們解釋了因變量對因變量的影響。 依賴變量通常被稱為感興趣的因子或預測因子。

A．線性回歸機器學習算法的優點

（1）它是最可解釋的機器學習算法之一，使得它很容易解釋給別人。

（2）它易於使用，因為它需要最小的調諧。

（3）它是最廣泛使用的機器學習技術運行快。

B．線性回歸算法應用

估計銷售額

線性回歸在業務中有很大的用途，基於趨勢的銷售預測。如果公司每月的銷售額穩步增長 – 對月度銷售數據的線性回歸分析有助於公司預測未來幾個月的銷售額。

風險評估

線性回歸有助於評估涉及保險或金融領域的風險。健康保險公司可以對每個客戶的索賠數量與年齡進行線性回歸分析。這種分析有助於保險公司發現，老年顧客傾向於提出更多的保險索賠。這樣的分析結果在重要的商業決策中起着至關重要的作用，並且是為了解決風險。

Python中的數據科學庫實現線性回歸 – statsmodel和SciKit

R中的數據科學庫實現線性回歸 – 統計

3.6 決策樹機器學習算法

你正在製作一個周末計劃，去訪問最好的餐館在城裡，因為你的父母訪問，但你是猶豫的決定在哪家餐廳選擇。每當你想去一家餐館，你問你的朋友提利昂如果他認為你會喜歡一個特定的地方。為了回答你的問題，提利昂首先要找出，你喜歡的那種餐館。你給他一個你去過的餐館列表，告訴他你是否喜歡每個餐廳（給出一個標記的訓練數據集）。當你問提利昂你是否想要一個特定的餐廳R，他問你各種問題，如「是」R「屋頂餐廳？」，「餐廳」R「服務意大利菜嗎？」，現場音樂？「，」餐廳R是否營業至午夜？「等等。提利昂要求您提供幾個信息問題，以最大限度地提高信息收益，並根據您對問卷的答案給予YES或NO回答。這裡Tyrion是你最喜歡的餐廳偏好的決策樹。

決策樹是一種圖形表示，其使用分支方法來基於某些條件來例示決策的所有可能的結果。在決策樹中，內部節點表示對屬性的測試，樹的每個分支表示測試的結果，葉節點表示特定類標籤，即在計算所有屬性之後作出的決定。分類規則通過從根到葉節點的路徑來表示。

A．決策樹的類型

（1）分類樹 – 這些被視為用於基於響應變量將數據集分成不同類的默認種類的決策樹。 這些通常在響應變量本質上是分類時使用。

（2）回歸樹 – 當響應或目標變量是連續或數字時，使用回歸樹。 與分類相比，這些通常用於預測類型的問題。

根據目標變量的類型 – 連續變量決策樹和二進制變量決策樹，決策樹也可以分為兩種類型。 它是有助於決定對於特定問題需要什麼樣的決策樹的目標變量。

B．為什麼選擇決策樹算法？

（1）這些機器學習算法有助於在不確定性下作出決策，並幫助您改善溝通，因為他們提供了決策情況的可視化表示。

（2）決策樹機器學習算法幫助數據科學家捕獲這樣的想法：如果採取了不同的決策，那麼情境或模型的操作性質將如何劇烈變化。

（3）決策樹算法通過允許數據科學家遍歷前向和後向計算路徑來幫助做出最佳決策。

C．何時使用決策樹機器學習算法

（1）決策樹對錯誤是魯棒的，並且如果訓練數據包含錯誤，則決策樹算法將最適合於解決這樣的問題。

（2）決策樹最適合於實例由屬性值對表示的問題。

（3）如果訓練數據具有缺失值，則可以使用決策樹，因為它們可以通過查看其他列中的數據來很好地處理丟失的值。

（4）當目標函數具有離散輸出值時，決策樹是最適合的。

D.決策樹的優點

（1）決策樹是非常本能的，可以向任何人輕鬆解釋。來自非技術背景的人，也可以解釋從決策樹繪製的假設，因為他們是不言自明的。

（2）當使用決策樹機器學習算法時，數據類型不是約束，因為它們可以處理分類和數值變量。

（3）決策樹機器學習算法不需要對數據中的線性進行任何假設，因此可以在參數非線性相關的情況下使用。這些機器學習算法不對分類器結構和空間分佈做出任何假設。

（4）這些算法在數據探索中是有用的。決策樹隱式執行特徵選擇，這在預測分析中非常重要。當決策樹適合於訓練數據集時，在其上分割決策樹的頂部的節點被認為是給定數據集內的重要變量，並且默認情況下完成特徵選擇。

（5）決策樹有助於節省數據準備時間，因為它們對缺失值和異常值不敏感。缺少值不會阻止您拆分構建決策樹的數據。離群值也不會影響決策樹，因為基於分裂範圍內的一些樣本而不是準確的絕對值發生數據分裂。

E.決策樹的缺點

（1）樹中決策的數量越多，任何預期結果的準確性越小。

（2）決策樹機器學習算法的主要缺點是結果可能基於預期。當實時做出決策時，收益和產生的結果可能與預期或計劃不同。有機會，這可能導致不現實的決策樹導致錯誤的決策。任何不合理的期望可能導致決策樹分析中的重大錯誤和缺陷，因為並不總是可能計劃從決策可能產生的所有可能性。

（3）決策樹不適合連續變量，並導致不穩定性和分類高原。

（4）與其他決策模型相比，決策樹很容易使用，但是創建包含幾個分支的大決策樹是一個複雜和耗時的任務。

（5）決策樹機器學習算法一次只考慮一個屬性，並且可能不是最適合於決策空間中的實際數據。

（6）具有多個分支的大尺寸決策樹是不可理解的，並且造成若干呈現困難。

F.決策樹機器學習算法的應用

（1）決策樹是流行的機器學習算法之一，它在財務中對期權定價有很大的用處。

（2）遙感是基於決策樹的模式識別的應用領域。

（3）銀行使用決策樹算法按貸款申請人違約付款的概率對其進行分類。

（4）Gerber產品公司，一個流行的嬰兒產品公司，使用決策樹機器學習算法來決定他們是否應繼續使用塑料PVC（聚氯乙烯）在他們的產品。

（5）Rush大學醫學中心開發了一個名為Guardian的工具，它使用決策樹機器學習算法來識別有風險的患者和疾病趨勢。

Python語言中的數據科學庫實現決策樹機器學習算法是 – SciPy和Sci-Kit學習。

R語言中的數據科學庫實現決策樹機器學習算法是插入符號。

3.7 隨機森林機器學習算法

讓我們繼續我們在決策樹中使用的同樣的例子，來解釋隨機森林機器學習算法如何工作。提利昂是您的餐廳偏好的決策樹。然而，提利昂作為一個人並不總是準確地推廣你的餐廳偏好。要獲得更準確的餐廳推薦，你問一對夫婦的朋友，並決定訪問餐廳R，如果大多數人說你會喜歡它。而不是只是問Tyrion，你想問問Jon Snow，Sandor，Bronn和Bran誰投票決定你是否喜歡餐廳R或不。這意味着您已經構建了決策樹的合奏分類器 – 也稱為森林。

你不想讓所有的朋友給你相同的答案 – 所以你提供每個朋友略有不同的數據。你也不確定你的餐廳偏好，是在一個困境。你告訴提利昂你喜歡開頂屋頂餐廳，但也許，只是因為它是在夏天，當你訪問的餐廳，你可能已經喜歡它。在寒冷的冬天，你可能不是餐廳的粉絲。因此，所有的朋友不應該利用你喜歡打開的屋頂餐廳的數據點，以提出他們的建議您的餐廳偏好。

通過為您的朋友提供略微不同的餐廳偏好數據，您可以讓您的朋友在不同時間向您詢問不同的問題。在這種情況下，只是稍微改變你的餐廳偏好，你是注入隨機性在模型級別（不同於決策樹情況下的數據級別的隨機性）。您的朋友群現在形成了您的餐廳偏好的隨機森林。

隨機森林是一種機器學習算法，它使用裝袋方法來創建一堆隨機數據子集的決策樹。模型在數據集的隨機樣本上進行多次訓練，以從隨機森林算法中獲得良好的預測性能。在該整體學習方法中，將隨機森林中所有決策樹的輸出結合起來進行最終預測。隨機森林算法的最終預測通過輪詢每個決策樹的結果或者僅僅通過使用在決策樹中出現最多次的預測來導出。

例如，在上面的例子 – 如果5個朋友決定你會喜歡餐廳R，但只有2個朋友決定你不會喜歡的餐廳，然後最後的預測是，你會喜歡餐廳R多數總是勝利。

A.為什麼使用隨機森林機器學習算法？

（1）有很多好的開源，在Python和R中可用的算法的自由實現。

（2）它在缺少數據時保持準確性，並且還能抵抗異常值。

（3）簡單的使用作為基本的隨機森林算法可以實現只用幾行代碼。

（4）隨機森林機器學習算法幫助數據科學家節省數據準備時間，因為它們不需要任何輸入準備，並且能夠處理數字，二進制和分類特徵，而無需縮放，變換或修改。

（5）隱式特徵選擇，因為它給出了什麼變量在分類中是重要的估計。

B.使用隨機森林機器學習算法的優點

（1）與決策樹機器學習算法不同，過擬合對隨機森林不是一個問題。沒有必要修剪隨機森林。

（2）這些算法很快，但不是在所有情況下。隨機森林算法當在具有100個變量的數據集的800MHz機器上運行時，並且50,000個案例在11分鐘內產生100個決策樹。

（3）隨機森林是用於各種分類和回歸任務的最有效和通用的機器學習算法之一，因為它們對噪聲更加魯棒。

（4）很難建立一個壞的隨機森林。在隨機森林機器學習算法的實現中，容易確定使用哪些參數，因為它們對用於運行算法的參數不敏感。一個人可以輕鬆地建立一個體面的模型沒有太多的調整

（5）隨機森林機器學習算法可以並行生長。

（6）此算法在大型數據庫上高效運行。

（7）具有較高的分類精度。

C.使用隨機森林機器學習算法的缺點

他們可能很容易使用，但從理論上分析它們是很困難的。

隨機森林中大量的決策樹可以減慢算法進行實時預測。

如果數據由具有不同級別數量的分類變量組成，則算法會偏好具有更多級別的那些屬性。 在這種情況下，可變重要性分數似乎不可靠。

當使用RandomForest算法進行回歸任務時，它不會超出訓練數據中響應值的範圍。

D.隨機森林機器學習算法的應用

（1）隨機森林算法被銀行用來預測貸款申請人是否可能是高風險。

（2）它們用於汽車工業中以預測機械部件的故障或故障。

（3）這些算法用於醫療保健行業以預測患者是否可能發展成慢性疾病。

（4）它們還可用於回歸任務，如預測社交媒體份額和績效分數的平均數。

（5）最近，該算法也已經被用於預測語音識別軟件中的模式並對圖像和文本進行分類。

Python語言中的數據科學庫實現隨機森林機器學習算法是Sci-Kit學習。

R語言的數據科學庫實現隨機森林機器學習算法randomForest。