kmeans模型中k值確定的方法

一、聚類模型簡介

kmeans模型是聚類模型的一種，聚類模型是將樣本數據根據它們之間的相似性進行分組的過程。在聚類模型中，將數據分成若干個組，每個組內的數據之間儘可能相似，而不同組的數據之間差異較大。

二、聚類模型中的k值

在kmeans聚類模型中，需要確定聚類的極端數量，也就是k值。具體來說，聚類演算法將所有的樣本點分別賦予某個類，並計算各類的中心點；然後，聚類演算法將每個樣本點重新分配到最近的類中，再重新計算各類的中心點。依此類推，直到各類的中心點不再改變為止。在這個過程中，k值的確定是至關重要的。

三、經驗法則決定k值

在一些特定情況下，k值可以通過經驗法則來決定。最常用的經驗法則是肘部法則，在肘部法則中，對於不同的k值，計算損失函數（樣本到聚類中心點的距離平方和）的均值。以k值為橫坐標，損失函數均值為縱坐標繪製一個圖表，選擇「肘部」（就是坐標繫上圖像突然拐彎的地方）上的點作為k值。

import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from scipy.spatial.distance import cdist

X = [] # 樣本集

# 計算損失函數
distortions = []
K = range(1, 10)
for k in K:
    kmeans = KMeans(n_clusters=k)
    kmeans.fit(X)
    distortions.append(sum(np.min(cdist(X, kmeans.cluster_centers_, 'euclidean'), axis=1)) / X.shape[0])

# 繪製圖表
plt.plot(K, distortions, 'bx-')
plt.xlabel('k')
plt.ylabel('Distortion')
plt.title('Elbow Method For Optimal k')
plt.show()

四、統計學方法決定k值

統計學方法是確定k值的常用方法之一。其中，Gap統計量是一種廣泛使用的統計方法，它通過計算實際數據的總體分布和隨機數據的總體分布之間的差異來確定最佳的聚類數。

import numpy as np
from scipy.cluster import vq

def optimalK(data, nrefs=3, maxClusters=15):
    """
    Determines the optimal number of clusters for k-means clustering

    Keyword arguments:
    ---------------------
    data     : array, shape = [n_samples, n_features] input data
    nrefs    : number of times reference distributions are sampled (default 3)
    maxClusters : Maximum number of clusters to test for (default 15)
    
    Returns:
    ---------------------
    k : list, shape = [nc] optimal number of clusters for each iteration
    Gap : list, shape = [nc] gap statistic of optimal clustering
    """
    # inner dispersion
    W = np.zeros(maxClusters)
    for i in range(1, maxClusters + 1):
        centroids, variance = vq.kmeans(data, i)
        W[i-1] = variance
        
    # gap statistic -- inner dispersion
    refDisp = np.zeros((data.shape[1],maxClusters,nrefs)) # dispersion for reference distributions
    for k in range(1,maxClusters+1):
        for i in range(nrefs):
            randomData = np.random.random_sample(size=data.shape)
            centroids,variance = vq.kmeans(randomData,k)
            refDisp[:, k-1, i] = variance
            
    # gap statistic
    Gap = np.zeros(maxClusters)
    for k in range(1,maxClusters+1):
        Gap[k-1] = np.mean(np.log(refDisp[:, k-1,:])) - np.log(W[k-1])
        
    # number of clusters
    k = Gap.argmax()+1
    return k, Gap

五、信息準則方法決定k值

信息準則是確定k值的常用方法之一，AIC和BIC是兩個常用的信息準則。其中，AIC（Akaike信息準則）越小越好，BIC（貝葉斯信息準則）也是越小越好。這兩個信息準則都會考慮k值對模型複雜度和對數據的擬合程度之間的權衡。

from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score, calinski_harabasz_score, davies_bouldin_score, aic, bic

def optimalK_AIC_BIC(X, max_clusters):
    aic_scores = [aic(KMeans(n_clusters=k).fit(X)) for k in range(1, max_clusters+1)]
    bic_scores = [bic(KMeans(n_clusters=k).fit(X)) for k in range(1, max_clusters+1)]
    return aic_scores.index(min(aic_scores)) + 1, bic_scores.index(min(bic_scores)) + 1

# 評估聚類結果
n_clusters = 4
km = KMeans(n_clusters=n_clusters, random_state=42)
km.fit(X)
labels = km.labels_

silhouette = silhouette_score(X, labels)
calinski_harabasz = calinski_harabasz_score(X, labels)
davies_bouldin = davies_bouldin_score(X, labels)

print("Silhouette score: {}".format(silhouette))
print("Calinski-Harabasz score: {}".format(calinski_harabasz))
print("Davies-Bouldin score: {}".format(davies_bouldin))

六、基於圖形的決定k值的方法

基於圖形的方法是確定k值的另一種常用方法。通過繪製一些圖形，例如散點圖、箱形圖、直方圖等，來觀察數據的分布情況，進而決定k值。當觀察數據分布時發現明顯的聚類和離群值時，可以通過觀察傳遞圖（傳遞圖中每個節點所代表的點最終分類到的聚類為同一聚類）的形態，來決定k的取值。