關於python實現關鍵詞聚類的信息

本文目錄一覽：

• 1、怎麼用python進行聚類分析
• 2、python怎麼用sklearn包進行聚類
• 3、Python怎麼構建文本矩陣並聚類
• 4、如何用python對文本進行聚類
• 5、python代碼如何應用系統聚類和K-means聚類法進行聚類分析？ 然後選擇變量，建立適當的模型？
• 6、建議收藏！10 種 Python 聚類算法完整操作示例

怎麼用python進行聚類分析

、K均值聚類K-Means算法思想簡單，效果卻很好，是最有名的聚類算法。聚類算法的步驟如下：1：初始化K個樣本作為初始聚類中心；2：計算每個樣本點到K個中心的距離，選擇最近的中心作為其分類，直到所有樣本點分類完畢；3：分別計算K個類中所有樣本的質心，作為新的中心點，完成一輪迭代。通常的迭代結束條件為新的質心與之前的質心偏移值小於一

python怎麼用sklearn包進行聚類

# -*- coding: utf-8 -*-

from sklearn.cluster import KMeans

from sklearn.externals import joblib

import numpy

final = open(‘c:/test/final.dat’ , ‘r’)

data = [line.strip().split(‘\t’) for line in final]

feature = [[float(x) for x in row[3:]] for row in data]

#調用kmeans類

clf = KMeans(n_clusters=9)

s = clf.fit(feature)

print s

#9個中心

print clf.cluster_centers_

#每個樣本所屬的簇

print clf.labels_

#用來評估簇的個數是否合適，距離越小說明簇分的越好，選取臨界點的簇個數

print clf.inertia_

#進行預測

print clf.predict(feature)

#保存模型

joblib.dump(clf , ‘c:/km.pkl’)

#載入保存的模型

clf = joblib.load(‘c:/km.pkl’)

”’

#用來評估簇的個數是否合適，距離越小說明簇分的越好，選取臨界點的簇個數

for i in range(5,30,1):

    clf = KMeans(n_clusters=i)

    s = clf.fit(feature)

    print i , clf.inertia_

”’

Python怎麼構建文本矩陣並聚類

可能我很快回答不了你的問題。還需要細細回味一下。

但是我覺得你的問題是一個比較明顯的短文本聚類問題，這個問題應該在國際上都是比較難的吧。

如果還涉及到中文，中文的相關處理又不能照抄英文短文本聚類的方法，相關資料更加少了。

我倒是建議你 多看一些短文本聚類相關的文章。

問題一:技術上python矩陣表示的話：你可以使用python包,如下：

from numpy import matrix

A = matrix( [[1,2,3],[11,12,13],[21,22,23]])

這樣你需要額外規定化：行i表示文檔編號i的文檔,列j表示詞j出現次數,A[i][j]表示在文檔i中詞j的出現頻率

或者

如同那篇文章所說的採用dict表示法:A = [{‘額外’:1},{‘每天’:1,’回帖’:1},……]表示整個文檔集合。

問題二:如同這樣的問題本質一樣，短文本聚類是否還適合傳統的分詞,去除副詞…等處理步驟，

如何選擇合適的模型來表示這類問題，我覺得你還是參考一些這方面的文章,最好中文的。

比如現在很火的微博,也會有好多的人嘗試對其中成幹上萬評論進行聚類。很多進行二類或者三類聚類/分類：支持-中立-反對。

論壇的評論應該很早以前就有研究聚類/分類.我覺得去那裡參考會更好.如果不是特別面向指定目的的聚類，我覺得採用一些使用寬泛的方法就行了。感覺結果不會很好。

問題三：EM算法感覺像純數學的東西，學術功底不夠深，我也不好發表看法。

感覺這個問題的本質已經超出我的知識範疇。最簡單文檔聚類無非：分詞-文本預處理[同義詞之類]-文檔與詞計頻矩陣表示-(TF-IDF預處理)-kmeans跑起來-輸出結果.

如何用python對文本進行聚類

實現原理：

首先從Tourist_spots_5A_BD.txt中讀取景點信息，然後通過調用無界面瀏覽器PhantomJS（Firefox可替代）訪問百度百科鏈接””，通過Selenium獲取輸入對話框ID，輸入關鍵詞如”故宮”，再訪問該百科頁面。最後通過分析DOM樹結構獲取摘要的ID並獲取其值。核心代碼如下：

driver.find_elements_by_xpath(“//div[@class=’lemma-summary’]/div”)

PS：Selenium更多應用於自動化測試，推薦Python爬蟲使用scrapy等開源工具。

# coding=utf-8

“””

Created on 2015-09-04 @author: Eastmount

“””

import time

import re

import os

import sys

import codecs

import shutil

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

import selenium.webdriver.support.ui as ui

from selenium.webdriver.common.action_chains import ActionChains

#Open PhantomJS

driver = webdriver.PhantomJS(executable_path=”G:\phantomjs-1.9.1-windows\phantomjs.exe”)

#driver = webdriver.Firefox()

wait = ui.WebDriverWait(driver,10)

#Get the Content of 5A tourist spots

def getInfobox(entityName, fileName):

try:

#create paths and txt files

print u’文件名稱: ‘, fileName

info = codecs.open(fileName, ‘w’, ‘utf-8’)

#locate input notice: 1.visit url by unicode 2.write files

#Error: Message: Element not found in the cache –

# Perhaps the page has changed since it was looked up

#解決方法: 使用Selenium和Phantomjs

print u’實體名稱: ‘, entityName.rstrip(‘\n’)

driver.get(“”)

elem_inp = driver.find_element_by_xpath(“//form[@id=’searchForm’]/input”)

elem_inp.send_keys(entityName)

elem_inp.send_keys(Keys.RETURN)

info.write(entityName.rstrip(‘\n’)+’\r\n’) #codecs不支持’\n’換行

time.sleep(2)

#load content 摘要

elem_value = driver.find_elements_by_xpath(“//div[@class=’lemma-summary’]/div”)

for value in elem_value:

print value.text

info.writelines(value.text + ‘\r\n’)

time.sleep(2)

except Exception,e: #’utf8′ codec can’t decode byte

print “Error: “,e

finally:

print ‘\n’

info.close()

#Main function

def main():

#By function get information

path = “BaiduSpider\\”

if os.path.isdir(path):

shutil.rmtree(path, True)

os.makedirs(path)

source = open(“Tourist_spots_5A_BD.txt”, ‘r’)

num = 1

for entityName in source:

entityName = unicode(entityName, “utf-8”)

if u’故宮’ in entityName: #else add a ‘?’

entityName = u’北京故宮’

name = “%04d” % num

fileName = path + str(name) + “.txt”

getInfobox(entityName, fileName)

num = num + 1

print ‘End Read Files!’

source.close()

driver.close()

if __name__ == ‘__main__’:

main()

python代碼如何應用系統聚類和K-means聚類法進行聚類分析？ 然後選擇變量，建立適當的模型？

-Means聚類算法

k-means算法以k為參數，把n個對象分成k個簇，使簇內具有較高的相似度，而簇間的相似度較低。

隨機選擇k個點作為初始的聚類中心。

對於剩下的點，根據其與聚類中心的距離，將其歸入最近的簇。

對每個簇，計算所有點的均值作為新的聚類中心。

重複2，3直到聚類中心不再發生改變

Figure 1

K-means的應用

數據介紹：

現有1999年全國31個省份城鎮居民家庭平均每人全年消費性支出的八大主要變量數據，這八大變量分別是：食品、衣着、家庭設備用品及服務、醫療保健、交通和通訊、娛樂教育文化服務、居住以及雜項商品和服務。利用已有數據，對31個省份進行聚類。

實驗目的：

通過聚類，了解1999年各個省份的消費水平在國內的情況。

技術路線：

sklearn.cluster.Kmeans

數據實例：

建議收藏！10 種 Python 聚類算法完整操作示例

聚類或聚類分析是無監督學習問題。它通常被用作數據分析技術，用於發現數據中的有趣模式，例如基於其行為的客戶群。有許多聚類算法可供選擇，對於所有情況，沒有單一的最佳聚類算法。相反，最好探索一系列聚類算法以及每種算法的不同配置。在本教程中，你將發現如何在 python 中安裝和使用頂級聚類算法。完成本教程後，你將知道：

聚類分析，即聚類，是一項無監督的機器學習任務。它包括自動發現數據中的自然分組。與監督學習（類似預測建模）不同，聚類算法只解釋輸入數據，並在特徵空間中找到自然組或群集。

群集通常是特徵空間中的密度區域，其中來自域的示例（觀測或數據行）比其他群集更接近群集。群集可以具有作為樣本或點特徵空間的中心(質心)，並且可以具有邊界或範圍。

聚類可以作為數據分析活動提供幫助，以便了解更多關於問題域的信息，即所謂的模式發現或知識發現。例如：

聚類還可用作特徵工程的類型，其中現有的和新的示例可被映射並標記為屬於數據中所標識的群集之一。雖然確實存在許多特定於群集的定量措施，但是對所識別的群集的評估是主觀的，並且可能需要領域專家。通常，聚類算法在人工合成數據集上與預先定義的群集進行學術比較，預計算法會發現這些群集。

有許多類型的聚類算法。許多算法在特徵空間中的示例之間使用相似度或距離度量，以發現密集的觀測區域。因此，在使用聚類算法之前，擴展數據通常是良好的實踐。

一些聚類算法要求您指定或猜測數據中要發現的群集的數量，而另一些算法要求指定觀測之間的最小距離，其中示例可以被視為“關閉”或“連接”。因此，聚類分析是一個迭代過程，在該過程中，對所識別的群集的主觀評估被反饋回算法配置的改變中，直到達到期望的或適當的結果。scikit-learn 庫提供了一套不同的聚類算法供選擇。下面列出了10種比較流行的算法：

每個算法都提供了一種不同的方法來應對數據中發現自然組的挑戰。沒有最好的聚類算法，也沒有簡單的方法來找到最好的算法為您的數據沒有使用控制實驗。在本教程中，我們將回顧如何使用來自 scikit-learn 庫的這10個流行的聚類算法中的每一個。這些示例將為您複製粘貼示例並在自己的數據上測試方法提供基礎。我們不會深入研究算法如何工作的理論，也不會直接比較它們。讓我們深入研究一下。

在本節中，我們將回顧如何在 scikit-learn 中使用10個流行的聚類算法。這包括一個擬合模型的例子和可視化結果的例子。這些示例用於將粘貼複製到您自己的項目中，並將方法應用於您自己的數據。

1.庫安裝

首先，讓我們安裝庫。不要跳過此步驟，因為你需要確保安裝了最新版本。你可以使用 pip Python 安裝程序安裝 scikit-learn 存儲庫，如下所示：

接下來，讓我們確認已經安裝了庫，並且您正在使用一個現代版本。運行以下腳本以輸出庫版本號。

運行該示例時，您應該看到以下版本號或更高版本。

2.聚類數據集

我們將使用 make _ classification ()函數創建一個測試二分類數據集。數據集將有1000個示例，每個類有兩個輸入要素和一個群集。這些群集在兩個維度上是可見的，因此我們可以用散點圖繪製數據，並通過指定的群集對圖中的點進行顏色繪製。這將有助於了解，至少在測試問題上，群集的識別能力如何。該測試問題中的群集基於多變量高斯，並非所有聚類算法都能有效地識別這些類型的群集。因此，本教程中的結果不應用作比較一般方法的基礎。下面列出了創建和匯總合成聚類數據集的示例。

運行該示例將創建合成的聚類數據集，然後創建輸入數據的散點圖，其中點由類標籤（理想化的群集）着色。我們可以清楚地看到兩個不同的數據組在兩個維度，並希望一個自動的聚類算法可以檢測這些分組。

已知聚類着色點的合成聚類數據集的散點圖接下來，我們可以開始查看應用於此數據集的聚類算法的示例。我已經做了一些最小的嘗試來調整每個方法到數據集。3.親和力傳播親和力傳播包括找到一組最能概括數據的範例。

它是通過 AffinityPropagation 類實現的，要調整的主要配置是將“ 阻尼 ”設置為0.5到1，甚至可能是“首選項”。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集着色。在這種情況下，我無法取得良好的結果。

數據集的散點圖，具有使用親和力傳播識別的聚類

4.聚合聚類

聚合聚類涉及合併示例，直到達到所需的群集數量為止。它是層次聚類方法的更廣泛類的一部分，通過 AgglomerationClustering 類實現的，主要配置是“ n _ clusters ”集，這是對數據中的群集數量的估計，例如2。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集着色。在這種情況下，可以找到一個合理的分組。

使用聚集聚類識別出具有聚類的數據集的散點圖

5.BIRCHBIRCH

聚類（ BIRCH 是平衡迭代減少的縮寫，聚類使用層次結構)包括構造一個樹狀結構，從中提取聚類質心。

它是通過 Birch 類實現的，主要配置是“ threshold ”和“ n _ clusters ”超參數，後者提供了群集數量的估計。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集着色。在這種情況下，可以找到一個很好的分組。

使用BIRCH聚類確定具有聚類的數據集的散點圖

6.DBSCANDBSCAN

聚類（其中 DBSCAN 是基於密度的空間聚類的噪聲應用程序）涉及在域中尋找高密度區域，並將其周圍的特徵空間區域擴展為群集。

它是通過 DBSCAN 類實現的，主要配置是“ eps ”和“ min _ samples ”超參數。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集着色。在這種情況下，儘管需要更多的調整，但是找到了合理的分組。

使用DBSCAN集群識別出具有集群的數據集的散點圖

7.K均值

K-均值聚類可以是最常見的聚類算法，並涉及向群集分配示例，以盡量減少每個群集內的方差。

它是通過 K-均值類實現的，要優化的主要配置是“ n _ clusters ”超參數設置為數據中估計的群集數量。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集着色。在這種情況下，可以找到一個合理的分組，儘管每個維度中的不等等方差使得該方法不太適合該數據集。

使用K均值聚類識別出具有聚類的數據集的散點圖

8.Mini-Batch

K-均值Mini-Batch K-均值是 K-均值的修改版本，它使用小批量的樣本而不是整個數據集對群集質心進行更新，這可以使大數據集的更新速度更快，並且可能對統計噪聲更健壯。

它是通過 MiniBatchKMeans 類實現的，要優化的主配置是“ n _ clusters ”超參數，設置為數據中估計的群集數量。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集着色。在這種情況下，會找到與標準 K-均值算法相當的結果。

帶有最小批次K均值聚類的聚類數據集的散點圖

9.均值漂移聚類

均值漂移聚類涉及到根據特徵空間中的實例密度來尋找和調整質心。

它是通過 MeanShift 類實現的，主要配置是“帶寬”超參數。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集着色。在這種情況下，可以在數據中找到一組合理的群集。

具有均值漂移聚類的聚類數據集散點圖

10.OPTICSOPTICS

聚類（ OPTICS 短於訂購點數以標識聚類結構）是上述 DBSCAN 的修改版本。

它是通過 OPTICS 類實現的，主要配置是“ eps ”和“ min _ samples ”超參數。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集着色。在這種情況下，我無法在此數據集上獲得合理的結果。

使用OPTICS聚類確定具有聚類的數據集的散點圖

11.光譜聚類

光譜聚類是一類通用的聚類方法，取自線性線性代數。

它是通過 Spectral 聚類類實現的，而主要的 Spectral 聚類是一個由聚類方法組成的通用類，取自線性線性代數。要優化的是“ n _ clusters ”超參數，用於指定數據中的估計群集數量。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集着色。在這種情況下，找到了合理的集群。

使用光譜聚類聚類識別出具有聚類的數據集的散點圖

12.高斯混合模型

高斯混合模型總結了一個多變量概率密度函數，顧名思義就是混合了高斯概率分布。它是通過 Gaussian Mixture 類實現的，要優化的主要配置是“ n _ clusters ”超參數，用於指定數據中估計的群集數量。下面列出了完整的示例。

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的群集。然後創建一個散點圖，並由其指定的群集着色。在這種情況下，我們可以看到群集被完美地識別。這並不奇怪，因為數據集是作為 Gaussian 的混合生成的。

使用高斯混合聚類識別出具有聚類的數據集的散點圖

在本文中，你發現了如何在 python 中安裝和使用頂級聚類算法。具體來說，你學到了：