web-dev-qa-db-ja.com

Pythonでscikit-learn kmeansを使用してテキスト文書をクラスタリングする

テキスト文書をクラスタリングするために scikit-learn's kMeans を実装する必要があります。 コード例 はそのままで機能しますが、入力として20newsgroupsのデータを使用します。以下に示すように、ドキュメントのリストをクラスタリングするために同じコードを使用します。

documents = ["Human machine interface for lab abc computer applications",
             "A survey of user opinion of computer system response time",
             "The EPS user interface management system",
             "System and human system engineering testing of EPS",
             "Relation of user perceived response time to error measurement",
             "The generation of random binary unordered trees",
             "The intersection graph of paths in trees",
             "Graph minors IV Widths of trees and well quasi ordering",
             "Graph minors A survey"]

このリストを入力として使用するには、 kMeansサンプルコード で何を変更する必要がありますか？ （単に「dataset = documents」を取得しても機能しません）

pythonpython-2.7scikit-learncluster-analysisk-means
22
Nabila Shahid

これはより簡単な例です：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans
from sklearn.metrics import adjusted_Rand_score

documents = ["Human machine interface for lab abc computer applications",
             "A survey of user opinion of computer system response time",
             "The EPS user interface management system",
             "System and human system engineering testing of EPS",
             "Relation of user perceived response time to error measurement",
             "The generation of random binary unordered trees",
             "The intersection graph of paths in trees",
             "Graph minors IV Widths of trees and well quasi ordering",
             "Graph minors A survey"]

テキストをベクトル化します。つまり、文字列を数値フィーチャに変換します。

vectorizer = TfidfVectorizer(stop_words='english')
X = vectorizer.fit_transform(documents)

クラスター文書

true_k = 2
model = KMeans(n_clusters=true_k, init='k-means++', max_iter=100, n_init=1)
model.fit(X)

クラスターごとに上位の用語を印刷します

print("Top terms per cluster:")
order_centroids = model.cluster_centers_.argsort()[:, ::-1]
terms = vectorizer.get_feature_names()
for i in range(true_k):
    print "Cluster %d:" % i,
    for ind in order_centroids[i, :10]:
        print ' %s' % terms[ind],
    print

これがどのように見えるかについて、より視覚的なアイデアが必要な場合は、 this answer を参照してください。

64
elyase

この記事は、K-Meansを使用したドキュメントクラスタリングに非常に役立つことがわかりました。 http://brandonrose.org/clustering 。

アルゴリズムを理解するには、この記事もご覧ください https://datasciencelab.wordpress.com/2013/12/12/clustering-with-k-means-in-python/

3
Kathirmani Sukumar