web-dev-qa-db-ja.com

Pandas Dataframeから異なる単語を数える

Pandasデータフレーム。1つの列にテキストが含まれています。列全体に表示される一意の単語のリストを取得したいです(スペースのみが分割されます)。

import pandas as pd

r1=['My nickname is ft.jgt','Someone is going to my place']

df=pd.DataFrame(r1,columns=['text'])

出力は次のようになります。

['my','nickname','is','ft.jgt','someone','going','to','place']

カウントを取得するのに問題はありませんが、必須ではありません。

32
ADJ

setを使用して、一意の要素のシーケンスを作成します。

dfをクリーンアップして、文字列を小文字で分割します:

df['text'].str.lower().str.split()
Out[43]: 
0             [my, nickname, is, ft.jgt]
1    [someone, is, going, to, my, place]

この列の各リストをset.update関数に渡して、一意の値を取得できます。使用するには apply を使用します。

results = set()
df['text'].str.lower().str.split().apply(results.update)
print results

set(['someone', 'ft.jgt', 'my', 'is', 'to', 'going', 'place', 'nickname'])
51
Boud

使用する collections.Counter

>>> from collections import Counter
>>> r1=['My nickname is ft.jgt','Someone is going to my place']
>>> Counter(" ".join(r1).split(" ")).items()
[('Someone', 1), ('ft.jgt', 1), ('My', 1), ('is', 2), ('to', 1), ('going', 1), ('place', 1), ('my', 1), ('nickname', 1)]
24
Ofir Israel

DataFrameコンストラクトから実行する場合:

import pandas as pd

r1=['My nickname is ft.jgt','Someone is going to my place']

df=pd.DataFrame(r1,columns=['text'])

df.text.apply(lambda x: pd.value_counts(x.split(" "))).sum(axis = 0)

My          1
Someone     1
ft.jgt      1
going       1
is          2
my          1
nickname    1
place       1
to          1
dtype: float64

より柔軟なトークン化が必要な場合は、nltkとそのtokenizeを使用します

19
cwharland

パンダに固有の@Ofir Israelの回答に基づいて:

from collections import Counter
result = Counter(" ".join(df['text'].values.tolist()).split(" ")).items()
result

必要なものが得られます。これにより、テキスト列シリーズの値がリストに変換され、スペースで分割され、インスタンスがカウントされます。

8
EdChum
uniqueWords = list(set(" ".join(r1).lower().split(" ")))
count = len(uniqueWords)
1
Brionius

TL; DR

使用する collections.Counterデータフレームの列の一意の単語の数を取得する(ストップワードなし)

与えられた:

$ cat test.csv 
Description
crazy mind california medical service data base...
california licensed producer recreational & medic...
silicon valley data clients live beyond status...
mycrazynotes inc. announces $144.6 million expans...
leading provider sustainable energy company prod ...
livefreecompany founded 2005, listed new york stock...

コード:

from collections import Counter
from string import punctuation

import pandas as pd

from nltk.corpus import stopwords
from nltk import Word_tokenize

stoplist = set(stopwords.words('english') + list(punctuation))

df = pd.read_csv("test.csv", sep='\t')

texts = df['Description'].str.lower()

Word_counts = Counter(Word_tokenize('\n'.join(texts)))

Word_count.most_common()

[でる]:

[('...', 6), ('california', 2), ('data', 2), ('crazy', 1), ('mind', 1), ('medical', 1), ('service', 1), ('base', 1), ('licensed', 1), ('producer', 1), ('recreational', 1), ('&', 1), ('medic', 1), ('silicon', 1), ('valley', 1), ('clients', 1), ('live', 1), ('beyond', 1), ('status', 1), ('mycrazynotes', 1), ('inc.', 1), ('announces', 1), ('$', 1), ('144.6', 1), ('million', 1), ('expans', 1), ('leading', 1), ('provider', 1), ('sustainable', 1), ('energy', 1), ('company', 1), ('prod', 1), ('livefreecompany', 1), ('founded', 1), ('2005', 1), (',', 1), ('listed', 1), ('new', 1), ('york', 1), ('stock', 1)]
0
alvas