web-dev-qa-db-ja.com

NLTKで文字列文をトークン化するにはどうすればよいですか？

私はnltkを使用しているので、nltk.booksのデフォルトのテキストと同じように独自のカスタムテキストを作成したいと思います。しかし、私はちょうど次のような方法に立ち上がった

my_text = ['This', 'is', 'my', 'text']

「テキスト」を次のように入力する方法を見つけたいです。

my_text = "This is my text, this is a Nice way to input text."

Pythonのメソッドとnltkのどちらのメソッドを使用すると、これを行うことができます。さらに重要なのは、句読点記号を無視するにはどうすればよいですか？

pythonnlptokenizenltk
47
diegoaguilar

これは、実際には nltk.orgのメインページ にあります。

>>> import nltk
>>> sentence = """At eight o'clock on Thursday morning
... Arthur didn't feel very good."""
>>> tokens = nltk.Word_tokenize(sentence)
>>> tokens
['At', 'eight', "o'clock", 'on', 'Thursday', 'morning',
'Arthur', 'did', "n't", 'feel', 'very', 'good', '.']
134
Pavel Anossov