NLTKトークン化-より速い方法？
文字列パラメーターを受け取り、NLTKを使用して文字列を文に、そして単語に分解するメソッドがあります。その後、各単語を小文字に変換し、最終的に各単語の頻度の辞書を作成します。
import nltk
from collections import Counter
def freq(string):
f = Counter()
sentence_list = nltk.tokenize.sent_tokenize(string)
for sentence in sentence_list:
words = nltk.Word_tokenize(sentence)
words = [Word.lower() for Word in words]
for Word in words:
f[Word] += 1
return f
上記のコードをさらに最適化して前処理時間を短縮することになっていますが、その方法がわかりません。戻り値は明らかに上記とまったく同じでなければならないので、明示的にそうする必要はありませんが、nltkを使用することが期待されます。
上記のコードを高速化する方法はありますか？ありがとう。
トークンのフラットリストだけが必要な場合は、_Word_tokenize_が暗黙的に_sent_tokenize_を呼び出すことに注意してください。 https://github.com/nltk/nltk/blob/develop/nltk/tokenizeを参照してください。 /init.py#L98
__treebank_Word_tokenize = TreebankWordTokenizer().tokenize
def Word_tokenize(text, language='english'):
"""
Return a tokenized copy of *text*,
using NLTK's recommended Word tokenizer
(currently :class:`.TreebankWordTokenizer`
along with :class:`.PunktSentenceTokenizer`
for the specified language).
:param text: text to split into sentences
:param language: the model name in the Punkt corpus
"""
return [token for sent in sent_tokenize(text, language)
for token in _treebank_Word_tokenize(sent)]
_ブラウンコーパスを例として使用し、Counter(Word_tokenize(string_corpus))を使用します。
_>>> from collections import Counter
>>> from nltk.corpus import brown
>>> from nltk import sent_tokenize, Word_tokenize
>>> string_corpus = brown.raw() # Plaintext, str type.
>>> start = time.time(); fdist = Counter(Word_tokenize(string_corpus)); end = time.time() - start
>>> end
12.662328958511353
>>> fdist.most_common(5)
[(u',', 116672), (u'/', 89031), (u'the/at', 62288), (u'.', 60646), (u'./', 48812)]
>>> sum(fdist.values())
1423314
_約140万語がスペック付きの私のマシンで（トークン化されたコーパスを保存せずに）12秒かかりました：
_alvas@ubi:~$ cat /proc/cpuinfo
processor : 0
vendor_id : GenuineIntel
cpu family : 6
model : 69
model name : Intel(R) Core(TM) i5-4200U CPU @ 1.60GHz
stepping : 1
microcode : 0x17
cpu MHz : 1600.027
cache size : 3072 KB
physical id : 0
siblings : 4
core id : 0
cpu cores : 2
$ cat /proc/meminfo
MemTotal: 12004468 kB
_最初にトークン化されたコーパスを保存tokenized_corpus = [Word_tokenize(sent) for sent in sent_tokenize(string_corpus)]、次にCounter(chain*(tokenized_corpus))を使用：
_>>> from itertools import chain
>>> start = time.time(); tokenized_corpus = [Word_tokenize(sent) for sent in sent_tokenize(string_corpus)]; fdist = Counter(chain(*tokenized_corpus)); end = time.time() - start
>>> end
16.421464920043945
_ToktokTokenizer()の使用
_>>> from collections import Counter
>>> import time
>>> from itertools import chain
>>> from nltk.corpus import brown
>>> from nltk import sent_tokenize, Word_tokenize
>>> from nltk.tokenize import ToktokTokenizer
>>> toktok = ToktokTokenizer()
>>> string_corpus = brown.raw()
>>> start = time.time(); tokenized_corpus = [toktok.tokenize(sent) for sent in sent_tokenize(string_corpus)]; fdist = Counter(chain(*tokenized_corpus)); end = time.time() - start
>>> end
10.00472116470337
_MosesTokenizer()の使用：
_>>> from nltk.tokenize.moses import MosesTokenizer
>>> moses = MosesTokenizer()
>>> start = time.time(); tokenized_corpus = [moses.tokenize(sent) for sent in sent_tokenize(string_corpus)]; fdist = Counter(chain(*tokenized_corpus)); end = time.time() - start
>>> end
30.783339023590088
>>> start = time.time(); tokenized_corpus = [moses.tokenize(sent) for sent in sent_tokenize(string_corpus)]; fdist = Counter(chain(*tokenized_corpus)); end = time.time() - start
>>> end
30.559681177139282
_MosesTokenizerを使用する理由
これは、トークンを文字列に戻す方法、つまり「detokenize」があるように実装されました。
_>>> from nltk.tokenize.moses import MosesTokenizer, MosesDetokenizer
>>> t, d = MosesTokenizer(), MosesDetokenizer()
>>> sent = "This ain't funny. It's actually hillarious, yet double Ls. | [] < > [ ] & You're gonna shake it off? Don't?"
>>> expected_tokens = [u'This', u'ain', u''t', u'funny.', u'It', u''s', u'actually', u'hillarious', u',', u'yet', u'double', u'Ls.', u'|', u'[', u']', u'<', u'>', u'[', u']', u'&', u'You', u''re', u'gonna', u'shake', u'it', u'off', u'?', u'Don', u''t', u'?']
>>> expected_detokens = "This ain't funny. It's actually hillarious, yet double Ls. | [] < > [] & You're gonna shake it off? Don't?"
>>> tokens = t.tokenize(sent)
>>> tokens == expected_tokens
True
>>> detokens = d.detokenize(tokens)
>>> " ".join(detokens) == expected_detokens
True
_ReppTokenizer()の使用：
_>>> repp = ReppTokenizer('/home/alvas/repp')
>>> start = time.time(); sentences = sent_tokenize(string_corpus); tokenized_corpus = repp.tokenize_sents(sentences); fdist = Counter(chain(*tokenized_corpus)); end = time.time() - start
>>> end
76.44129395484924
_ReppTokenizerを使用する理由
元の文字列のトークンのオフセットを返します。
_>>> sents = ['Tokenization is widely regarded as a solved problem due to the high accuracy that rulebased tokenizers achieve.' ,
... 'But rule-based tokenizers are hard to maintain and their rules language specific.' ,
... 'We evaluated our method on three languages and obtained error rates of 0.27% (English), 0.35% (Dutch) and 0.76% (Italian) for our best models.'
... ]
>>> tokenizer = ReppTokenizer('/home/alvas/repp/') # doctest: +SKIP
>>> for sent in sents: # doctest: +SKIP
... tokenizer.tokenize(sent) # doctest: +SKIP
...
(u'Tokenization', u'is', u'widely', u'regarded', u'as', u'a', u'solved', u'problem', u'due', u'to', u'the', u'high', u'accuracy', u'that', u'rulebased', u'tokenizers', u'achieve', u'.')
(u'But', u'rule-based', u'tokenizers', u'are', u'hard', u'to', u'maintain', u'and', u'their', u'rules', u'language', u'specific', u'.')
(u'We', u'evaluated', u'our', u'method', u'on', u'three', u'languages', u'and', u'obtained', u'error', u'rates', u'of', u'0.27', u'%', u'(', u'English', u')', u',', u'0.35', u'%', u'(', u'Dutch', u')', u'and', u'0.76', u'%', u'(', u'Italian', u')', u'for', u'our', u'best', u'models', u'.')
>>> for sent in tokenizer.tokenize_sents(sents):
... print sent
...
(u'Tokenization', u'is', u'widely', u'regarded', u'as', u'a', u'solved', u'problem', u'due', u'to', u'the', u'high', u'accuracy', u'that', u'rulebased', u'tokenizers', u'achieve', u'.')
(u'But', u'rule-based', u'tokenizers', u'are', u'hard', u'to', u'maintain', u'and', u'their', u'rules', u'language', u'specific', u'.')
(u'We', u'evaluated', u'our', u'method', u'on', u'three', u'languages', u'and', u'obtained', u'error', u'rates', u'of', u'0.27', u'%', u'(', u'English', u')', u',', u'0.35', u'%', u'(', u'Dutch', u')', u'and', u'0.76', u'%', u'(', u'Italian', u')', u'for', u'our', u'best', u'models', u'.')
>>> for sent in tokenizer.tokenize_sents(sents, keep_token_positions=True):
... print sent
...
[(u'Tokenization', 0, 12), (u'is', 13, 15), (u'widely', 16, 22), (u'regarded', 23, 31), (u'as', 32, 34), (u'a', 35, 36), (u'solved', 37, 43), (u'problem', 44, 51), (u'due', 52, 55), (u'to', 56, 58), (u'the', 59, 62), (u'high', 63, 67), (u'accuracy', 68, 76), (u'that', 77, 81), (u'rulebased', 82, 91), (u'tokenizers', 92, 102), (u'achieve', 103, 110), (u'.', 110, 111)]
[(u'But', 0, 3), (u'rule-based', 4, 14), (u'tokenizers', 15, 25), (u'are', 26, 29), (u'hard', 30, 34), (u'to', 35, 37), (u'maintain', 38, 46), (u'and', 47, 50), (u'their', 51, 56), (u'rules', 57, 62), (u'language', 63, 71), (u'specific', 72, 80), (u'.', 80, 81)]
[(u'We', 0, 2), (u'evaluated', 3, 12), (u'our', 13, 16), (u'method', 17, 23), (u'on', 24, 26), (u'three', 27, 32), (u'languages', 33, 42), (u'and', 43, 46), (u'obtained', 47, 55), (u'error', 56, 61), (u'rates', 62, 67), (u'of', 68, 70), (u'0.27', 71, 75), (u'%', 75, 76), (u'(', 77, 78), (u'English', 78, 85), (u')', 85, 86), (u',', 86, 87), (u'0.35', 88, 92), (u'%', 92, 93), (u'(', 94, 95), (u'Dutch', 95, 100), (u')', 100, 101), (u'and', 102, 105), (u'0.76', 106, 110), (u'%', 110, 111), (u'(', 112, 113), (u'Italian', 113, 120), (u')', 120, 121), (u'for', 122, 125), (u'our', 126, 129), (u'best', 130, 134), (u'models', 135, 141), (u'.', 141, 142)]
_TL; DR
さまざまなトークナイザーの利点
Word_tokenize()は暗黙的にsent_tokenize()を呼び出しますToktokTokenizer()が最速MosesTokenizer()はテキストをトークン化解除できますReppTokenizer()はトークンオフセットを提供できます
Q：トークン化解除できる高速トークナイザはありますか？また、オフセットを提供し、NLTKでセンテンストークン化も行いますか？
A：そうは思いません、gensimまたはspacyを試してください。
不要なリスト作成は悪
あなたのコードは暗黙的に 潜在的に非常に長いlistインスタンスをたくさん作成する である必要はありません、例えば：
words = [Word.lower() for Word in words]
list comprehension に[...]構文を使用すると、nの長さnのリストが作成されます入力で見つかったトークンですが、実際に保存するのではなく、各トークンの頻度を取得するだけです。
f[Word] += 1
したがって、代わりに generator を使用する必要があります。
words = (Word.lower() for Word in words)
同様に、 nltk.tokenize.sent_tokenizeおよびnltk.tokenize.Word_tokenize はどちらもリストを出力として生成するように見えますが、これも不要です。より低レベルの関数を使用してみてください。 nltk.tokenize.api.StringTokenizer.span_tokenize：入力ストリームのトークンオフセット、つまり各トークンを表す入力文字列のインデックスのペアを生成するイテレータを生成するだけです。
より良いソリューション
中間リストを使用しない例を次に示します。
def freq(string):
'''
@param string: The string to get token counts for. Note that this should already have been normalized if you wish it to be so.
@return: A new Counter instance representing the frequency of each token found in the input string.
'''
spans = nltk.tokenize.WhitespaceTokenizer().span_tokenize(string)
# Yield the relevant slice of the input string representing each individual token in the sequence
tokens = (string[begin : end] for (begin, end) in spans)
return Counter(tokens)
免責事項：私はこれをプロファイリングしていないので、例えばNLTKの人々はWord_tokenizeを非常に高速にしましたが、無視されましたspan_tokenize;必ずアプリケーションのプロファイルを作成してください。
TL; DR
ジェネレーターで十分な場合はリストを使用しないでください。リストを作成して、一度使用した後で捨てる場合は常に、神は子猫を殺します。