web-dev-qa-db-ja.com

TypeError：ジェネレータオブジェクトをピクルできません

私は以下のようにいくつかの結果をpickleファイルに書き込もうとしています：

raw_X = (self.token_ques(text) for text in training_data)
with open('/root/Desktop/classifier_result.pkl', 'wb') as handle:
    pickle.dump(raw_X, handle)

エラー：

    raise TypeError, "can't pickle %s objects" % base.__name__
TypeError: can't pickle generator objects

どんな助けでも大いに感謝します。

pythongeneratorpickle
13
nlper

データをピクルする場合はジェネレータ式を使用しないでください。代わりにリスト内包を使用するか、ジェネレーターでlist()を呼び出して、生成されたすべての要素を取得して酸洗いを行ってください。

たとえば、次のコードは問題なく機能します。

raw_X = [self.token_ques(text) for text in training_data]
with open('/root/Desktop/classifier_result.pkl', 'wb') as handle:
    pickle.dump(raw_X, handle)

同様に：

raw_X = (self.token_ques(text) for text in training_data)
with open('/root/Desktop/classifier_result.pkl', 'wb') as handle:
    pickle.dump(list(raw_X), handle)
5
Martijn Pieters
_raw_X = (self.token_ques(text) for text in training_data)
_

これはジェネレーターです。エラーが言うように、ジェネレーターをピクルすることはできません。代わりにこれを使用してください。

_raw_X=[]
for text in data:
  raw_X.append(self.token_ques(text))
raw_X=Tuple(raw_X)
_

そして、ピクルス_raw_X_します。

編集

これは私のために働く

_import pickle

raw_X=[]
data=[1,2,3,4,5,6,2,0]
for text in data:
    raw_X.append(str(text))

print pickle.dumps(raw_X)
_

私はあなたの関数の代わりにstr()を、dumps()の代わりにdump()を使用しています。

4
ForceBru