web-dev-qa-db-ja.com

Sparkで単純な1行の文字列をRDDに変換します

私は簡単な行を持っています:

line = "Hello, world"

要素が1つだけのRDDに変換したいと思います。私が試してみました

sc.parallelize(line)

しかし、次のようになります:

sc.parallelize(line).collect()
['H', 'e', 'l', 'l', 'o', ',', ' ', 'w', 'o', 'r', 'l', 'd']

何か案は?

23
poiuytrez

パラメータとしてリストを使用してみてください:

sc.parallelize(List(line)).collect()

それは戻ります

res1: Array[String] = Array(hello,world)
28
michaeltang

以下のコードはPythonで正常に動作します

sc.parallelize([line])。collect()

['こんにちは世界']

ここでは、パラメーター「line」をリストとして渡します。

0
Dhruv