web-dev-qa-db-ja.com

配列をPython Spark Lit関数に渡す

1〜10の数値を含むnumpy配列aがあるとします。 aは[1 2 3 4 5 6 7 8 9 10]です。

今、私はPython Spark numpy配列を追加したいデータフレームを持っています。だから私は次のことをします：

df = df.withColumn("NewColumn", F.lit(a))

これは機能しません。エラーは「サポートされていないリテラル型クラスJava.util.ArrayList」です。

さて、次のように配列の要素を1つだけ試すと、うまくいきます。

df = df.withColumn("NewColumn", F.lit(a[0]))

私がしようとしていることを行う方法はありますか？私は何日も完了したいタスクに取り組んできましたが、これは私がそれを完了するのに最も近いものです。私は関連するすべてのStack Overflowの質問を見てきましたが、探している答えはまったく得られませんでした。どんな助けも大歓迎です。ありがとう。

pythonapache-sparkpysparkliteralspyspark-sql
14
A. R.

配列組み込み関数のforループ

arrayinbuilt functionを使用できます

_a = [1,2,3,4,5,6,7,8,9,10]
df = spark.createDataFrame([['a b c d e f g h i j '],], ['col1'])
df = df.withColumn("NewColumn", F.array([F.lit(x) for x in a]))
df.show(truncate=False)
_

取得する必要があります

_+--------------------+-------------------------------+
|col1                |NewColumn                      |
+--------------------+-------------------------------+
|a b c d e f g h i j |[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]|
+--------------------+-------------------------------+
root
 |-- col1: string (nullable = true)
 |-- NewColumn: array (nullable = false)
 |    |-- element: integer (containsNull = false)
_

UDF関数を使用する

_#udf function
def arrayUdf():
    return a
callArrayUdf = F.udf(arrayUdf, T.ArrayType(T.IntegerType()))

#calling udf function
df = df.withColumn("NewColumn", callArrayUdf())
_

出力はforループ方法と同じです

更新済み

以下の@paultのコメントを貼り付けています

map：df.withColumn("NewColumn", F.array(map(F.lit, a)))を使用してループを非表示にできます

18
Ramesh Maharjan