web-dev-qa-db-ja.com

spark dataframeのWrappedArray列を文字列に変換するにはどうすればよいですか？

Array [String]を含む列をStringに変換しようとしていますが、一貫してこのエラーが発生します

org.Apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 78.0 failed 4 times, most recent failure: Lost task 0.3 in stage 78.0 (TID 1691, ip-******): Java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String;

これがコードです

val mkString = udf((arrayCol:Array[String])=>arrayCol.mkString(","))  
val dfWithString=df.select($"arrayCol").withColumn("arrayString",
      mkString($"arrayCol"))
scalaapache-sparkdataframeapache-spark-sqluser-defined-functions
13
bdguy

WrappedArrayはArrayではありません（これは単純に古いJava Array natveではないScalaコレクションです）。署名を次のいずれかに変更できます。

import scala.collection.mutable.WrappedArray

(arrayCol: WrappedArray[String]) => arrayCol.mkString(",")

または、Seqなどのスーパータイプのいずれかを使用します。

(arrayCol: Seq[String]) => arrayCol.mkString(",")

最近のSpark=バージョンでは、concat_ws代わりに：

import org.Apache.spark.sql.functions.concat_ws

df.select(concat_ws(",", $"arrayCol"))
26
zero323

コードは私のために働く：

df.select("wifi_ids").rdd.map(row =>row.get(0).asInstanceOf[WrappedArray[WrappedArray[String]]].toSeq.map(x=>x.toSeq.apply(0)))

あなたの場合、私はそれがあると思います：

val mkString = udf(arrayCol=>arrayCol.asInstanceOf[WrappedArray[String]].toArray.mkString(","))  
val dfWithString=df.select($"arrayCol").withColumn("arrayString",mkString($"arrayCol"))
2
Burt