Spark Java.lang.ClassCastException：scala.collection.mutable.WrappedArray $ ofRefをJava.util.ArrayListにキャストできません

WrappedArrayで操作を実行すると、火花がClassCastExpectionをスローします

例：以下のようなマップ出力があります

出力：

_Map(1 -> WrappedArray(Pan4), 2 -> WrappedArray(Pan15), 3 -> WrappedArray(Pan16, Pan17, Pan18), 4 -> WrappedArray(Pan19, Pan1, Pan2, Pan3, Pan4, Pan5, Pan6))]
_

map.valuesを呼び出すと、以下の出力として出力されます。

_MapLike(WrappedArray(Pan4), WrappedArray(Pan15), WrappedArray(Pan16, Pan17, Pan18), WrappedArray(Pan19, Pan1, Pan2, Pan3, Pan4, Pan5, Pan6))
_

map.values.map(arr => arr)またはmap.values.forEach { value => println(value)}が呼び出された場合に例外をスローする

ラップされた配列に対して操作を実行できません。各wrappedArrayに存在する要素のサイズが必要です

_Error StackTrace
------------------
Java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to Java.util.ArrayList
    at WindowTest$CustomMedian$$anonfun$1.apply(WindowTest.scala:176)
    at WindowTest$CustomMedian$$anonfun$1.apply(WindowTest.scala:176)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
    at scala.collection.immutable.Map$Map4.foreach(Map.scala:181)
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:244)
    at scala.collection.AbstractTraversable.map(Traversable.scala:105)
    at WindowTest$CustomMedian.evaluate(WindowTest.scala:176)
    at org.Apache.spark.sql.execution.aggregate.ScalaUDAF.eval(udaf.scala:446)
    at org.Apache.spark.sql.execution.aggregate.AggregationIterator$$anonfun$35.apply(AggregationIterator.scala:376)
    at org.Apache.spark.sql.execution.aggregate.AggregationIterator$$anonfun$35.apply(AggregationIterator.scala:368)
    at org.Apache.spark.sql.execution.aggregate.SortBasedAggregationIterator.next(SortBasedAggregationIterator.scala:154)
    at org.Apache.spark.sql.execution.aggregate.SortBasedAggregationIterator.next(SortBasedAggregationIterator.scala:29)
    at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:389)
    at scala.collection.Iterator$$anon$11.hasNext(Iterator.scala:327)
    at scala.collection.Iterator$$anon$10.hasNext(Iterator.scala:308)
    at scala.collection.Iterator$class.foreach(Iterator.scala:727)
    at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)
    at scala.collection.generic.Growable$class.$plus$plus$eq(Growable.scala:48)
    at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:103)
    at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:47)
    at scala.collection.TraversableOnce$class.to(TraversableOnce.scala:273)
    at scala.collection.AbstractIterator.to(Iterator.scala:1157)
    at scala.collection.TraversableOnce$class.toBuffer(TraversableOnce.scala:265)
    at scala.collection.AbstractIterator.toBuffer(Iterator.scala:1157)
    at scala.collection.TraversableOnce$class.toArray(TraversableOnce.scala:252)
    at scala.collection.AbstractIterator.toArray(Iterator.scala:1157)
    at org.Apache.spark.sql.execution.SparkPlan$$anonfun$5.apply(SparkPlan.scala:212)
    at org.Apache.spark.sql.execution.SparkPlan$$anonfun$5.apply(SparkPlan.scala:212)
    at org.Apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.Apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.Apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
    at org.Apache.spark.scheduler.Task.run(Task.scala:89)
    at org.Apache.spark.executor.Executor$TaskRunner.run(Executor.scala:227)
    at Java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.Java:1145)
    at Java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.Java:615)
    at Java.lang.Thread.run(Thread.Java:745)
_

scalaapache-sparkapache-spark-sqlspark-dataframe

2016/11/23Vivek Narayanasetty

Java Spark Row、次にgetAsメソッドを使用する代わりに、データセットをオブジェクトにエンコードします。

マシンに関するランダムな情報を含むこのデータセットを想定します。

_+-----------+------------+------------+-----------+---------+--------------------+
|Epoch      |     RValues|     SValues|    TValues|      ids|               codes|
+-----------+------------+------------+-----------+---------+--------------------+
| 1546297225| [-1.0, 5.0]|  [2.0, 6.0]| [3.0, 7.0]|   [2, 3]|[MRT0000020611, M...|
| 1546297226| [-1.0, 3.0]| [-6.0, 6.0]| [3.0, 4.0]|   [2, 3]|[MRT0000020611, M...|
| 1546297227| [-1.0, 4.0]|[-8.0, 10.0]| [3.0, 6.0]|   [2, 3]|[MRT0000020611, M...|
| 1546297228| [-1.0, 6.0]|[-8.0, 11.0]| [3.0, 5.0]|   [2, 3]|[MRT0000020611, M...|
+-----------+------------+------------+-----------+---------+--------------------+
_

_Dataset<Row>_を作成する代わりに、このデータセット列定義に準拠する_Dataset<MachineLog>_を作成し、MachineLogクラスを作成します。変換を行うときは、.as(Encoders.bean(MachineLog.class))メソッドを使用してエンコーダーを定義します。

例えば：

_spark.createDataset(dataset.rdd(), Encoders.bean(MachineLog.class));
_

ただし、DatasetからRDDへの変換はお勧めしません。 asメソッドを使用してみてください。

_Dataset<MachineLog> mLog = spark.read().parquet("...").as(Encoders.bean(MachineLog.class));
_

変換後に使用することもできます。

_Dataset<MachineLog> machineLogDataset = aDataset
                .join(
                        otherDataset,
                        functions.col("...").eqNullSafe("...")
                        )
                ).as(Encoders.bean(MachineLog.class));
_

MachineLogクラスはシリアル化ルールに従わなければならないことを考慮に入れてください（つまり、空の明示的なコンストラクター、ゲッター、およびセッターを持つ）

2020/01/09Tomás Denis Reyes Sánchez