web-dev-qa-db-ja.com

Spark Javaでデータセットをトラバース/反復する方法は？

データセットをトラバースして、Jaro winklerやCosine Similarityなどの文字列類似度計算を実行しようとしています。データセットを行のリストに変換し、効率の悪いforステートメントでトラバースしますsparkこれを行う方法なので、Sparkでのより良いアプローチを楽しみにしています。

public class sample {

    public static void main(String[] args) {
        JavaSparkContext sc = new JavaSparkContext(new SparkConf().setAppName("Example").setMaster("local[*]"));
        SQLContext sqlContext = new SQLContext(sc);
        SparkSession spark = SparkSession.builder().appName("JavaTokenizerExample").getOrCreate();

        List<Row> data = Arrays.asList(RowFactory.create("Mysore","Mysuru"),
                RowFactory.create("Name","FirstName"));
        StructType schema = new StructType(
                new StructField[] { new StructField("Word1", DataTypes.StringType, true, Metadata.empty()),
                        new StructField("Word2", DataTypes.StringType, true, Metadata.empty()) });

        Dataset<Row> oldDF = spark.createDataFrame(data, schema);
        oldDF.show();
        List<Row> rowslist = oldDF.collectAsList(); 
    }
}

はっきりしないJavaRDDの例をたくさん見つけました。データセットの例は非常に役立ちます。

javaapache-sparkiteratorapache-spark-2.0apache-spark-dataset
5
Abhishek Vk

以下のようにorg.Apache.spark.api.Java.function.ForeachFunctionを使用できます。

oldDF.foreach((ForeachFunction<Row>) row -> System.out.println(row));
21
abaghel

ラムダ式をサポートしていない古いJava jdksの場合、インポート後に以下を使用できます。

import org.Apache.spark.api.Java.function.VoidFunction;

yourDataSet.toJavaRDD().foreach(new VoidFunction<Row>() {
        public void call(Row r) throws Exception {
            System.out.println(r.getAs("your column name here"));
        }
    });
0
DigitalFox