web-dev-qa-db-ja.com

Spark：Python with Scala or Java User Defined Functions？

たとえば、私のチームがSparkで開発する参照言語としてPythonを選択したとします。ただし、後でパフォーマンス上の理由から、特定のScalaまたはJava特定のライブラリを、Pythonコード（Python with ScalaまたはJavaスケルトン）。

新しいカスタマイズされたPythonメソッドを内部でいくつかのScalaまたはJava User定義された関数？

javapythonscalaapache-sparkpyspark
21
prossblad

Spark 2.1 +

SQLContext.registerJavaFunction ：

SQLステートメントで使用できるように、Java UDFを登録します。

これには、name、Javaクラスの完全修飾名、およびオプションの戻り値の型が必要です。残念ながら、現時点ではSQLステートメントでのみ使用できます（またはexpr/selectExpr）およびJava org.Apache.spark.sql.api.Java.UDF*：

scalaVersion := "2.11.8"

libraryDependencies ++= Seq(
  "org.Apache.spark" %% "spark-sql" % "2.1.0"
)

package com.example.spark.udfs

import org.Apache.spark.sql.api.Java.UDF1

class addOne extends UDF1[Integer, Integer] {
  def call(x: Integer) = x + 1
} 

sqlContext.registerJavaFunction("add_one", "com.example.spark.udfs.addOne")
sqlContext.sql("SELECT add_one(1)").show()

## +------+
## |UDF(1)|
## +------+
## |     2|
## +------+

バージョンに依存しない：

サポートされているとまでは言いませんが、確かに可能です。現在PySparkで利用可能なすべてのSQL関数は、Scala APIのラッパーです。

私がGroupConcat UDAFを再利用したいと仮定しましょう mysql GROUP_CONCAT集約関数のSPARK SQLの置換 であり、パッケージに含まれていますcom.example.udaf：

from pyspark.sql.column import Column, _to_Java_column, _to_seq
from pyspark.sql import Row

row = Row("k", "v")
df = sc.parallelize([
    row(1, "foo1"), row(1, "foo2"), row(2, "bar1"), row(2, "bar2")]).toDF()

def groupConcat(col):
    """Group and concatenate values for a given column

    >>> df = sqlContext.createDataFrame([(1, "foo"), (2, "bar")], ("k", "v"))
    >>> df.select(groupConcat("v").alias("vs"))
    [Row(vs=u'foo,bar')]
    """
    sc = SparkContext._active_spark_context
    # It is possible to use Java_import to avoid full package path
    _groupConcat = sc._jvm.com.example.udaf.GroupConcat.apply
    # Converting to Seq to match apply(exprs: Column*)
    return Column(_groupConcat(_to_seq(sc, [col], _to_Java_column)))

df.groupBy("k").agg(groupConcat("v").alias("vs")).show()

## +---+---------+
## |  k|       vs|
## +---+---------+
## |  1|foo1,foo2|
## |  2|bar1,bar2|
## +---+---------+

私の好みには、主要なアンダースコアが多すぎますが、ご覧のとおり、実行できます。

関連：

26
zero323