web-dev-qa-db-ja.com

pyspark：ウィンドウ全体で異なるカウント

私はウィンドウでcountDistinctを実行しようとしましたが、このエラーが発生しました：

AnalysisException: u'Distinct window functions are not supported: count(distinct color#1926)

Pysparkのウィンドウで明確なカウントを行う方法はありますか？

コードの例を次に示します。

from pyspark.sql import functions as F

#function to calculate number of seconds from number of days
days = lambda i: i * 86400

df = spark.createDataFrame([(17, "2017-03-10T15:27:18+00:00", "orange"),
                    (13, "2017-03-15T12:27:18+00:00", "red"),
                    (25, "2017-03-18T11:27:18+00:00", "red")],
                    ["dollars", "timestampGMT", "color"])

df = df.withColumn('timestampGMT', df.timestampGMT.cast('timestamp'))

#create window by casting timestamp to long (number of seconds)
w = (Window.orderBy(F.col("timestampGMT").cast('long')).rangeBetween(-days(7), 0))

df = df.withColumn('distinct_color_count_over_the_last_week', F.countDistinct("color").over(w))

df.show()

これは私が見たい出力です：

+-------+--------------------+------+---------------------------------------+
|dollars|        timestampGMT| color|distinct_color_count_over_the_last_week|
+-------+--------------------+------+---------------------------------------+
|     17|2017-03-10 15:27:...|orange|                                      1|
|     13|2017-03-15 12:27:...|   red|                                      2|
|     25|2017-03-18 11:27:...|   red|                                      1|
+-------+--------------------+------+---------------------------------------+
countpysparkwindow-functionsdistinct-values
14
Bob Swain

Collect_set関数とsize関数の組み合わせを使用して、ウィンドウ上のcountDistinctの機能を模倣できることがわかりました。

from pyspark.sql import functions as F

#function to calculate number of seconds from number of days
days = lambda i: i * 86400

#create some test data
df = spark.createDataFrame([(17, "2017-03-10T15:27:18+00:00", "orange"),
                    (13, "2017-03-15T12:27:18+00:00", "red"),
                    (25, "2017-03-18T11:27:18+00:00", "red")],
                    ["dollars", "timestampGMT", "color"])

#convert string timestamp to timestamp type             
df = df.withColumn('timestampGMT', df.timestampGMT.cast('timestamp'))

#create window by casting timestamp to long (number of seconds)
w = (Window.orderBy(F.col("timestampGMT").cast('long')).rangeBetween(-days(7), 0))

#use collect_set and size functions to perform countDistinct over a window
df = df.withColumn('distinct_color_count_over_the_last_week', F.size(F.collect_set("color").over(w)))

df.show()

これにより、レコードの前の週にわたって明確な色数が得られます。

+-------+--------------------+------+---------------------------------------+
|dollars|        timestampGMT| color|distinct_color_count_over_the_last_week|
+-------+--------------------+------+---------------------------------------+
|     17|2017-03-10 15:27:...|orange|                                      1|
|     13|2017-03-15 12:27:...|   red|                                      2|
|     25|2017-03-18 11:27:...|   red|                                      1|
+-------+--------------------+------+---------------------------------------+
37
Bob Swain

@Bob Swainの答えはすてきで、うまくいきます！それ以来、 Sparkバージョン2.1 、SparkはcountDistinct関数と同等の機能を提供し、approx_count_distinctはより効率的に使用でき、最も重要なことは、ウィンドウ全体で個別のカウントをサポートすることです。

代わりにドロップするコードを次に示します。

#approx_count_distinct supports a window
df = df.withColumn('distinct_color_count_over_the_last_week', F.approx_count_distinct("color").over(w))

基数が小さい列の場合、結果は「countDistinct」と同じであると想定されています。データセットが大きくなると、パラメータrsd –許容される最大推定誤差の調整を検討する必要があります。これにより、トレードオフの精度/パフォーマンスを調整できます。

8
noleto