web-dev-qa-db-ja.com

タイムスタンプ値でlag関数とrangeBetween関数を使用するにはどうすればよいですか？

私は次のようなデータを持っています：

userid,eventtime,location_point
4e191908,2017-06-04 03:00:00,18685891
4e191908,2017-06-04 03:04:00,18685891
3136afcb,2017-06-04 03:03:00,18382821
661212dd,2017-06-04 03:06:00,80831484
40e8a7c3,2017-06-04 03:12:00,18825769

同じlocation_point内の5分ウィンドウ内に2つ以上のuseridがある場合にtrueをマークする新しいブール列を追加したいと思います。 lag関数を使用して、useridで分割され、現在のタイムスタンプから次の5分の範囲のウィンドウを検索することを考えました。

from pyspark.sql import functions as F
from pyspark.sql import Window as W
from pyspark.sql.functions import col

days = lambda i: i * 60*5 

windowSpec = W.partitionBy(col("userid")).orderBy(col("eventtime").cast("timestamp").cast("long")).rangeBetween(0, days(5))

lastURN = F.lag(col("location_point"), 1).over(windowSpec)
visitCheck = (last_location_point == output.location_pont)
output.withColumn("visit_check", visitCheck).select("userid","eventtime", "location_pont", "visit_check")

RangeBetween関数を使用すると、次のコードで分析例外が発生します。

AnalysisException：u '現在の行と1500FOLLOWINGの間のウィンドウフレーム範囲は、1つの先行と1つの先行の間の必要なフレームROWSと一致する必要があります。

この問題に取り組む方法を知っていますか？

apache-sparkpysparkapache-spark-sqlwindow-functions
6
ebertbm

あなたのデータを考えると：

秒単位のタイムスタンプを持つ列を追加しましょう。

df = df.withColumn('timestamp',df_taf.eventtime.astype('Timestamp').cast("long"))
df.show()

+--------+-------------------+--------------+----------+
|  userid|          eventtime|location_point| timestamp|  
+--------+-------------------+--------------+----------+
|4e191908|2017-06-04 03:00:00|      18685891|1496545200|
|4e191908|2017-06-04 03:04:00|      18685891|1496545440|
|3136afcb|2017-06-04 03:03:00|      18382821|1496545380|
|661212dd|2017-06-04 03:06:00|      80831484|1496545560|
|40e8a7c3|2017-06-04 03:12:00|      18825769|1496545920|
|4e191908|2017-06-04 03:11:30|      18685891|1496545890|
+--------+-------------------+--------------+----------+

次に、location_pointによるパーティション、タイムスタンプによる順序、および-300秒から現在の時刻までの範囲でウィンドウ関数を定義しましょう。このウィンドウの要素の数を数え、これらのデータを「occurencesin_5_min」という名前の列に入れることができます。

w = Window.partitionBy('location_point').orderBy('timestamp').rangeBetween(-60*5,0)
df = df.withColumn('occurrences_in_5_min',F.count('timestamp').over(w))
df.show()

+--------+-------------------+--------------+----------+--------------------+
|  userid|          eventtime|location_point| timestamp|occurrences_in_5_min|
+--------+-------------------+--------------+----------+--------------------+
|40e8a7c3|2017-06-04 03:12:00|      18825769|1496545920|                   1|
|3136afcb|2017-06-04 03:03:00|      18382821|1496545380|                   1|
|661212dd|2017-06-04 03:06:00|      80831484|1496545560|                   1|
|4e191908|2017-06-04 03:00:00|      18685891|1496545200|                   1|
|4e191908|2017-06-04 03:04:00|      18685891|1496545440|                   2|
|4e191908|2017-06-04 03:11:30|      18685891|1496545890|                   1|
+--------+-------------------+--------------+----------+--------------------+

これで、特定の場所で過去5分間に発生数が厳密に1を超えている場合に、Trueを使用して目的の列を追加できます。

add_bool = udf(lambda col : True if col>1 else False, BooleanType())
df = df.withColumn('already_occured',add_bool('occurrences_in_5_min'))
df.show()

+--------+-------------------+--------------+----------+--------------------+---------------+
|  userid|          eventtime|location_point| timestamp|occurrences_in_5_min|already_occured|
+--------+-------------------+--------------+----------+--------------------+---------------+
|40e8a7c3|2017-06-04 03:12:00|      18825769|1496545920|                   1|          false|
|3136afcb|2017-06-04 03:03:00|      18382821|1496545380|                   1|          false|
|661212dd|2017-06-04 03:06:00|      80831484|1496545560|                   1|          false|
|4e191908|2017-06-04 03:00:00|      18685891|1496545200|                   1|          false|
|4e191908|2017-06-04 03:04:00|      18685891|1496545440|                   2|           true|
|4e191908|2017-06-04 03:11:30|      18685891|1496545890|                   1|          false|
+--------+-------------------+--------------+----------+--------------------+---------------+
13
plalanne

rangeBetweenは、lagのような非集計関数には意味がありません。 lagは常にオフセット引数で示される特定の行を取るため、フレームを指定しても意味がありません。

時系列のウィンドウを取得するには、標準の集計でwindowグループ化を使用できます。

from pyspark.sql.functions import window,  countDistinct


(df
    .groupBy("location_point", window("eventtime", "5 minutes"))
    .agg( countDistinct("userid")))

スライドの長さを変更するために、さらに引数を追加できます。

locationでパーティション化すると、ウィンドウ関数で同様のことを試すことができます。

windowSpec = (W.partitionBy(col("location"))
  .orderBy(col("eventtime").cast("timestamp").cast("long"))
  .rangeBetween(0, days(5)))


df.withColumn("id_count", countDistinct("userid").over(windowSpec))
7
Alper t. Turker