web-dev-qa-db-ja.com

Spark-データフレーム構文を使用してグループ化しますか？

Spark sql/hiveContextなしでgroupby-havingを使用するための構文は何ですか？

_DataFrame df = some_df
df.registreTempTable("df");    
df1 = sqlContext.sql("SELECT * FROM df GROUP BY col1 HAVING some stuff")
_

しかし、どのように私はそれを次のような構文で行うのですか？

_df.select(df.col("*")).groupBy(df.col("col1")).having("some stuff")
_

この.having()は存在しないようです。

javasqlapache-sparkdataframeapache-spark-sql
18
lte__

はい、存在しません。同じロジックをaggの後にwhereを付けて表現します。

df.groupBy(someExpr).agg(somAgg).where(somePredicate)
27
zero323

たとえば、各カテゴリの製品を検索したい場合、手数料が3200未満で、その数が10以上であってはなりません。

  • SQLクエリ：
sqlContext.sql("select Category,count(*) as 
count from hadoopexam where HadoopExamFee<3200  
group by Category having count>10")
  • DataFrames API
from pyspark.sql.functions import *

df.filter(df.HadoopExamFee<3200)
  .groupBy('Category')
  .agg(count('Category').alias('count'))
  .filter(column('count')>10)
4
Sri_Karthik