web-dev-qa-db-ja.com

Pyspark dataframeすべての列にnullのある行をドロップする方法は？

データフレームの場合、以前は次のようになります。

+----+----+----+
|  ID|TYPE|CODE|
+----+----+----+
|   1|   B|  X1|
|null|null|null|
|null|   B|  X1|
+----+----+----+

私はそれが次のようなものであることを願っています：

+----+----+----+
|  ID|TYPE|CODE|
+----+----+----+
|   1|   B|  X1|
|null|   B|  X1|
+----+----+----+

df.columnsが非常に長い場合に適用できるような一般的な方法を好みます。ありがとう！

pythonapache-sparkpysparkapache-spark-sqlpyspark-sql
9
kww

1つのオプションは、functools.reduceを使用して条件を構築することです。

from functools import reduce
df.filter(~reduce(lambda x, y: x & y, [df[c].isNull() for c in df.columns])).show()
+----+----+----+
|  ID|TYPE|CODE|
+----+----+----+
|   1|   B|  X1|
|null|   B|  X1|
+----+----+----+

ここで、reduceは次のようにクエリを生成します。

~reduce(lambda x, y: x & y, [df[c].isNull() for c in df.columns])
# Column<b'(NOT (((ID IS NULL) AND (TYPE IS NULL)) AND (CODE IS NULL)))'>
4
Psidom

na.dropの戦略を提供するだけで十分です。

df = spark.createDataFrame([
    (1, "B", "X1"), (None, None, None), (None, "B", "X1"), (None, "C", None)],
    ("ID", "TYPE", "CODE")
)

df.na.drop(how="all").show()

+----+----+----+
|  ID|TYPE|CODE|
+----+----+----+  
|   1|   B|  X1|
|null|   B|  X1|
|null|   C|null|
+----+----+----+

別の定式化はthreshold（NOT NULL値の数）で実現できます。

df.na.drop(thresh=1).show()

+----+----+----+
|  ID|TYPE|CODE|
+----+----+----+
|   1|   B|  X1|
|null|   B|  X1|
|null|   C|null|
+----+----+----+
15
user6910411