web-dev-qa-db-ja.com

Zeppelin / Spark / Scalaでデータフレームをきれいに印刷するにはどうすればよいですか?

私はSpark 2およびScala 2.11をZeppelin 0.7ノートブックで使用しています。次のように印刷できるデータフレームがあります。

dfLemma.select("text", "lemma").show(20,false)

出力は次のようになります。

+---------------------------------------------------------------------------------------------------------------------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|text                                                                                                                       |lemma                                                                                                                                                                  |
+---------------------------------------------------------------------------------------------------------------------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|RT @Dope_Promo: When you and your crew beat your high scores on FUGLY FROG ???????? https://time.com/Sxp3Onz1w8                    |[rt, @Dope_promo, :, when, you, and, you, crew, beat, you, high, score, on, FUGLY, FROG, https://time.com/sxp3onz1w8]                                                      |
|RT @axolROSE: Did yall just call Kermit the frog a lizard?  https://time.com/wDAEAEr1Ay                                        |[rt, @axolrose, :, do, yall, just, call, Kermit, the, frog, a, lizard, ?, https://time.com/wdaeaer1ay]                                                                     |

ツェッペリンで出力をより良くしようとしています:

val printcols= dfLemma.select("text", "lemma")
println("%table " + printcols)

次の出力が得られます。

printcols: org.Apache.spark.sql.DataFrame = [text: string, lemma: array<string>]

そして、新しい空白のツェッペリン段落の見出し

[text: string, lemma: array]

データフレームを適切にフォーマットされたテーブルとして表示する方法はありますか? TIA!

15
schoon

Zeppelinでは、z.show(df)を使用してきれいな表を表示できます。次に例を示します。

val df = Seq(
  (1,1,1), (2,2,2), (3,3,3)
).toDF("first_column", "second_column", "third_column")

z.show(df)

enter image description here

50
Daniel de Paula