Apache Spark vs Apache Spark 2

Question

Apache Spark2と比較してApache Spark2がもたらす改善点は何ですか？

1. アーキテクチャの観点から
2. アプリケーションの観点から
3. 以上

Answer 1

Apache Spark 2.0.0 APIは1.Xとほぼ同じままでした。Spark 2.0.0にはAPIの重大な変更があります

Apache Spark 2.0.0は2.x行の最初のリリースです。主要な更新はAPIの使いやすさ、SQL 2003のサポート、パフォーマンスの向上、構造化されたストリーミング、R UDFのサポート、および運用の改善。

spark 2：の新機能

• 私が見ることができる最大の変更は、DataSetとDataFrame APIがマージされることです。
• Spark=からの最新かつ最大のものは、前任者と比較して非常に効率的です。Spark 2.0は、さらに優れたスループット。
• 構造化ストリーミングはもう1つの大きなことです！
• ETLに焦点を当てる最初のバージョンになります。後続バージョンでは、ETL用の演算子とライブラリが追加されます

Sparkリリース2.0. を確認できます。ここでは、次の点の更新について説明しています。

• APIの安定性
• コアおよびSpark SQL
• MLlib
• SparkR
• ストリーミング
• 依存関係、パッケージ化、および操作
• 削除、動作の変更、廃止
• 既知の問題点

Answer 2

一言で言えば、DAGとRDDであるため、アーキテクチャに関して大きな違いはありません。これは最も重要な部分です。

Spark 2.0ははるかに最適化されており、開発者の手にはるかに強力なDataSet Apiがあります。したがって、アーキテクチャは同じで、Spark 2.0は、多くの最適化を提供し、豊富なApiを備えています！

これらは、Apache Spark 2.0によって提供される主なものです。

• 私が見ることができる最大の変更は、DataSetとDataFrame APIがマージされることです。
• Spark=からの最新かつ最大のものは、前任者と比較して非常に効率的です。Spark 2.0は、さらに優れたスループット。
• 構造化ストリーミングはもう1つの大きなことです！
• ETLに焦点を当てる最初のバージョンになります。後続バージョンでは、ETL用の演算子とライブラリが追加されます

詳細については、こちらをご覧ください： https://www.quora.com/What-are-special-features-and-advantages-of-Apache-Spark-2-0-over-earlier-versions