web-dev-qa-db-ja.com

HadoopMapReduceとGoogleMapReduceの違い

HadoopMapReduceとGoogleMapReduceの違いは何ですか?

Hadoopがmapreduceなどの標準化を提供しているだけですか?差分の中に他に何がありますか。

17

Google MapReduceとHadoopは、MapReduceフレームワーク/コンセプトの2つの異なる実装(インスタンス)です。 Hadoopはオープンソースですが、Google MapReduceはオープンソースではなく、実際には利用可能な詳細はそれほど多くありません。

大規模なデータセットで動作するため、分散ファイルシステムに依存する必要があります。 Hadoopは標準の分散ファイルシステムとしてHDFS(Hadoop分散ファイルシステム)を使用し、Google MapReduceはGFS(Googleファイルシステム)を使用します

HadooopはJavaで実装されています。 GoogleMapReduceはC++であるようです。

19
Razvan

Googleは、BigQueryWebサービスを介してMapReduce機能を公開しています。これは、Hiveを使用したHadoopのように機能します(つまり、バックグラウンドでMap Reduceジョブを生成するSQLのような言語を使用します)。BigQuery用のブラウザーベースのクエリツールを使用した例を以下に示します。 Googleが公募としてテクノロジーをリリースするのによくあることですが、内部の詳細は公開されておらず、設定を調整または調整することもできません。 APIを使用してWebサービスを呼び出し、Googleのインフラストラクチャを使用して結果をアプリケーションに返すだけです。

enter image description here

2
Lynn Langit

これについては、次のリンクを参照してください。

http://www.linuxforu.com/2011/03/mapreduce-more-power-less-code-hadoop/

1
Ashutosh

以下のリンクでHDFSVSGFSを確認してください

https://sensaran.wordpress.com/2015/11/24/gfs-vs-hdfs/

0
Skumar