web-dev-qa-db-ja.com

ラップトップにHadoopをインストールするためのハードウェア要件

Hadoop、MapReduce、その他のビッグデータに関する経験を積むことを計画しています。最初はラップトップにインストールしたいと思います。 WindowsにHadoopをインストールするために推奨される最高のラップトップハードウェアは何でしょうか。シングルノードインストールをインストールする必要があると思いますが、そうでない場合は正しい構成を教えてください。 Nadeemに関して

5
Nhqazi

Windowsにインストールしたいとおっしゃっていましたが、ClouderaはシングルノードのHadoop Linux VMイメージを提供しており、すぐに稼働させることができます。例やスクリプトも含まれているので、開始するのに非常に適しています。

https://www.cloudera.com/downloads.html

はじめに セクションを確認することを忘れないでください。)

私の意見では、ビッグデータとHadoopについて学びたい場合は、Linuxに慣れるために時間を費やす必要があります。これは、実際の環境のほとんどがLinuxベースであるためです。

システム要件:Clouderaページごとに、VMは4GBRAMと3GBのディスクスペースを必要とします。これは、ラップトップにそれ以上のものが必要であることを意味します(8GB以上をお勧めします)。ストレージに関しては、中小規模のデータセット(数十GB)でテストするのに十分なものがあれば、問題ありません。 CPUに関しては、マシンにその量のRAMがあれば、おそらく問題ありません。私は小さな仕事をテストするために4GBのRAMを搭載したシングルノードのくだらないPentiumG3210を使用していますが、それは問題なく動作します。

後でこの環境を超えた場合は、独自の疑似分散セットアップに簡単に移行できます。

もちろん、私が今言ったことがあなたにとって意味をなさないのであれば、あなたは先にいくつかの読書をしています...

6
Matt Fortier

単純なプログラム(データ集約型ではない)を練習したい場合は、4GB RAMが適切です。シングルノードをインストールしたい場合、最適な構成は32GB RAM少なくとも4コア。

単一ノードのインストール方法の詳細については、myhobbyandexperiments.wordpress.comを参照してください。

2
Guest

Linuxのみのラップトップを使用する準備ができている可能性はほとんどありません。そのため、64ビット仮想化をサポートする64ビットCPU、そしてもちろん64ビットOSが必要です。仮想化のサポートはBIOSレベルで無効になっていることが多いので、それを見つけて有効にする必要があります。

それ以外に、たくさんのRAM-16GBが望ましいですが、少なくとも8GBです。OSごとに異なるハードドライブを用意したいので、DVDをHDキャディに置き換えることができるラップトップ、および2番目のSSCハードドライブ(たとえば128GB)が適切です。

1
Alex J.