web-dev-qa-db-ja.com

AWS EMRでyarnを再起動する方法

Hadoop 2.6.0（emr-4.2.0 image）を使用しています。 yarn-site.xmlにいくつかの変更を加えましたが、変更を有効にするためにyarnを再起動したいと思います。

これを行うことができるコマンドがありますか？

hadoopyarnemr
24
nish

編集（10/26/2017）：より詳細な知識これを行う方法に関するセンター記事は、AWSによって公式に公開されています- https://aws.Amazon.com/premiumsupport/knowledge-center/restart-service-emr/ 。

EMRクラスターのマスターノードにsshして実行できます-

"Sudo /sbin/stop hadoop-yarn-resourcemanager"
"Sudo /sbin/start hadoop-yarn-resourcemanager"

yarnリソースマネージャーを再起動するコマンド。 EMR AMI 4.x.xはupstartを使用します-/ sbin/{start、stop、restart}はすべて、upstartの一部である/ sbin/initctlへのシンボリックリンクです。詳細については、 initctl manページを参照してください。

または、こちらの手順に従って、変更をyarn-site.xmlに伝達できます- yarn-change-configuration-on-yarn-site-xml

25
annunarcist

グーグルから来る人のために

EMRでサービスを再起動するには、次のアクションを実行します。

  • 次のコマンドを実行して、サービスの名前を見つけます。

    initctl list

たとえば、YARN Resource Managerサービスの名前はhadoop-yarn-resourcemanager。

  • 次のコマンドを実行して、サービスを停止します。

    Sudo stop hadoop-yarn-resourcemanager

  • 数秒待ってから、次のコマンドを実行してサービスを開始します。

    Sudo start hadoop-yarn-resourcemanager

注：停止/開始が必要です。 restartコマンドを使用しないでください。

  • 次のコマンドを実行して、プロセスが実行されていることを確認します。

    Sudo status hadoop-yarn-resourcemanager

Psを使用してプロセスを確認し、ログディレクトリ/ var/log /にエラーがないかログファイルを確認します。

ソース： https://aws.Amazon.com/premiumsupport/knowledge-center/restart-service-emr/

20
Ahmed Kamal

ログ集約を有効にする場合は、ドキュメントで説明されているように、ログ集約が有効になっているクラスターを実際に作成する方が簡単です。

http://docs.aws.Amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-plan-debugging.html

（emr-4.3.0を使用している場合、実際にはデフォルトで有効になっています）。

0
Ana