web-dev-qa-db-ja.com

Glacier VaultからGlacier Deep Archiveにデータを移動する

データが含まれるGlacierデータボールトがいくつかあります。
そのデータを新しいストレージクラス、つまり「Glacier Deep Archive」に移動したいと思います。

どうやってするか？ボールト設定のコンソールにそのようなオプションが表示されません。

amazon-web-servicesamazon-glacier
2
Michał Herman

私はGlacierが出たときにこれを見て、決して返信されなかったAWSブログにコメントを投稿しました。

GlacierからGlacier Cold Archiveへの移行パスがないことがわかります。データを手動で移行する必要があります。

私は2つの提案されたアプローチがあります：

ローカルアップロード

ローカルにデータがあり、その整合性に自信がある場合は、AWSコマンドラインまたはアップロードしたいツールを使用してください。これを高速化するために、構成ファイルのS3パラメータを微調整したい場合があります。これにより、より多くのスレッドを使用してインターネット帯域幅の使用率を向上させることができます。これは、小さなファイルがたくさんある場合に特に役立ちます。大きなファイルを使用すると、帯域幅を最大限に活用できる可能性があります。

ダウンロードしてアップロード

第二のアプローチは

  • Glacierからデータを復元する
  • ローカルまたは理想的にはEC2オンデマンドインスタンスのいずれかでコンピューターにデータをダウンロードします（インスタンスが終了するとデータが失われる可能性があるため、スポットしないでください）。
  • IA層を使用してS3にデータをアップロードする

ユーザーの作成

これが、Windowsからのアップロードに使用するS3コマンドです。プロファイル「氷河作家」が必要であることに注意してください

そのバケットへのアクセス権を持つIAMユーザーと、必要なその他のリソースを作成しました。アクセス/秘密鍵を用意します。あなたが役割でこれを行う必要がある場合、それはもう少し作業ですが難しいことではありません、オンラインのドキュメントがあります

aws configure --glacier-writer

次に、設定ファイルを編集して、これまたは同様のものを含めることができます。私は20Mbpsのアップロードを持っているので、これは自宅のインターネット接続でうまく機能します。高帯域幅で高速なマシンを使用している場合は、同時リクエストを増やすことができます。 1から2のxeonコアを必要とする高帯域幅の企業接続で最大80のスレッドを正常に使用しました。

[profile glacier-writer]
region = us-west-2
output = json
s3 =
    max_concurrent_requests = 10
    max_queue_size = 100
    multipart_chunksize = 75MB
    multipart_threshold = 200MB

Windowsではこれは

c:\users\username\.aws\configure

Linuxでは、

~\home\.aws\configure

アップロードを実行

単純なS3同期が私がやっていることですが、「s3 cp」を使用して単純にS3にアップロードすることもできます。

aws s3 sync C:\Source\Folder\ s3://bucket-name/ --profile glacier-writer --storage-class DEEP_ARCHIVE --exclude *.tmp
5
Tim