web-dev-qa-db-ja.com

プライベートクラウドのAWSS3の代替

現在、AWSからプライベートデータセンターに移行する必要があります。 AWSS3の代わりに潜在的な代替ストレージを見つける必要があります。現在、S3は次のように使用されています。

  • 全体のストレージサイズは10TBです。
  • 最小/平均/最大オブジェクトサイズは0.5/2/100Mbです。
  • 同時に書き込み/読み取りを行うN個のアプリインスタンスがあります
    オブジェクトは約50書き込み/秒、30読み取り/秒。
  • このストレージは、冗長（高可用性）、フォールトトレラント、スケーラブルである必要があります。

素朴な実装では、このデータを次の場所に保存できます。

  • シンプルなNFSストレージといくつかのレプリケーション機能を追加します。
  • 言及されたオブジェクトをNoSQLDBに保存するだけです（Cassandraの例のように）。ただし、Cassandraは、このストレージをサポートするために多数のインスタンスを必要とします（> 1TB pn 1 Cassandra node Cassandraキャパシティプランニング ）

そのようなシナリオに対してどのような解決策をお勧めしますか？

amazon-s3cassandrastoragenfs
9
user1459144

S3互換のプライベートクラウドサービスの時点で、多数のオプションがあります。オープンソースソリューションが好きな場合は、上記のオープンスタックとCassandraが適しています。通常、何を使用しても、複数のノードでクラウドをセットアップすることになり、これは避けられないことに注意してください。冗長性と可用性を交換するために。 Cloudian の製品など、いくつかの優れた商用および経済的な製品があります。

3
Zhong Hu

OpenStack Swiftを使用できます

Swiftは、可用性が高く、分散され、結果整合性のあるオブジェクト/ブロブストアです。組織はSwiftを使用して、大量のデータを効率的、安全、かつ安価に保存できます。

詳細： https://docs.openstack.org/Swift/latest/
そして https://oldhenhut.com/2016/05/31/s3-vs-Swift/

1
Ashraful Islam

オブジェクトストアが必要な場合は、 elliptics （ 英語 ）をお勧めします。私が知っているように、ディスクストアに制限はありません。

Cassandraの場合、SSDディスクを使用しています（パフォーマンスを向上させるため）<200-500 Gb。リングサイズは要件（読み取り/書き込みレイテンシ、レプリケーションレート、寿命）によって異なります。 。

50書き込み/秒、30読み取り/秒

セットアップと比較できるので、これはCassandraにとって非常に簡単です。その場合、それはあなたのオブジェクトのために時々人生にもっと依存します。

一般に、分散ネットワークの場合は、 GlusterFS も確認できます。

1
egorlitvinenko

プライベートクラウドストレージが必要な場合は、 MinIO を使用するのが最善の策です。これはAWSS3と互換性があるため、AWSS3を使用するアプリケーションをMinIOにシームレスに移行できます。 MinIOサーバーをAWSCLIに接続する方法のチュートリアルがあります。パブリックにホストされているMinIOサーバーに対してテストできます https://play.min.io:90 。 MinIOサーバーを使用したAWS CLI を参照してください。

MinIO分散セットアップを使用して、可用性の高いストレージシステムを構築できます。動的拡張はMinIO分散セットアップの機能ではないことに注意してください。クラスターを拡張する場合は、必要な数のサーバー/ディスクで新しいクラスターをスピンすることになり、データを古いクラスターから新しいクラスターに移行する必要があります。

HDFSよりもはるかに使いやすいと思います。これに加えて、Hadoopエコシステム以外にもHDFS統合が不足しているテクノロジーがたくさんあります。たとえば、Dockerレジストリには組み込みのHDFSストレージドライバーがありません。ただし、S3ドライバーがあるため、オブジェクトストレージとしてMinIOを使用できます。

1
Root G