web-dev-qa-db-ja.com

GFSクラスターを置き換えるための推奨事項は？

ファイバーチャネルSANの共有ディスクを使用するCentOSGFSクラスター（グローバルファイルシステムの場合はGFS）がいくつかあります。彼らは今成熟していて、彼らの交換の計画を始める時が来ました。

これらは奇数のノード（3または5）であり、APC（PDU）電源スイッチでセットアップされた障害のあるノードのフェンシングがあります。ノードはすべてアクティブであり、同じ共有ファイルシステムで同時に読み取りと書き込みを行います。ファイルシステムは小さく、現在はTB未満であり、コモディティハードドライブに収まるよりも大きくなることはありません。

ノードがダウンしたときに再配置する2つの排他的なIPアドレスリソースがあります。 （3ノードクラスターで1）。すべてがうまく機能しますが、アクティビティが多いとパフォーマンスはあまり良くありません。

では、次世代クラスターで何が違うのでしょうか？

必要なのはサービスの稼働時間とデータの可用性です。おそらくスケーラビリティもありますが、おそらくそうではありません。負荷があまり大きくなることはないと思います。また、通常のファイルシステム上の通常のファイルと同じようにファイルを読み書きできる必要があります。クォータやACLは必要ありません。通常のUNIXのアクセス許可、所有権、mtime、バイト単位のサイズ、およびlnを使用して、1つのノードを除くすべてのノードで同時に失敗する方法でロックファイルを作成する機能。

物理サーバーの数を増やしたくない（つまり、実際のサーバー自体のストレージを使用したい）。

必須ではありませんが、共有ディスクに依存していなければいいと思います。過去5年間にエンタープライズクラスSANストレージが利用できなくなったという2つの事件を経験したので、ありそうもないことですが、一歩先を行きたいと思います。

稼働時間は非常に重要であるため、1つの実行中のカーネルを備えた1つの物理サーバーは少なすぎます。仮想マシンは、環境内のSANに依存しています。

これまでの私の考え：

  • すべてのノードはプレーンなNFSv3クライアントである可能性があります（lnは期待どおりに機能しますか？その場合、NFSサーバーはどうなりますか？）
  • Ceph CephFSを使用（FS本番環境に対応できるのはいつですか？）
  • XtreemFS （Cephと比較して、なぜそれについてほとんど書かれていないのですか？）

ご覧のとおり、私は分散ストレージに興味がありますが、経験豊富な教祖からのアドバイスが必要です。特に、CephまたはXtreemFSに関する推奨事項やアドバイスを歓迎します。これは、非常識な帯域幅を要求するHPCではありません。必要なのは、可用性と信頼性、そしてできれば古いソリューションの柔軟性、理想的には現在よりも「優れた」構成であるということです。

[〜＃〜] edit [〜＃〜]（Nilsのコメントを参照）このソリューションを置き換えることを考える主な理由は、 SANストレージキャビネットの単一障害点を排除することは可能です。あるいは、代わりにLVMミラーリングを使用して、2つの異なるストレージシステム上のデータを同じSANファブリック？2つのFC-HBAとダブルスイッチで十分だと思います。

nfsclusterdistributed-filesystem
4
MattBianco

CephとGlusterFSは、クラスター化されたFSテクノロジーが現在進んでいる場所です。私はGlusterFSに精通していないので、Cephの機能について説明します。

Cephは水平方向にスケーリングします。追加するローエンドノードが多いほど、パフォーマンスが向上します。 GlusterFSとは異なり、これはデータをシャーディングするCephの主な利点です。

ただし、Cephは活発に開発中であり（Ceph FSを除いて本番環境に対応しています）、最新のカーネルが必要です（これを書いているので、CentOS6.5のデフォルトカーネルでさえRBD/CephFS機能を利用できません）。これを回避するために、ELRepo kernel-ltをインストールしました。

あなたのためにそれを分解するには：

  • CephsRBDはクラスター化されたSAN置換です。クラスター内にあり、サーバーにマウントできる「仮想」デバイスを作成できます。注：一度に1つのサーバーにのみRBDイメージをマウントする必要があります（複数のOSにSATAドライブをマウントさせたくないですか？）。次に、RBDディスクを通常のようにmountフォーマットしてから、NFS/CIFSで使用できるようにします。 NFS/CIFSを提供するサーバーがダウンしても、データは失われません。
  • Ceph FSはクラスター化されたNASの代替品です（ただし、本番環境の準備はできていません）。サーバー（Webサーバーなど）間で共有されるクラスター化されたFSに必要なファイルロック機能を提供します。

RBDはカーネル空間で実行されます。したがって、Fuseのパフォーマンスへの影響はありません。 Ceph FSもカーネル空間で実行されますが、Fuseで実行できます。

Cephのデプロイも非常に簡単です。

  1. 管理ノード（デスクトップ/ワークステーション）のpip install ceph-deploy。
  2. InktankRPMリポジトリとceph-deploy install node1 node2 ... nodeNを追加して、すべてのノードにcephをインストールします。
3
user26053

この投稿は、高度な分散ファイルシステムのユースケースの要件の優れた分析であることがわかりました。

究極の分散ファイルシステムを探しています： http://roland.entierement.nu/blog/2012/01/15/looking-for-the-ultimate-distributed-filesystem.html

例

  • 守秘義務：タホが勝ち、引き継ぎます。ネットワークスニファもストレージノードも、保存されたファイルの内容を見ることができません。彼らは自分の名前やディレクトリ構造についてさえ知ることができません。 XtreemFSは、ネットワーク上のデータを暗号化します（ただし、ノードにはクリアテキストで保存されます）。 Cephは試みさえしません。

要件のキーポイント

  1. 可用性と冗長性
  2. 自動レプリケーションとリバランス
  3. 機密性：少なくとも、ネットワーク通信は暗号化および認証される必要があります
  4. パフォーマンス：ネイティブディスクのパフォーマンスは現実的に到達できない可能性があります
  5. システムとの統合：ストレージシステムではなく、ファイルシステムが必要です

とりわけ、これは、業界の支援にもかかわらず、現時点ではCephFSとGlusterFSでは達成できない重要なことを示しています。

1
SemanticBeeng