web-dev-qa-db-ja.com

10GigEでのDRBDのひどい同期パフォーマンス

RAIDアレイ（8コア、16GB RAM、12x2 TB RAID6）、3つの10GigEインターフェイス）を備えた同一のサーバーのペアをセットアップして、いくつかの高可用性サービスをホストしました。

システムは現在Debian 7.9 Wheezy oldstableを実行しています（corosync/pacemakerは8.xの安定版でもテスト版でも利用できないため）。

  • ローカルディスクのパフォーマンスは、約900 MB /秒の書き込み、1600 MB /秒の読み取りです。
  • マシン間のネットワークスループットは700MB /秒以上です。
  • iSCSIを介して、各マシンは他のストレージに700 MB /秒を超える速度で書き込むことができます。

ただし、DRBDの構成方法に関係なく、スループットは100MB/sに制限されます。本当にハードコードされた制限のように見えます。設定を微調整することで確実にパフォーマンスを下げることができますが、1ギガビットを超えることはありません（一度に数秒間、122 MB /秒に達します）。私は本当にこれで髪を引っ張っています。

  • プレーンバニラカーネル3.18.24 AMD64
  • drbd 8.9.2〜rc1-1〜bpo70 + 1

設定は2つのファイルに分割されます：global-common.conf：

global {
        usage-count no;
}

common {
        handlers {
        }

        startup {
        }

        disk {
                on-io-error             detach;
         #       no-disk-flushes ;
        }
        net {
                max-Epoch-size          8192;
                max-buffers             8192;
                sndbuf-size             2097152;
        }
        syncer {
                rate                    4194304k;
                al-extents              6433;
        }
}

およびcluster.res：

resource rd0 {
        protocol C;
        on cl1 {
                device /dev/drbd0;
                disk /dev/sda4;
                address 192.168.42.1:7788;
                meta-disk internal;
        }

        on cl2 {
                device /dev/drbd0;
                disk /dev/sda4;
                address 192.168.42.2:7788;
                meta-disk internal;
        }
}

スレーブ上のcat /proc/drbdonからの出力：

version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE 
 0: cs:SyncTarget ro:Secondary/Secondary ds:Inconsistent/UpToDate C r-----
    ns:0 nr:4462592 dw:4462592 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:16489499884
        [>....................] sync'ed:  0.1% (16103024/16107384)M
        finish: 49:20:03 speed: 92,828 (92,968) want: 102,400 K/sec

マスターのvmstat 2からの出力（両方のマシンがほぼ完全にアイドル状態）：

procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 0  0      0 14952768 108712 446108    0    0   213   254   16    9  0  0 100  0
 0  0      0 14952484 108712 446136    0    0     0     4 10063 1361  0  0 99  0
 0  0      0 14952608 108712 446136    0    0     0     4 10057 1356  0  0 99  0
 0  0      0 14952608 108720 446128    0    0     0    10 10063 1352  0  1 99  0
 0  0      0 14951616 108720 446136    0    0     0     6 10175 1417  0  1 99  0
 0  0      0 14951748 108720 446136    0    0     0     4 10172 1426  0  1 99  0

2つのサーバー間のiperfからの出力：

------------------------------------------------------------
Client connecting to cl2, TCP port 5001
TCP window size:  325 KByte (default)
------------------------------------------------------------
[  3] local 192.168.42.1 port 47900 connected with 192.168.42.2 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  6.87 GBytes  5.90 Gbits/sec

どうやら初期同期はやや遅いはずですが、これほど遅くはありません...さらに、drbdadm disk-options --resync-rate=800M allのような同期レートをスロットルする試みには実際には反応しません。

linuxdebianperformancedrbd
15
wazoox

他の誰かが私がこれらの設定を使用することを提案しました：

        disk {
                on-io-error             detach;
                c-plan-ahead 0;
        }
        net {
                max-Epoch-size          20000;
                max-buffers             131072;
        }

そして性能は優秀です。

編集： @Matt Kereczmanおよび他の提案に従って、最終的にこれに変更しました：

disk {
        on-io-error             detach;
        no-disk-flushes ;
        no-disk-barrier;
        c-plan-ahead 0;
        c-fill-target 24M;
        c-min-rate 80M;
        c-max-rate 720M;
} 
net {
        # max-Epoch-size          20000;
        max-buffers             36k;
        sndbuf-size            1024k ;
        rcvbuf-size            2048k;
}

再同期速度が速い：

cat /proc/drbd
version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n-
    ns:133246146 nr:0 dw:2087494 dr:131187797 al:530 bm:0 lo:0 pe:5 ua:106 ap:0 ep:1 wo:d oos:4602377004
        [>....................] sync'ed:  2.8% (4494508/4622592)M
        finish: 1:52:27 speed: 682,064 (646,096) K/sec

これらの設定との再同期中の書き込み速度は優れています（ローカル書き込み速度の80％、フルワイヤ速度）。

# dd if=/dev/zero of=./testdd bs=1M count=20k
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,3731 s, 731 MB/s

読み取り速度はOKです：

# dd if=testdd bs=1M count=20k of=/dev/null
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,4538 s, 729 MB/s

後で編集：

完全な再同期後、パフォーマンスは非常に良好です（ワイヤースピードの書き込み、ローカルスピードの読み取り）。再同期は高速（5/6時間）で、パフォーマンスにあまり影響しません（ワイヤースピードの読み取り、ワイヤースピードの書き込み）。私は間違いなくc-plan-aheadをゼロのままにしておきます。ゼロ以外の値では、再同期は長すぎます。

7
wazoox

DRBDの新しいバージョン（8.3.9以降）には、調整が必要な動的再同期コントローラーがあります。古いバージョンのDRBDでは、syncer {rate;}で十分でした。今では、動的再同期速度の軽く提案された開始場所としてより多く使用されています。

動的同期コントローラーは、DRBDの構成のディスクセクションにある「c-settings」で調整されます（$ man drbd.confこれらの各設定の詳細については）。

これらのノード間に10Gbeがあり、プロトコルCが使用されているためレイテンシが低いと想定すると、次の構成では物事がより速く動くはずです。

 resource rd0 {
 protocol C; 
 disk {
 c-fill-target 10M; 
 c-max-rate 700M; 
 c-plan-ahead 7; 
 c-min-rate 4M; 
} 
 on cl1 {
 device /dev/drbd0;
 disk /dev/sda4;
 address 192.168.42.1:7788;
 meta-disk internal; 
} 
 
 on cl2 {
 device /dev/drbd0;
 disk /dev/sda4;
 address 192.168.42.2:7788;
 meta-disk internal; 
} 
}

それでも満足できない場合は、max-buffers最大12k。それでも満足できない場合は、c-fill-target 2M刻みで。

11
Matt Kereczman

c-plan-aheadでは、動的同期レートコントローラーを有効にするために正の値を設定する必要があります。ディスクc-plan-ahead 15; // 5 * RTT / 0.1s unit,in my case is 15 c-fill-target 24; c-max-rate 720M;

4
Keven