それ自体のクライアントとしてのNFSサーバーのパフォーマンスは非常に低い
NFSv4サーバーをセットアップしました。 VMファームとWindows7、8、および10マシンのLinuxマシンとファイルを共有しているので、NFSとSambaの両方とファイルを共有する必要があります1。以前は、基盤となるext4ファイルシステムに直接アクセスできるNFSマシンを構成し、NFSエクスポートをマウントして共有する別のSambaサーバーを構成することでこれを行ってきました。2。
ファイル共有を1つのサーバーに統合したいと思います。重要なのは、NFSとSambaがお互いのファイルを踏んでいないことを確認する必要があり、幸いにもロックを無視していることです。結果として、並列ではなくNFSの上でSambaを使い続ける必要がありますNFSを使用。
これは些細なことのようです。 NFSサーバーは、Sambaサーバーと同じように、単に独自の共有をマウントする必要があります。次に、同じマシンでSambaを実行し、マウントされた共有をエクスポートする必要があります。唯一の違いは、トラフィックが2台のマシン間のネットワークを通過する必要がないことです。より良いパフォーマンスを期待します。
代わりに、NFSサーバーはマシンのCPUを飽和させ、わずか2.5 MB/sパフォーマンスを提供します。
top - 11:34:57 up 15 days, 1:18, 1 user, load average: 32.09, 8.07, 2.74
Tasks: 101 total, 13 running, 88 sleeping, 0 stopped, 0 zombie
%Cpu(s): 5.6 us, 93.7 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.7 si, 0.0 st
KiB Mem : 899776 total, 124840 free, 184624 used, 590312 buff/cache
KiB Swap: 0 total, 0 free, 0 used. 261184 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
11058 root 20 0 0 0 0 R 11.5 0.0 5:53.84 nfsd
11061 root 20 0 0 0 0 R 11.5 0.0 5:53.88 nfsd
11057 root 20 0 0 0 0 R 11.2 0.0 5:53.72 nfsd
11059 root 20 0 0 0 0 R 11.2 0.0 5:53.78 nfsd
11060 root 20 0 0 0 0 R 11.2 0.0 5:53.80 nfsd
11062 root 20 0 0 0 0 R 11.2 0.0 5:53.86 nfsd
11064 root 20 0 0 0 0 R 11.2 0.0 9:23.40 nfsd
11063 root 20 0 0 0 0 R 10.9 0.0 6:00.00 nfsd
何かが間違っていることを私が知っている他の唯一の兆候は、多かれ少なかれそのように見える無数の行が/ var/log/messagesに書き込まれることです。
Apr 25 11:35:01 nas kernel: nfsv4 compound op #4/4: 9 (OP_GETATTR)
Apr 25 11:35:01 nas kernel: nfsd: fh_verify(36: 01070001 00060001 00000000 9509b6fe 7a49ad56 5a4d5dbc)
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88dbf606a080 opcnt 4 #4: 9: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound returned 0
Apr 25 11:35:01 nas kernel: --> nfsd4_store_cache_entry slot ffff88db7bbae000
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88dac5072080 opcnt 4 #2: 22: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound op #3/4: 38 (OP_WRITE)
Apr 25 11:35:01 nas kernel: nfsd: write complete Host_err=131072
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88dac5072080 opcnt 4 #3: 38: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound op #4/4: 9 (OP_GETATTR)
Apr 25 11:35:01 nas kernel: nfsd: fh_verify(36: 01070001 00060001 00000000 9509b6fe 7a49ad56 5a4d5dbc)
Apr 25 11:35:01 nas kernel: nfsd_dispatch: vers 4 proc 1
Apr 25 11:35:01 nas kernel: nfsv4 compound op #1/4: 53 (OP_SEQUENCE)
Apr 25 11:35:01 nas kernel: __find_in_sessionid_hashtbl: 1555688119:2835816624:106:0
Apr 25 11:35:01 nas kernel: nfsd4_sequence: slotid 5
Apr 25 11:35:01 nas kernel: check_slot_seqid enter. seqid 9615 slot_seqid 9614
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88dbf606a080 opcnt 4 #1: 53: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound op #2/4: 22 (OP_PUTFH)
Apr 25 11:35:01 nas kernel: nfsd: fh_verify(36: 01070001 00060001 00000000 9509b6fe 7a49ad56 5a4d5dbc)
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88db7b529080 opcnt 4 #4: 9: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound returned 0
Apr 25 11:35:01 nas kernel: --> nfsd4_store_cache_entry slot ffff88db7bbaf000
Apr 25 11:35:01 nas kernel: nfsd_dispatch: vers 4 proc 1
Apr 25 11:35:01 nas kernel: nfsv4 compound op #1/4: 53 (OP_SEQUENCE)
Apr 25 11:35:01 nas kernel: __find_in_sessionid_hashtbl: 1555688119:2835816624:106:0
Apr 25 11:35:01 nas kernel: nfsd4_sequence: slotid 1
Apr 25 11:35:01 nas kernel: check_slot_seqid enter. seqid 9626 slot_seqid 9625
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88db7b529080 opcnt 4 #1: 53: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound op #2/4: 22 (OP_PUTFH)
Apr 25 11:35:01 nas kernel: nfsd: fh_verify(36: 01070001 00060001 00000000 9509b6fe 7a49ad56 5a4d5dbc)
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88dbf606f080 opcnt 4 #4: 9: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound returned 0
Apr 25 11:35:01 nas kernel: --> nfsd4_store_cache_entry slot ffff88db291eb000
Apr 25 11:35:01 nas kernel: nfsd_dispatch: vers 4 proc 1
Apr 25 11:35:01 nas kernel: nfsv4 compound op #1/4: 53 (OP_SEQUENCE)
Apr 25 11:35:01 nas kernel: __find_in_sessionid_hashtbl: 1555688119:2835816624:106:0
Apr 25 11:35:01 nas kernel: nfsd4_sequence: slotid 2
Apr 25 11:35:01 nas kernel: check_slot_seqid enter. seqid 9614 slot_seqid 9613
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88dbf606f080 opcnt 4 #1: 53: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound op #2/4: 22 (OP_PUTFH)
Apr 25 11:35:01 nas kernel: nfsd: fh_verify(36: 01070001 00060001 00000000 9509b6fe 7a49ad56 5a4d5dbc)
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88dac507e080 opcnt 4 #2: 22: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound op #3/4: 38 (OP_WRITE)
Apr 25 11:35:01 nas kernel: nfsd: write complete Host_err=131072
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88dac507e080 opcnt 4 #3: 38: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound op #4/4: 9 (OP_GETATTR)
Apr 25 11:35:01 nas kernel: nfsd: fh_verify(36: 01070001 00060001 00000000 9509b6fe 7a49ad56 5a4d5dbc)
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88dac5072080 opcnt 4 #4: 9: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound returned 0
Apr 25 11:35:01 nas kernel: --> nfsd4_store_cache_entry slot ffff88dbf65cc000
Apr 25 11:35:01 nas kernel: nfsd_dispatch: vers 4 proc 1
Apr 25 11:35:01 nas kernel: nfsv4 compound op #1/4: 53 (OP_SEQUENCE)
Apr 25 11:35:01 nas kernel: __find_in_sessionid_hashtbl: 1555688119:2835816624:106:0
Apr 25 11:35:01 nas kernel: nfsd4_sequence: slotid 4
Apr 25 11:35:01 nas kernel: check_slot_seqid enter. seqid 9584 slot_seqid 9583
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88dac5072080 opcnt 4 #1: 53: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound op #2/4: 22 (OP_PUTFH)
Apr 25 11:35:01 nas kernel: nfsd: fh_verify(36: 01070001 00060001 00000000 9509b6fe 7a49ad56 5a4d5dbc)
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88dbf606a080 opcnt 4 #2: 22: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound op #3/4: 38 (OP_WRITE)
Apr 25 11:35:01 nas kernel: nfsd: write complete Host_err=131072
Apr 25 11:35:01 nas kernel: nfsv4 compound op ffff88dbf606a080 opcnt 4 #3: 38: status 0
Apr 25 11:35:01 nas kernel: nfsv4 compound op #4/4: 9 (OP_GETATTR)
Apr 25 11:35:01 nas kernel: nfsd: fh_verify(36: 01070001 00060001 00000000 9509b6fe 7a49ad56 5a4d5dbc)
127.0.0.1を介してNFS共有をローカルにマウントしていません。ローカルNFSマウントは、マシン自体のプライベートIPアドレスを使用します。これを変更することもできますが、NFSエクスポートの定義をさらに複雑にする必要があります。実際には、このマシンが、NFS共有をマウントする他のマシンとまったく同じように表示されることを望んでいます。3。
脚注
- WindowsではNFSクライアントを、LinuxではSambaクライアントを使用する方法を知っています。この場合、このようなオプションは機能しません。
- 私はSambaとのNFS共有の再エクスポートについての警告を知っていますが、私と私が知っている他の多くのシステム管理者は問題なくこれを定期的に行っています。この問題は、NFSサーバーが独自の共有をマウントしているために発生したようです。それにもかかわらず、私はそのような警告の正確な理由について知りたいので、あなたが知っているなら共有してください。
- このアーキテクチャ全体に根本的な欠陥がある理由が誰かにある場合、私はそれを聞いてオープンです。私は2台のマシンを使用してNFS上でSambaを提供してきた長年の経験があるので、Sambaマシンを切り取り、NFSセルフマウントを使用してSambaをNFSサーバーマシンに移動できると思いました。
あなたのワークロードがスケジューリングの死を迎えている可能性が非常に高いです。ファイルシステムをそれ自体にエクスポートしてから、そのエクスポートを再度エクスポートするときに、同じシステムのコンテキストスイッチでtonを要求しています。
このワークロードを複数のカーネル（同じCPUコアを共有しないカーネル）に分割すると、それらのシステム間にネットワークリンクが含まれているにもかかわらず、パフォーマンスが向上する場合があります。
これは、同じ場所に配置されたVM set; 1つはNFSを実行し、もう1つはSambaを実行します。これらを同じハイパーバイザーに配置すると、ほとんどのネットワークレイテンシが排除され、これらのVMが機能しない場合は正常に機能するはずです。同じCPUコアを共有します。
NFSのユーザースペース実装もあります-NFSGaneshaは非常に一般的なものです。ただし、Sambaは、この反復的なユーザースペースとカーネルの切り替えの重要な量にも責任を負います。これらのワークロードが何らかの理由でカーネルを絶対に共有する必要がある場合、NFSGaneshaはテストする価値があるかもしれません。
つまり、同じシステム内でコンテキストスイッチングを減らすことは、これに大いに役立つはずです。