高I / Oの原因となる特定のファイルの決定
これは単純な問題ですが、実際に修正する必要があったのは初めてです。どのI/Oのターゲットである特定のファイル/ iノードを見つけるかです。一般的なシステムの概要を知りたいのですが、PIDまたはTIDを指定する必要がある場合は問題ありません。
straceにポップアップ表示されるプログラムでiotopを実行せずに移動します。 iotopと同じ方法でツールを使用することをお勧めしますが、ファイルごとに項目化するツールを使用します。 lsofを使用して、mailmanが開いているファイルを確認できますが、I/Oを受信しているファイルやその量はわかりません。
他の場所でauditdの使用が提案されているところを見てきましたが、他の目的で使用する監査ファイルに情報が入れられ、これは問題のようです。このように研究できるはずです。
私が今持っている特定の問題は、LVMスナップショットが急速にいっぱいになることです。私はそれ以来問題を解決しましたが、/proc/<pid>/fdのすべての開いているファイル記述子に対してlsを実行するだけでなく、どの方法で最も速く成長しているかを確認するのではなく、この方法で修正できるようにしたいと考えています。
この質問には他のツールによって部分的に対処されたいくつかの側面がありますが、探しているすべての機能を提供する単一のツールは存在しないようです。
iotop
このツールは、どのプロセスが最も多くのI/Oを消費しているかを示します。ただし、特定のファイル名を表示するオプションがありません。
$ Sudo iotop
Total DISK READ: 0.00 B/s | Total DISK WRITE: 0.00 B/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
1 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % init
2 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kthreadd]
3 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/0]
5 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/u:0]
6 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/0]
7 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [watchdog/0]
デフォルトでは、ディスクI/Oを除いて、CPUの時間を争うプロセスに対して通常のtopが行うことを実行します。 -aスイッチを使用して、30,000フィートのビューを提供するように調整することができます。これにより、時間の経過によるプロセスごとの累積が表示されます。
$ Sudo iotop -a
Total DISK READ: 0.00 B/s | Total DISK WRITE: 0.00 B/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
258 be/3 root 0.00 B 896.00 K 0.00 % 0.46 % [jbd2/dm-0-8]
22698 be/4 emma 0.00 B 72.00 K 0.00 % 0.00 % chrome
22712 be/4 emma 0.00 B 172.00 K 0.00 % 0.00 % chrome
1177 be/4 root 0.00 B 36.00 K 0.00 % 0.00 % cupsd -F
22711 be/4 emma 0.00 B 120.00 K 0.00 % 0.00 % chrome
22703 be/4 emma 0.00 B 32.00 K 0.00 % 0.00 % chrome
22722 be/4 emma 0.00 B 12.00 K 0.00 % 0.00 % chrome
i *ツール（inotify、iWatchなど）
これらのツールは、ファイルアクセスイベントへのアクセスを提供しますが、特定のディレクトリまたはファイルをターゲットにする必要があります。そのため、パフォーマンスの問題をデバッグするときに、不明なプロセスによる不正なファイルアクセスを追跡しようとする場合、それほど役に立ちません。
また、inotifyフレームワークは、アクセスされるファイルに関する詳細を提供しません。アクセスのタイプのみであるため、これらのツールを使用して、やり取りされるデータの量に関する情報は利用できません。
iostat
特定のデバイス（ハードドライブ）またはパーティションへのアクセスに基づいて、全体的なパフォーマンス（読み取りと書き込み）を表示します。ただし、これらのアクセスを生成しているファイルについての洞察はありません。
$ iostat -htx 1 1
Linux 3.5.0-19-generic (manny) 08/18/2013 _x86_64_ (3 CPU)
08/18/2013 10:15:38 PM
avg-cpu: %user %Nice %system %iowait %steal %idle
18.41 0.00 1.98 0.11 0.00 79.49
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda
0.01 0.67 0.09 0.87 1.45 16.27 37.06 0.01 10.92 11.86 10.82 5.02 0.48
dm-0
0.00 0.00 0.09 1.42 1.42 16.21 23.41 0.01 9.95 12.22 9.81 3.19 0.48
dm-1
0.00 0.00 0.00 0.02 0.01 0.06 8.00 0.00 175.77 24.68 204.11 1.43 0.00
blktrace
このオプションはレベルが低すぎます。アクセスされているファイルやiノード、または未加工のブロック番号に関する可視性が欠けています。
$ Sudo blktrace -d /dev/sda -o - | blkparse -i -
8,5 0 1 0.000000000 258 A WBS 0 + 0 <- (252,0) 0
8,0 0 2 0.000001644 258 Q WBS [(null)]
8,0 0 3 0.000007636 258 G WBS [(null)]
8,0 0 4 0.000011344 258 I WBS [(null)]
8,5 2 1 1266874889.709032673 258 A WS 852117920 + 8 <- (252,0) 852115872
8,0 2 2 1266874889.709033751 258 A WS 852619680 + 8 <- (8,5) 852117920
8,0 2 3 1266874889.709034966 258 Q WS 852619680 + 8 [jbd2/dm-0-8]
8,0 2 4 1266874889.709043188 258 G WS 852619680 + 8 [jbd2/dm-0-8]
8,0 2 5 1266874889.709045444 258 P N [jbd2/dm-0-8]
8,0 2 6 1266874889.709051409 258 I WS 852619680 + 8 [jbd2/dm-0-8]
8,0 2 7 1266874889.709053080 258 U N [jbd2/dm-0-8] 1
8,0 2 8 1266874889.709056385 258 D WS 852619680 + 8 [jbd2/dm-0-8]
8,5 2 9 1266874889.709111456 258 A WS 482763752 + 8 <- (252,0) 482761704
...
^C
...
Total (8,0):
Reads Queued: 0, 0KiB Writes Queued: 7, 24KiB
Read Dispatches: 0, 0KiB Write Dispatches: 3, 24KiB
Reads Requeued: 0 Writes Requeued: 0
Reads Completed: 0, 0KiB Writes Completed: 5, 24KiB
Read Merges: 0, 0KiB Write Merges: 3, 12KiB
IO unplugs: 2 Timer unplugs: 0
Throughput (R/W): 0KiB/s / 510KiB/s
Events (8,0): 43 entries
Skips: 0 forward (0 - 0.0%)
fatrace
これはLinuxカーネルへの新しい追加であり、歓迎されたものであるため、Ubuntu 12.10などの新しいディストリビューションでのみ使用できます。私のFedora 14システムにはそれがありませんでした8-）。
特定のディレクトリやファイルをターゲットにすることなく、inotifyを介して取得できるのと同じアクセスを提供します。
$ Sudo fatrace
pickup(4910): O /var/spool/postfix/maildrop
pickup(4910): C /var/spool/postfix/maildrop
sshd(4927): CO /etc/group
sshd(4927): CO /etc/passwd
sshd(4927): RCO /var/log/lastlog
sshd(4927): CWO /var/log/wtmp
sshd(4927): CWO /var/log/lastlog
sshd(6808): RO /bin/dash
sshd(6808): RO /lib/x86_64-linux-gnu/ld-2.15.so
sh(6808): R /lib/x86_64-linux-gnu/ld-2.15.so
sh(6808): O /etc/ld.so.cache
sh(6808): O /lib/x86_64-linux-gnu/libc-2.15.so
上記は、ファイルアクセスを実行しているプロセスIDとそれがアクセスしているファイルを示していますが、全体的な帯域幅の使用量を提供していないため、各アクセスは他のアクセスと区別できません。
じゃあ何をすればいいの？
fatraceオプションは、[〜＃〜]最終的に最も期待できるものを示します[〜＃〜]集計を表示できるツールを提供しますアクセスを行うプロセスではなく、アクセスされるファイルに基づくディスクI/Oの使用。
参考文献
まだ回答は得られていませんが、このスクリプトを（最後に）作成しました。他のシステムではテストしていません。Linux固有です。
基本的にはstraceを30秒間ラップアラウンドし、ファイル関連のシステムコールをフィルタリングし、ファイル名を取り除きます。 strace内のそのファイルの出現回数をカウントし、ページ分割された概要をユーザーに提示します。完璧ではありませんが、特定のファイルへのシステムコールの数には、実行中のI/Oの量と弱い相関がある場合があります。
私はそれを完全にテストしていませんが、箱から出して動かない場合、人々は最初から始める場所を提供するはずです。それがもう肉付けされたら、これをより高いレベルの言語 pythonのような に書き直すことをお勧めします。
自作ではない方法で1週間以内に回答が得られない場合（特定のプロセスのI/Oをカウントするだけの別のツールであっても）、これを後世の回答として受け入れます。
脚本：
#!/bin/bash
####
# Creates files underneath /tmp
# Requires commands: timeout strace stty
####
#
# All commands are GNU unless otherwise stated
#
##########################################################
####
## Initialization
####
outputFile=/tmp/out.$RANDOM.$$
uniqueLinesFile=/tmp/unique.$RANDOM.$$
finalResults=/tmp/finalOutput.txt.$$
if [ $# -ne 1 ]; then
echo "USAGE: traceIO [PID]" >&2
exit 2
fi
if ! [[ "$1" =~ ^[0-9]+$ ]]; then
echo "USAGE: traceIO [PID]" >&2
echo -e "\nGiven Process ID is not a number." >&2
exit 2
fi
if [ ! -e /proc/$1 ]; then
echo "USAGE: traceIO [PID]" >&2
echo -e "\nThere is no process with $1 as the PID." >&2
exit 2
fi
if [[ "x$PAGER" == "x" ]]; then
for currentNeedle in less more cat; do
which $currentNeedle >/dev/null 2>&1
if [ $? -eq 0 ]; then
PAGER=$currentNeedle
break;
fi
done
if [[ "x$PAGER" == "x" ]]; then
echo "Please set \$PAGER appropriately and re-run" >&2
exit 1
fi
fi
####
## Tracing
####
echo "Tracing command for 30 seconds..."
timeout 30 strace -e trace=file -fvv -p $1 2>&1 | egrep -v -e "detached$" -e "interrupt to quit$" | cut -f2 -d \" > $outputFile
if [ $? -ne 0 ]; then
echo -e "\nError performing Trace. Exiting"
rm -f $outputFile 2>/dev/null
exit 1
fi
echo "Trace complete. Preparing Results..."
####
## Processing
####
sort $outputFile | uniq > $uniqueLinesFile
echo -e "\n-------- RESULTS --------\n\n #\t Path " > $finalResults
echo -e " ---\t-------" >> $finalResults
while IFS= read -r currentLine; do
echo -n $(grep -c "$currentLine" "$outputFile")
echo -e "\t$currentLine"
done < "$uniqueLinesFile" | sort -rn >> $finalResults
####
## Presentation
####
resultSize=$(wc -l $finalResults | awk '{print $1}')
currentWindowSize=$(stty size | awk '{print $1}')
# We put five literal lines in the file so if we don't have more than that, there were no results
if [ $resultSize -eq 5 ]; then
echo -e "\n\n No Results found!"
Elif [ $resultSize -ge $currentWindowSize ] ; then
$PAGER $finalResults
else
cat $finalResults
fi
# Cleanup
rm -f $uniqueLinesFile $outputFile $finalResults
使用できます iWatch iWatchの使用
iWatchの使い方は非常に簡単です。/etcファイルシステムの変更を監視したい場合は、コンソールで実行するだけです。
$ iWatch /etc
そして、iWatchはこのディレクトリで何か変更があるかどうかを教えてくれます。また、メールで通知を受け取りたい場合は、次のようにします。
$ iWatch -m [email protected] /etc
この場合、管理者は電子メール通知を受け取ります（おそらくSMSゲートウェイアカウントを使用できるため、いつでもどこでもすぐに警告されます）。また、多くの異なるディレクトリを監視する場合は、構成ファイルを使用できます。この構成ファイルは、わかりやすい構造のxmlファイルです。