web-dev-qa-db-ja.com

WGETは予期せずに終了します

サーバーキャッシュを更新するサイトを定期的にトラバースする必要があります。それは非常に多くの(何千もの)ページを持つデータベース駆動サイトです。同じサーバー上でサイトをローカルにミラーリングするようにwgetを使用するので、このコマンドを使用します。

wget --mirror localhost.

しばらくした後、それはこのメッセージで突然止まります:

応答を待っているHTTPリクエスト...終了しました

それは常に起こりますが、まったく同じURLには起こりません。そして私は同じ結果と同様に別のサーバーを試してみました。

--debugオプションは、役立つ情報を提供せず、Apacheのログファイルも提供しません。

この問題の原因が何でありますか?いくつかのバッファがメモリなどのバッファなどを疑うか、スタックオーバーフロー。

あるいは、同じことをすることができる他のコマンドラインツールはありますか?

それはDebian Lennyの1.11.4 ggetです。

マーティン

2
marlar

私は早期に終わることなくwgetがフルサイトを横断する方法はありませんでしたが、私は - httrack それが完全に仕事をします。

0
marlar