web-dev-qa-db-ja.com

Webサイト全体をダウンロードする方法

Webサイトからすべてのページをダウンロードする方法

どのプラットフォームでも結構です。

downloadwebsiteweb
346
joe

HTTRACK は、サイト全体のコンテンツをコピーするためのチャンピオンのように機能します。このツールは、アクティブなコードコンテンツを含むWebサイトをオフラインで動作させるために必要なものをつかむことさえできます。オフラインで複製できることに驚きました。

このプログラムはあなたがそれを必要とするすべてをするでしょう。

ハッピーハンティング！

323
Axxmasterr

Wget はこの種のタスクのための古典的なコマンドラインツールです。ほとんどのUnix/Linuxシステムに同梱されていますが、Windowsでも入手できます。 Macでは、 自作 が最も簡単なインストール方法です（brew install wget）。

次のようにします。

wget -r --no-parent http://site.com/songs/

詳しくは、 Wget Manual とその の例 をご覧ください。これら：

266
Jonik

Wgetを使う：

wget -m -p -E -k www.example.com

オプションは説明した：

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.
143
user9437

インターネットダウンロードマネージャ にはたくさんのオプションを備えたSite Grabberユーティリティがあります - あなたが望むウェブサイトを好きなように完全にダウンロードすることができます。

  1. ダウンロードするページ/ファイルのサイズに制限を設定することができます

  2. あなたが訪問するブランチサイトの数を設定することができます

  3. あなたはスクリプト/ポップアップ/複製の振る舞いを変えることができます

  4. ドメインを指定できます。そのドメインの下でのみ、必要な設定を満たすすべてのページ/ファイルがダウンロードされます。

  5. リンクはブラウジングのためにオフラインリンクに変換することができます

  6. あなたはあなたにあなたのために上記の設定を選択させるテンプレートを持っています

enter image description here

ソフトウェアは無料ではありません - それがあなたのニーズに合っているかどうかを確かめてください、評価版を使ってください。

8
Lazer

Firefoxの拡張機能である ScrapBook をご覧ください。それは 詳細なキャプチャモード を持っています。

enter image description here

8
webjunkie

itsucks - これがプログラムの名前です。

7
kmarsh

私はブラウザが使用するオンラインバッファリングに対処します...

通常、ほとんどのブラウザはブラウジングキャッシュを使用して、Webサイトからダウンロードしたファイルをしばらく保持しているので、静止画像やコンテンツを何度もダウンロードする必要はありません。ある状況下ではこれは物事をかなりスピードアップすることができます。一般的に言って、ほとんどのブラウザキャッシュは固定サイズに制限されていて、その制限に達するとキャッシュ内の最も古いファイルを削除します。

ISPはESPNやCNNのようなよくアクセスされるWebサイトのコピーを保存するキャッシュサーバーを持つ傾向があります。これにより、ネットワーク上の誰かがアクセスするたびにこれらのサイトにアクセスする手間が省けます。これにより、ISPへの外部サイトへの重複要求の量を大幅に節約できます。

5
Axxmasterr

私は オフラインエクスプローラ が好きです。
これはシェアウェアですが、非常に優れていて使いやすいです。

5
Eran

私はこれを長年行っていませんが、まだいくつかのユーティリティがあります。 Web Snake を試してみるとよいでしょう。私はそれを数年前に使ったと思います。私はあなたの質問を読んだときにすぐにその名前を思い出しました。

私はStecyに同意します。彼らのサイトを邪魔しないでください。ひどい。

4
Bobby Ortiz

WebZip も良い製品です。

4
Herb Caudill

LinuxとOS Xの場合： WARC ファイルにWebサイト全体をアーカイブするために grab-site を書きました。これらのWARCファイルは 閲覧 することも抽出することもできます。 grab-siteでは、正規表現を使用してどのURLをスキップするかを制御できます。これらは、クロールの実行中に変更できます。また、ジャンクURLを無視するための広範な デフォルトセット もあります。

クロールを監視するためのWebダッシュボード、およびビデオコンテンツまたは特定のサイズを超える応答をスキップするための追加オプションがあります。

3
Ivan Kozik

DownThemAll はFirefoxのアドオンで、特定のWebページのすべてのコンテンツ（たとえばオーディオファイルやビデオファイル）をワンクリックでダウンロードします。これはサイト全体をダウンロードするわけではありませんが、これは質問が探していたようなものかもしれません。

3
Will M

Teleport Pro は、あなたのターゲットが何であれ、そこからすべてのファイルをコピーする無料のソリューションです。コンテンツのページ）。

3
Pretzel

BackStreetブラウザを試してください 。

無料で強力なオフラインブラウザです。高速マルチスレッドWebサイトダウンロードおよび表示プログラム。複数の同時サーバーリクエストを行うことで、BackStreetブラウザは、HTML、グラフィック、Javaアプレット、サウンド、およびその他のユーザー定義可能ファイルを含むWebサイト全体またはサイトの一部を迅速にダウンロードし、すべてのファイルをネイティブフォーマットでハードドライブに保存できますまたは圧縮Zipファイルとしてオフラインで表示します。

enter image description here

3
joe

由緒あるFreeDownloadManager.orgもこの機能を持っています。

Free Download Managerには、2つの形式の2つの形式があります。 Site ExplorerとSite Spider ：

サイトエクスプローラ
サイトエクスプローラを使用すると、Webサイトのフォルダ構造を表示し、必要なファイルやフォルダを簡単にダウンロードできます。
HTMLスパイダー
HTML Spiderを使用すると、Webページ全体またはWebサイト全体をダウンロードできます。指定された拡張子のファイルのみをダウンロードするようにツールを調整できます。

サイトエクスプローラは、サイト全体をダウンロードしようとする前に、どのフォルダを含めたり除外したりするかを確認するのに役立ちます。特に、ダウンロードしたくないフォーラムがサイト内に隠れている場合は特にそうです。

1
David d C e Freitas

Power wget

Wgetは既にこのリソースとコマンドラインに言及されているので、私はそれが言及に値すると思った：wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/

説明シェルで説明されているこのコードを参照してください

1
Shwaydogg