web-dev-qa-db-ja.com

別のドメインでwgetダウンロードページのリソースを作成する

リソースが別のドメイン（ドメインB）にある場合、wgetを使用してサイト全体（ドメインA）をダウンロードするにはどうすればよいですか？
私はもう試した：
wget -r --level=inf -p -k -E --domains=domainA,domainB http://www.domainA

linuxdownloadwgetfetch
16
Parsa
wget --recursive --level=inf --page-requisites --convert-links --html-extension \
     --span-hosts=domainA,domainB url-on-domainA

UPDATE：上記のコマンドが過去に機能したことを覚えています（2010年で、私は GNU Tools for Windows を使用していました。当時）;ただし、今日使用したい場合は、次のように変更する必要がありました。

wget --recursive --level=inf --page-requisites --convert-links \
     --adjust-extension --span-hosts --domains=domainA,domainB domainA

その省略形は次のようになります：wget -rEDpkH -l inf domainA,domainB domainA

  • -r = --recursive
  • -l <depth> = --level=<depth>
  • -E = --adjust-extension
  • -p = --page-requisites
  • -K = --backup-converted
  • -k = --convert-links
  • -D <domain-list> = --domain-list=<domain-list>
  • -H = --span-hosts
  • -np = --no-parent
  • -U <agent-string> = --user-agent=<agent-string>

GNU Wgetマニュアル： https://www.gnu.org/software/wget/manual/wget.html

14
Parsa

wget --recursive --level = inf --page-requisites --convert-links --html-extension -rH -Domain、domain domain

1
mnml
wget --page-requisites --convert-links --adjust-extension --span-hosts --domains domainA,domainB domainA

Robots.txtを無視する必要がある場合があります（これは一部の利用規約に違反している可能性があるため、最低限必要なものをダウンロードする必要があります）。 https://www.gnu.org/software/wget/manual/wget.html#Robot-Exclusion を参照してください。

0
Matthew Flaschen