web-dev-qa-db-ja.com

ホスティングサイトからダウンロードするためにwgetを使用する方法

wgetは、インターネット上ですばやくデータをダウンロードするのに非常に便利なツールですが、FreakShare、IFile.it Depositfiles、Uploaded、Rapidshareなどのホスティングサイトからダウンロードするために使用できますか？もしそうなら、どうすればそれを行うことができますか？

wgetdownloadhosting-services
11
Zignd

この種のサイトは、グラフィカルなWebブラウザーを使用しないようにすることを試みています。wgetを使用すると、帯域幅に対して支払うこれらすべての広告が失われるためです。

一部のサイトは高度なチェックを行わず、簡単にだまされる可能性があります。wgetに これは実際にはMozillaです であり、 ダウンロードサイトから であると偽るように指示します。

wget --user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1' \
     --referer=http://downloadsite.example.com/download-page-url
     http://downloadsite.example.com/download-page-url/filename.ext`

チェックするほとんどのサイトでは、--user-agent=Mozillaおよび--refererダウンロードするファイルのURLに設定します。

一部のサイトでは、WebブラウザーのCookieをエクスポートして--load-cookies to wget;この時点で、wgetを使用すると、手動でダウンロードするよりも手間がかかります。常に機能しますが、サイトごとにコーディングが必要な究極の方法は、 Selenium または Watir などのブラウザ自動化フレームワークを使用することです。

参照 curlを使用したWebリクエストの自動化？

11
Gilles 'SO- stop being evil'

Zippyshareの場合：

このメソッドは Gillesの答え に基づいて構築されます。彼が言ったように、トリックはサーバーにリクエストがブラウザーから行われていると考えさせ、それを実現させるために、あなたはいくつかのものが必要です：

  • ダウンロードリンク（ファイルへの実際のリンク）
  • リンクリファラー（ダウンロードボタンのあるウェブページ）
  • ZippyshareセッションID（Cookieにあります）

各アイテムをどこで取得できるかを説明するスクリーンショットは次のとおりです：

Download From Zippyshare

ここでターミナルを開き、次のコマンドを使用します（必要なアイテムを置き換えます）：

wget <download_link> \
--referer='<referrer>' \
--cookies=off --header "Cookie: JSESSIONID=<session_id>" \
--user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1'

例：

wget http://www16.zippyshare.com/d/29887835/8895183/hello.txt \
--referer='http://www16.zippyshare.com/v/29887835/file.html' \
--cookies=off --header "Cookie: JSESSIONID=26458C0893BF69F88EB5743D74FE0F8C" \
--user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1'

注：コマンドでは、実際にはrefererではなくreferrerです

7
Sheharyar

私も完璧な答えの上にしたいと思います、私はターボビットから私の息子のための子の映画をダウンロードするために次のトリックを使いました：

上記の回答のSESSION_IDの代わりに、FIREBUGのcookieタブから「compid」を見つける必要があります。

enter image description here

その後、私のdebian組み込みシステムのコマンドはとても簡単でした。

wget --referer='http://http://turbobit.net/download/free/yilmacr4e351' --cookies=off --header "Cookie: compid=c9255510c34624435292d8a0e7e405be66aa01f9%7ED01343F87AB53A2C38D957A564DA1D55" --user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1' http://turbobit.net/download/redirect/B3EDACDA9B899937A149D5AAB6662327/yilmacr4e351/Ters.Yuz.2015.1080P.WEBDL.TR.EN.mkv &

今すぐコンピュータをシャットダウンできます:)

1
Sertac TULLUK