web-dev-qa-db-ja.com

Jsoupにプロキシサポートを追加する方法

私はJavaの初心者であり、私の最初のタスクは約10,000個のURLを解析し、そこから情報を抽出することです。これのためにJsoupそしてそれはうまく機能しています。

しかし、今私はそれにプロキシサポートを追加します。プロキシにもユーザー名とパスワードがあります。

javajsoup
37
Himanshu

Jsoupを介してWebページデータを取得する必要はありません。ここに私の解決策がありますが、それは最良ではないかもしれません。

  URL url = new URL("http://www.example.com/");
  Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("127.0.0.1", 8080)); // or whatever your proxy is
  HttpURLConnection uc = (HttpURLConnection)url.openConnection(proxy);

  uc.connect();

    String line = null;
    StringBuffer tmp = new StringBuffer();
    BufferedReader in = new BufferedReader(new InputStreamReader(uc.getInputStream()));
    while ((line = in.readLine()) != null) {
      tmp.append(line);
    }

    Document doc = Jsoup.parse(String.valueOf(tmp));

そしてそこにある。これにより、プロキシを介してhtmlページのソースが取得され、Jsoupで解析されます。

33
Ryan

プロキシを簡単に設定できます

System.setProperty("http.proxyHost", "192.168.5.1");
System.setProperty("http.proxyPort", "1080");
Document doc = Jsoup.connect("www.google.com").get();
69
KaraPirinc

Jsoup 1.9.1以降：（推奨されるアプローチ）

// Fetch url with proxy
Document doc = Jsoup //
               .connect("http://www.example.com/") //
               .proxy("127.0.0.1", 8080) // sets a HTTP proxy
               .userAgent("Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2") //
               .header("Content-Language", "en-US") //
               .get();

オーバーロード Jsoup＃proxy を使用することもできます。これは Proxy クラスを取ります。

Jsoup 1.9.1より前：（冗長アプローチ）

// Setup proxy
Proxy proxy = new Proxy(                                      //
        Proxy.Type.HTTP,                                      //
        InetSocketAddress.createUnresolved("127.0.0.1", 8080) //
);

// Fetch url with proxy
Document doc = Jsoup //
               .connect("http://www.example.com/") //
               .proxy(proxy) //
               .userAgent("Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2") //
               .header("Content-Language", "en-US") //
               .get();

参照：

35
Stephan
System.setProperty("http.proxyHost", "192.168.5.1");
System.setProperty("http.proxyPort", "1080");
Document doc = Jsoup.connect("www.google.com").get();

解析は通常マルチスレッドであり、通常はプロキシを変更する必要があるため、これは間違ったソリューションです。このコードは、すべてのスレッドに対して1つのプロキシのみを設定します。 Jsoup.Connectionを使用しない方が良いでしょう。

4
Alex Shwarc

あなたはプログラムを実行する前にこれを追加したいかもしれません

final String authUser = "USERNAME";
final String authPassword = "PASSWORD";



Authenticator.setDefault(
               new Authenticator() {
                  public PasswordAuthentication getPasswordAuthentication() {
                     return new PasswordAuthentication(
                           authUser, authPassword.toCharArray());
                  }
               }
            );

..

System.setProperty("http.proxyHost", "192.168.5.1");
System.setProperty("http.proxyPort", "1080");
..
4
enig123

Jsoupは v1.9.1 であるため、プロキシの使用をサポートします。 Connection class には次のメソッドがあります。

  • proxy(Proxy p)
  • proxy(String Host, int port)

次のように使用できます：

Jsoup.connect("...url...").proxy("127.0.0.1", 8080);

認証が必要な場合は、 @ Navneet Swaminathan で言及されているAuthenticatorアプローチを使用するか、単に システムプロパティ を設定します。

System.setProperty("http.proxyUser", "username");
System.setProperty("http.proxyPassword", "password");

または

System.setProperty("https.proxyUser", "username");
System.setProperty("https.proxyPassword", "password");
2
juzraai

代わりにこのコードを試してください：

URL url = new URL("http://www.example.com/");
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("127.0.0.1", 8080)); // or whatever your proxy is

HttpURLConnection uc = (HttpURLConnection)url.openConnection(proxy);
hc.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");
uc.setRequestProperty("Content-Language", "en-US");
uc.setRequestMethod("GET");
uc.connect();

Document doc = Jsoup.parse(uc.getInputStream());
1
Stephan