web-dev-qa-db-ja.com

GoogleのWeb検索APIが廃止されたため、代替手段は何ですか？

Google Web Search APIは非推奨になり、カスタム検索APIに置き換えられました（ http://code.google.com/apis/websearch/ を参照）。

私はウェブ全体を検索したいのですが、新しいAPIではカスタムサイトしか検索できないようです。

プログラム的にウェブ全体を検索する方法はありますか？私はJavaプログラムからJSONを使って古いAPIを問い合わせることができました。

google-apideprecatedgoogle-searchgoogle-custom-search
304
Dan

ブラウザと同じようにそれらを送信し、それからhtmlを解析することができます。それが私がいつもしてきたことです。

30
Zimm3r

はい、Google Custom Searchは古いSearch APIに置き換えられましたが、 you can はまだGoogle Custom Searchを使用してウェブ全体を検索します 、カスタム検索の設定からは明らかではありません。

ウェブ全体を検索するGoogleカスタム検索エンジンを作成するには：

  1. Googleカスタム検索ホームページ（ http://www.google.com/cse/ ）から、[カスタム検索エンジンの作成]をクリックします。
  2. 検索エンジンの名前と説明を入力してください。
  3. [検索エンジンの定義]の[検索するサイト]ボックスに、有効なURLを少なくとも1つ入力します（今のところは、www.anyurl.comを入力してこの画面を過ぎてください。詳細は後述）。
  4. 必要なCSEエディションを選択して利用規約に同意し、[Next]をクリックします。必要なレイアウトオプションを選択して、[次へ]をクリックします。
  5. [次の手順]セクションの下にあるリンクをクリックして、コントロールパネルに移動します。
  6. 左側のメニューの[コントロールパネル]で、[基本]をクリックします。
  7. [検索設定]セクションで、[Web全体を検索するが含まれるサイトを強調する]を選択します。
  8. 変更を保存をクリックします。
  9. 左側のメニューの[コントロールパネル]で、[サイト]をクリックします。
  10. 初期設定プロセス中に入力したサイトを削除します。

これであなたのカスタム検索エンジンはウェブ全体を検索します。

価格設定

  • Googleカスタム検索では、1日あたり100件のクエリが無料で提供されます。
  • その後、1000クエリあたり5ドルを支払います。
  • 1日あたり最大10,000のクエリがあります。

出典： https://developers.google.com/custom-search/json-api/v1/overview#Pricing

  • 検索品質は通常のGoogle検索よりもはるかに低い（同義語、 "インテリジェンス"など）
  • グーグルはこのサービスを完全に閉鎖することさえ計画しているようだ。
445
Bangkokian

グーグルカスタムサーチ（最高評価の回答で主張されているように）はうまく機能しますが、競合他社（下記）や他のグーグルAPIと比較して、非常に高価です。小さな無料利用枠（1日あたり100クエリ）と1000クエリあたり5ドルという非常に高い価格があります。

サイト検索にアップグレードするという選択肢がありますが、これはわずかに良い価格ですが、それは1つのサイト（自分のサイト）を検索するためのものなので、アップグレードとはまったく異なるものです。

主な選択肢は次のようです。

Bing Search API
https://datamarket.Azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
これは月額5000qの無料利用枠があり、価格は1ペニーあたり5クエリから始まり、厳しい制限はありません。

更新：2016年の終わりに、このAPIはAzureの対応する「Cognitive Services Bing Search API」のためにシャットダウンされました。
https://Azure.Microsoft.com/ja-jp/services/cognitive-services/search/

ここをクリック 価格表については、1000トランザクションにつき3ドル/ mから始まります。足りない場合はかなり高価です。

Yahoo BOSS検索API
アップデート：2016年3月31日に製造中止になりました。 http://developer.yahoo.com/boss/search/
全ウェブ検索の価格は約12クエリ/ペニーです。

そして私は前に聞いたことがないいくつか：

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[廃止 - 下記で指摘されているように]

this SO post でこれらのいくつかについて少し議論があります。
[話題になっていなかったため終了しました]

50
Tom

カスタム検索コントロールパネルの下部にあるオプションは次のとおりです。"検索するサイト"、あなたは選択することができます"ウェブ全体を検索しますが含まれるサイトを強調する"

Custom Search Control Panel - Sites to search

26
Yishu Fang

Farooには 無料のWeb検索API があります。

14
Jack

私はCommon Crawlからこれに遭遇したところです。

http://www.commoncrawl.org/

私たち全員が探している答えかもしれません！

6
Dan

docs の上にメモがあります。

注：Google Web Search APIは、2010年11月1日現在正式に廃止されています。これは引き続き当社の 廃止方針 に従って機能しますが、1日あたりのリクエスト数は制限されます。したがって、新しい カスタム検索API に移行することをお勧めします。

非推奨ポリシー は、彼らは3年間APIを実行し続けると言います。そのため、古いAPIを使用するアプリケーションがすでにある場合は、まだラッシュする必要はありません。新しいアプリケーションを作成している場合は、 Custom Search API を使用してください。 Pythonでこれを行う方法については、私の答え ここ を参照してください。しかし、その考え方はどの言語でも同じです。

4
marcog

JFreeWebSearchという名前の無料のJava APIがあります。これは、すでに説明したFarooを使用しています。 http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

3
Heiko

Googleカスタム検索のホームページ（ http://www.google.com/cse/ ）から「どこでも」カスタム検索エンジンを作成できます。新しいエンジンを追加する際には、 'advanced'をクリックするだけです。そこにあなたはSchema.orgサイトタイプを提供することができます。 ' Thing 'は最も一般的な型で、すべてのWebを網羅しています。

1
testlnord

Gigablastは安価なWeb検索APIを提供しています。 http://www.gigablast.com/searchfeed.html

0
jman