web-dev-qa-db-ja.com

GoogleまたはDuckDuckGoの検索結果からのブロックスタックオーバーフロースクレーパー

ご存知のように、StackOverflow(および他のStackExchangeサイト)からコンテンツを取得するWebサイト(wenda.ioなど)が多数あります。私は彼らがこれを行うことをあまり気にしませんでした、そして実際に彼らはそれをどこから得たのかを帰属させる限り、そうすることは完全に自由です(私はこれをしないそれらのサイトを報告する私の公平な分け前もしました)、これらのサイトが私の検索結果を汚染していることを除きます。

問題は、これらのサイトが多数あり、新しいサイトが毎日登場しているように見えることです。多くの場合、対応するStack Overflowページのすぐ横に表示されますが、表示されないこともあります。サイト自体は通常ひどくフォーマットされており、使用が困難です。もちろん、Stack Overflowで非常に役立つと思われる「関連」ボックスがすべて揃っているわけではありません(ただし、独自の模倣があります)。さらに、これらのサイトを使用してサポートしたくありません。

これらのスクレイパーサイトをGoogle検索結果から除外する簡単な方法はありますか? (DuckDuckGoのソリューションも見つけていただければ幸いです。)SOの検索結果だけが必要なわけではないことに注意してください。私。

Here’s DuckDuckGoの検索例(2015年9月4日現在)。最初のページの30の結果のうち11がStack Overflowスクレーパーからのものです。 Googleにはかなりの数のStack Overflowスクレーパーもありますが、DuckDuckGoには表示されない多くの結果が混在しています。

編集:StackExchangeサイト、特にStackOverflow専用のソリューションを探していました。重複としてマークされた質問は、特異性が考慮されているかどうかに応じて、couldが重複する可能性があるほどよく似ています(ただし、確かにそうではありません) tは私の質問に答えますが、その後、どちらの回答もここでは行いません)。

2
user103148

Chromeブラウザを使用している場合、Gooleは Personal Blocklist extension をリリースしました

個人ブロックリスト拡張機能は、ブロックするように選択したパターンをGoogleに送信します。パターンのブロックまたはブロック解除を選択すると、拡張機能は、ブロックまたはブロック解除された検索結果が表示されるWebページのURLもGoogleに送信します。

2
heavyd