web-dev-qa-db-ja.com

アダルトWebサイトのクロール可能性の問題

私はミッションを得て、新しいWebサイトのこのシナリオでいくつかの助けを求めました。

このサイトはアダルトエスコート広告サービスです。それはうまく開発され、動作し、見栄えが良いですが、問題はクロール性にあります。

Googleウェブマスターツールは、すべてのページで同じコンテンツにインデックスを付けます。さらに説明させてください。

クライアントがページにアクセスしようとすると、Webサイトにはデフォルトの契約/警告ページが表示されます。クライアントが「proceded」をクリックすると、セッション変数が設定され、クライアントは元のページにリダイレクトされます(302)。

クライアントが「いいえ」と言った場合、彼は別のWebサイト(google、wikipedia、ニュースポータルなど)にリダイレクトされます。

まあ、これは安全なプロセスですが、私が言ったクローラビリティの問題を引き起こします。それで、これに何か光がありますか?契約後のコンテンツを正しくクロールしてインデックスを作成するにはどうすればよいですか?

1
Dave

Googlebotユーザーエージェントの同意を表示しないようにスクリプトを変更します。

1
JamesRyan

通常、検索エンジンはリンクのようなフォームには従わないため、実際にはコンテンツをブロックします。 XMLサイトマップを使用して、内部ページを直接送信してみてください。彼らが他の内部リンクを発見するためにそれらを使用できるので、私は彼らにHTMLサイトマップを提出するでしょう。

0
John Conde