HEADリクエストを許可する必要がありますか？
当社のWebアプリケーションは、主に読み取り専用です。そのため、GETリクエストのみを許可します。ただし、ユーザーエージェントがHEADリクエストを行っているため、ログにエラーが定期的に記録されます。これらは、AddThis、Google、およびBingのSquidプロキシサーバーおよびボットからのものです。
私の理解では、ほとんどの検索エンジンはサイトをクロールするときにGETリクエストを行うので、HEADリクエストを許可する本当の理由はありますか？
一部の検索エンジンとボットは、次のような理由でGETリクエストを送信する前に、ページにHEADリクエストを送信します。
- ページサイズが変更されたかどうかを確認する
- 最終変更日を確認する
- など（頭が彼らに与える他の情報！）
これにより、大規模なクローラーは、ページがその間に変更されておらず、クロールする必要がないことがわかっている場合、多くの帯域幅を節約できます。