web-dev-qa-db-ja.com

AWS ELBアクセスログをS3入力を使用してlogstashに追加するにはどうすればよいですか？

サーバーの監視にELKスタックを使用しています。 AWS ELBからのアプリケーションのアクセスログは、AWSS3に保存されます。次の入力を使用して、それらをlogstashに追加しようとしています。

input {
  s3 {
    access_key_id => "my_id"
    secret_access_key => "my_key"
    bucket => "my_bucket"
    region => "region"
    prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/**/**/**/*.log"
    type => "elb"
  }
}

しかし、logstashには何も追加されていません。何が間違っているのでしょうか。それらをlogstashに追加する別の方法はありますか？フィルタと出力部分は問題ないようですので、投稿しません。

注：logstash2.1バージョンを使用しています

amazon-s3amazon-elblogstashelk
3
apanagiotou

sincedb_path => "/tmp/alb-sincedb"を追加し、prefix => "AWSLogs/"のようなプレフィックスを残していただけませんか？

また、最新バージョンのinput s3gemをインストールすると便利です。 V2リソースAPIを使用して、プレフィックスを使用したバケット内のオブジェクトの反復に関連する変更が見られたと思います。私の現在のバージョンはlogstash-input-s3-3.1.2.gemです。

0
oivoodoo