web-dev-qa-db-ja.com

Logstash日付フィルターが@timestampをApacheタイムスタンプで更新しない

過去のApacheアクセスログデータをlogstashでバックフィルしようとしています。そのため、イベント@timestampをログメッセージに表示される日付に設定する必要があります。これは私の現在のlogstash構成です：

input {
    tcp {
        type => "access_log"
        port => 9293
    }
}

filter {

    grok {
      match => { "message" => "%{COMBINEDAPACHELOG}" }
    }

    date {
      # Try to pull the timestamp from the 'timestamp' field (parsed above with
      # grok). The Apache time format looks like: "18/Aug/2011:05:44:34 -0700"
      locale => "en"
      timezone => "America/New_York"
      match => { "timestamp" => "dd/MMM/yyyy:HH:mm:ss Z" }
      add_tag => [ "tsmatch" ]
    }

}

output {
  stdout { codec => rubydebug }
}

ただし、Apacheのタイムスタンプが正しくキャッチされ、正規表現がそれに一致する必要がある場合でも、日付フィルターはイベント@timestampを更新しないようです。出力データは次のようになります。

{
        "message" => "56.116.21.231 - - [20/Nov/2013:22:47:08 -0500] \"GET /xxxx/1.305/xxxx/xxxx.Zip HTTP/1.1\" 200 33002333 \"-\" \"xxxxx/3.0.3 CFNetwork/609.1.4 Darwin/13.0.0\"",
     "@timestamp" => "2013-12-01T12:54:27.920Z",
       "@version" => "1",
           "type" => "access_log",
           "Host" => "0:0:0:0:0:0:0:1%0:51045",
       "clientip" => "56.116.21.231",
          "ident" => "-",
           "auth" => "-",
      "timestamp" => "20/Nov/2013:22:47:08 -0500",
           "verb" => "GET",
        "request" => "/xxxx/1.305/xxxx/xxxx.Zip",
    "httpversion" => "1.1",
       "response" => "200",
          "bytes" => "33002333",
       "referrer" => "\"-\"",
          "agent" => "\"xxxxx/3.0.3 CFNetwork/609.1.4 Darwin/13.0.0\"",
           "tags" => [
        [0] "tsmatch"
    ]
}

何が悪いのかについてのアイデアはありますか？

私はlogstash-1.2.2 flatjarを使用しています。

apachedatelogstash
24
nuqqsa

わかりました、私は問題を見つけました、私は一致操作で間違った構文を使用していました：

match => ["timestamp"、 "dd/MMM/yyyy：HH：mm：ss Z"]

ない

一致=> {"タイムスタンプ" => "dd/MMM/yyyy：HH：mm：ss Z"}

29
nuqqsa