web-dev-qa-db-ja.com

Amazon Cloudwatchから生のログイベントデータをフィルタリングして抽出する方法

1)フィルターし、2)APIまたはCLIからCloudwatchから生ログデータを取得する方法はありますか?分析のために、Cloudwatchからログイベントのサブセットを抽出する必要があります。

メトリックなどを作成する必要はありません。これは、特定のイベントの時間内の歴史的調査用です。

コンソールのログビューアに移動しましたが、特定の行を引き出して、特定の時間についてのストーリーを教えようとしています。ログビューアーは、この目的に使用することはほとんど不可能です。実際のログファイルがあれば、grepして約3秒で完了します。しかし、私はしません。

明確化

Cloudwatch Logs の説明では、「元のログデータを表示できます(Webビューでのみ?)のソースを表示します必要に応じて問題。ログデータを保存およびアクセスできる(Webビューのみ?)耐久性が高く、低コストのストレージを使用する必要がある限り、ハードドライブがいっぱいになることを心配する必要はありません。」 -イタリックは私のものです

このコンソールビューがソースデータを取得する唯一の方法である場合、Cloudwatchを介してログを保存することは、私の目的には受け入れられないソリューションです。パターンを検索するのに十分な柔軟性を備えた実際のデータを取得する必要があり、数十ページの行をクリックしてコピー/貼り付けする必要はありません。ただし、ソースデータを取得するより良い方法は利用できない場合があります。

18
Zach

Janの答えはすばらしいものであり、おそらく著者が望んでいたものですが、ログにプログラムでアクセスするための追加の方法があります- subscriptions を使用してください。

これは、データが絶えずフェッチされ(通常Kinesisストリームに)、さらに処理される常時オンのストリーミングシナリオを対象としています。

1
Froyke

自分では使っていませんが、GitHubで出会ったExcelエクスポーターへのオープンソースのクラウドウォッチです。

https://github.com/petezybrick/awscwxls

AWS CloudWatchからSpreadsheet Exporterへの汎用CloudWatchはエクスポートユーティリティを提供しません-これは提供します。 awscwxlsは、名前空間/次元/メトリック/統計仕様の汎用セットに基づいてスプレッドシートを作成します。 AWSが名前空間/ディメンション/メトリック/統計パターンに従っている限り、awscwxlsは既存および将来の名前空間(サービス)で動作するはずです。仕様の各セットはプロパティファイルに保存されるため、各プロパティファイルはAWSサービスおよびリソースの特定のセットに対して設定できます。完全な例については、run/properties/template.propertiesをご覧ください。

0
E.J. Brennan