大規模なAmazonS3 / CloudfrontログのWebstats？
AmazonS3アクセスログを解析していくつかのウェブ統計を取得する方法を見つけようとしています。
AWStats 7を使おうとしていますが、特定の月の9日目以降は、メモリが不足しているため、ログを処理できなくなりました。このサーバーには4ギガのメモリがあります
S3ログはかなり大きく（〜1ギガ/日）、まもなくCloudFrontログは10〜20ギグ/日になります。
S3（そしてまもなくクラウドフロント）ログからwebstatsを生成できるソフトウェアはありますか？
S3stat.comについては知っていますが、自分で実行できるものが必要です。
GoAccess をお勧めします。約35分で約1億2000万ヒットを解析しています。これは、awstatsよりもはるかに高速です。それは多くのRAMを消費しないようです。 （<1GB）8GB RAMシステムで実行されています。
あなたはそれを試してみるべきです。
EMRでkarmasphereanalystを実行して、CloudFrontログディレクトリに対してSQLクエリを実行することを検討します（KSAはbucket-> folder-> gzip->。logからクエリする方法を知っています）