web-dev-qa-db-ja.com

Splunkは非常に高価です:代替案は何ですか?

重複の可能性:
Splunkの代替?

これについては議論されましたが、数か月が経過しているため、再検討する時期かもしれません。

以前の議論RE Splunkの代替案

記録としては、Splunkはロックです。しかし、価格設定は私たちが考慮できる範囲を超えています(今日、Splunkと話したとき、システムが5 GB /日のデータのインデックスを作成するためのコストは30,000ドルを超えます)。

これは、SQL Serverに費やす(多倍数)、サーバーラックに費やす(倍)などです。

ばらばらのセールスチームは正しいです(3万ドルで、同じように独自のシステムを構築するよりも多くの価値と機能を手に入れることができます)が、それは重要ではありません。スプリンククコストが単純に高すぎる(倍数)。

Soooooo、私たちは見回しています!

システムのようなsplunkを構築している人はいますか?

基本的なニーズ:

  • 複数のUDPポートでSyslogメッセージをリッスンできます
  • 非同期で着信データにインデックスを付けることができます
  • ある種の検索エンジン
  • ある種のUI
  • 検索エンジンへのAPI(コンソールに埋め込むため)

現在、1日あたり3〜5 GBのインデックスを作成する必要がありますが、1日あたり10 GB以上に拡張できる必要があります。多くの履歴は必要ありません(30日で十分です)。

Windows 2008および2003サーバーを使用します。

あなたの考えをありがとう!

[〜#〜] update [〜#〜]:2週間かけて、商用およびオープンソースのオプションを調査しました。 私たちの結論:自分で書く(私たちはソフトウェア会社です...私たちは物事を書く方法を知っています)。 mongodbと.NETに基づいて構築された優れたシステムを構築しました。これにより、MongoDBから必要な機能を約1エンジニアリング週間で取得できます。これで実装が完了しました。私たちは2つのMongodbサーバー(マスターとスレーブ)を使用しており、ディスクスペースによってのみ制限された任意の量のログデータ(5gb /日、15gb /日など)を記録してインデックスを作成できます。

UPDATE TO THE UPDATE(December、2012):私たちは引き続きmongodbソリューションを使用しています。今日それを構築する場合、elasticsearchの上に構築することを強く検討します。

[〜#〜] observations [〜#〜]:このスペースには、定額$ 1000-3000の固溶体が必要です。営利会社が使用するライセンスモデルは、「データセンターの運用担当者のミルク」モデルに基づいています。それは彼らの権利です(もちろんです!)が、その下に誰かが入る巨大なスペースが開いたままになります。私の推測では、1年か2年後には本当に使える優れたオープンソースソリューションが登場するでしょう。

(自己宣伝であっても)ご協力ありがとうございます。

logstashは、イベントとログを管理するためのツールです。これを使用してログを収集、解析し、後で使用するために(検索など)保存できます。検索といえば、logstashには、すべてのログを検索してドリルするためのWebインターフェースが付属しています。

https://www.elastic.co/products/logstash

それはまだ開発の初期段階ではありますが、非常に有望で、動きが速いです。

25
Holger Just

特にsplunkとの比較に関しては、次のような比較マトリックスはありません。

これらはいくつかの完全に動作するツールです:

Octopussy http://www.octopussy.pm

Logreport http://www.logreport.org/

スネア: http://www.intersectalliance.com/projects/index.html

ログサーファー: http://www.crypt.gen.nz/logsurfer/

ログアナライザ: http://loganalyzer.adiscon.com/

ログ2のタイムライン: http://log2timeline.net/#download (これは「タイムライン」分析ツールの詳細です)

最後に、自分でコーディングを行いたいが、よりスケーラブルなソリューションが必要な場合:(以下はログデータを収集するためのツールであり、データを検索するためにすべての機能を箱から出す必要はありません。)

ホヌ https://github.com/jboulon/Hon

チュクワ http://wiki.Apache.org/hadoop/Chukwa

Flume http://archive.cloudera.com/cdh/3/flume/

編集:この比較リンクを追加しました: http://csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-Zoo-getting-data.html

編集:追加 Graylog2 :追加Logstash。 Logstashは、おそらく「オープンソースのsplunkの代替品」になるには、おそらく現在のところ最適です。

9
Not Now