web-dev-qa-db-ja.com

リアルタイムのウェブ分析について考えた

いくつかのWebサーバーがあり、データベースルックアップに基づいてリアルタイムの統計IPアドレス、地理的位置、およびその他のカスタムデータを表示するダッシュボードを作成することを計画しています。 Splunkは完全に適合しますが、オープンソースの代替手段があるかどうか疑問に思っています。 logstashとgraylog2を見てきましたが、私の知る限り、これらはログ分析ツールに近いものです。 Piwikは、WebページにJavaScriptを配置できないことを除けば、一種の興味深いものです。私がアクセスできるのはApacheWebログだけです。任意の推奨事項をお願いします。

splunkpiwikgraylog
3
Linus

Visitors にはリアルタイムモードがあり、最も訪問されたページ、最も暑い時間/日、さらには視覚的な経路分析などの基本情報を表示できます。

syslog-ngを使用してApacheログをMySQLにフィードし、クエリに logzilla （以前はphp-syslog-ngと呼ばれていました）などのフロントエンドを使用することもできます。データ。

ちなみに、興味深い質問です。私はより良い解決策に耳を傾けています。そのため、あなたの質問に+1します。 :)

1
Janne Pikkarainen

何のために？

Web分析には、マーケティング情報とパフォーマンス情報（および両方にまたがるユーザーインターフェイス設計）の2つのブランチがあります。

Google Analytics、Open Web Analytics、Piwik、および程度は少ないがAWstats、Analog et alは、主にマーケティング情報（顧客ベース、場所、使用するブラウザー、コンバージョン率など）の収集を目的としています。

パフォーマンス面ではそれほど多くの選択肢はありませんが、statsd + graphite は、複数のソース（ログ、JavaScriptのバグ）からのデータを保存および表示するための強力なバックエンドを提供します。現在、これをバックエンドで使用し、YahooBoomerangを使用してページの読み込み時間を収集するインストールを計画しています。何ができるかの例については、 グラフェン をご覧ください。たとえば、awkスクリプトを記述してログを解析し、バックエンドにフィードするのは簡単です。

多くの低レベルのネットワーク統計をスニッフィングしてレポートできるPastMonのようなツールもあります。またはmrtg。

1
symcbean

あなたが言ったように、柔軟な追跡APIを持っているPiwikがあります、あなたは両方とも挿入することができます<noscript>タグ付きのJavascriptを使用するか、ページに簡単な画像を挿入します。

公式PiwikトラッキングAPIページで提案されているように、次のコードを挿入します。

<!-- Piwik Image Tracker -->
<img src="http://demo.piwik.org/piwik.php?idsite={$IDSITE}&amp;rec=1" style="border:0" alt="" />
<!-- End Piwik -->

基本機能のためにJSは必要ありません。 :)

1
drAlberT

Good ol ' AWStats は、ダッシュボード、ウィジェット、ウィングディング、ポータル、ガラスなどのペインを備えたリアルタイムのログアナライザーです。プラグインを使って好みに合わせてカスタマイズすることもできます。

1
Wesley

すべてのアドバイスをありがとう。現在、クライアントでlogstashをセットアップして、アクセスログを中央のrabbitmqサーバーに送信し、logstashの別のインスタンスを使用してデータをelasticsearchに解析しています。 elasticsearchのRESTApiを使用して、いくつかの興味深いダッシュボードを実行できました（Webサーバーにアクセスするユーザーの現在の場所など）。

0
Linus