web-dev-qa-db-ja.com

Elasticsearchと標準のSQLクエリを使用する場合のユースケースは何ですか?

私はちょうどElasticsearchを始めたばかりで、私が見た主なユースケースの1つは、大規模なデータセットでの検索のスケーラビリティですが、これに加えて、従来のRDBMSでSQLクエリを作成するだけでそれを使用したいのはいつですか?

109
James Drinkard

2つの主要なElasticsearchユースケースがあります。

  1. テキスト検索

従来のRDBMSデータベースのパフォーマンスがあまり良くない(設定が不十分で、ブラックボックスとして機能し、パフォーマンスが低下する)テキスト検索を多く行うときにElasticsearchが必要です。 Elasticsearchは高度にカスタマイズ可能で、プラグインを介して拡張可能です。多くの知識がなくても、非常に高速で堅牢な検索を構築できます。

  1. ロギングと分析

Edgeのもう1つのケースは、多くの人々がElasticsearchを使用してさまざまなソースからのログを保存し(それらを集中化するため)、それらを分析して理解できるようにすることです。この場合、Kibanaが便利になります。 Elasticsearchクラスターに接続して、すぐに視覚化を作成できます。たとえば、 Loggly はElasticsearchとKibanaを使用して構築されます。

Elasticsearchをプライマリデータストレージとして使用したくないことを覚えておいてください。ここの理由: 書き込み損失、データ可用性などの要因に対するElasticSearchのプライマリデータストアとしての信頼性

更新

2番目の部分はもはやエッジの効いたものではなく、実際、会社としてのElasticが過去1年間で非常にうまく行っていることです。現在のDevOpsの動き、CI/CDパイプライン、さまざまなソースからのメトリックの増加により、ELKはインフラストラクチャ監視の事実上の選択肢となり、単なる分散型RESTfulテキスト検索エンジンではなくなりました。素晴らしい製品セットがあります:

  • Logstash(データ入力のトン)
  • ビート
    • Filebeat
    • Metricbeat
    • パケットビート
    • Winlogbeat
  • 木花
    • グラフ
    • タイムライオン
  • X-Pack(プレミアム)
    • アラート
    • 報告
    • セキュリティ
    • 機械学習
    • データセンター間のメトリック

コミュニティによって構築されたエコシステムは、現在の機能を拡張するELKスタックを中心に成長しています。

  • エラストアラート
  • 検索ガード
73

他の答えを追加すると、ロギングは検索だけでなく主要なユースケースでもありますが、現在ではメトリックと分析がより重要になっています。

この投稿は、ビッグデータの新しいユースケースを推進している市場の変化を要約していると思います。 オープンソースデータベースについて本当に知る必要があるすべて

Web 2.0の出現により、静的Webページは動的になり、ソーシャルメディアは私たちの周りにあります。全員がツイート、投稿、ブログ、ビデオブログ、写真の共有、チャット、コメントをしています。モノのインターネット(IoT)が出現しています。センサーやスマートデバイスなど、データを収集および交換する接続デバイスのネットワークが急速に成長しています。ここにいくつかの素晴らしい例があります。

全体として、これは膨大な量の新しいデータを生成し、企業はこれを吸収して使用して、製品の推奨事項やより良い顧客体験などの機能を提供します。データは、不正検出や行動分析などのアプリケーションのパターンを検索して分析できます。新しいデータの多くは構造化されていないため、表形式のデータベースにきちんと保存することはできません。

食料品の買い物に関するデータを保持するためのデータベースを設計しようとしていることを想像してください。好きなもの、購入頻度、コーヒーと一緒にミルクとクリームのどちらを好むかなどです。新しいデータを保存するには新しいタイプのデータベースが必要であり、非リレーショナルで理想的には低コストである必要があります。ベルを鳴らしますか? NoSQLのようにリレーショナルではなく、オープンソースのように低コストです。

私が話したElasticsearchアーキテクトの一人は、Elasticsearchが企業で使用するデータの80%は構造化されておらず、20%が構造化されていると述べました。 これは、企業が希少または異常なデータパターンを発見するために検討している非構造化データです。データパターンの監視にもElasticsearchを使用しています。たとえば、大手小売業者は、従業員が給料日に小切手を現金化できるように、店舗で十分な資金を確保するために、Elasticsearchでリアルタイムの追跡を行っています。

私たちの検索ユースケースでの経験では、ファジー検索を使用するだけでなく、オートコンプリートおよびクイック検索に進化しました。私が見てきたことから、Elasticsearchの使用を開始すると、既にあるものを補完する他のユースケースへと進化し始めます。 Elasticsearchを当社のファジー検索エンジンとして確立したので、ロギング用の分析とメトリックを検討している他のチームがいます。

このトピックをさらに詳しく説明する追加のリソースを次に示します。

26
James Drinkard