web-dev-qa-db-ja.com

ElasticSearchがディスク領域の使用量を見つける

Elastic Searchがインデックスに使用しているディスク容量を確認するにはどうすればよいですか？現在ローカルで実行していますが、VMに必要なディスク容量を確認しようとしています。

elasticsearchdiskspace
46
Nived

Elasticsearchでこれを行うには、_cat/shardsを使用してstore列を確認します。

curl -XGET "http://localhost:9200/_cat/shards?v"

index              shard prirep state     docs   store ip            node
myindex_2014_12_19 2     r      STARTED  76661 415.6mb 192.168.1.1 Georgianna Castleberry
myindex_2014_12_19 2     p      STARTED  76661 417.3mb 192.168.1.2 Frederick Slade
myindex_2014_12_19 2     r      STARTED  76661 416.9mb 192.168.1.3 Maverick
myindex_2014_12_19 0     r      STARTED  76984 525.9mb 192.168.1.1 Georgianna Castleberry
myindex_2014_12_19 0     r      STARTED  76984   527mb 192.168.1.2 Frederick Slade
myindex_2014_12_19 0     p      STARTED  76984   526mb 192.168.1.3 Maverick
myindex_2014_12_19 3     r      STARTED    163 208.5kb 192.168.1.1 Georgianna Castleberry
myindex_2014_12_19 3     p      STARTED    163 191.4kb 192.168.1.2 Frederick Slade
myindex_2014_12_19 3     r      STARTED    163 181.6kb 192.168.1.3 Maverick
myindex_2014_12_19 1     p      STARTED 424923   2.1gb 192.168.1.1 Georgianna Castleberry
myindex_2014_12_19 1     r      STARTED 424923   2.1gb 192.168.1.2 Frederick Slade
myindex_2014_12_19 1     r      STARTED 424923   2.1gb 192.168.1.3 Maverick
myindex_2014_12_19 4     r      STARTED  81020 435.9mb 192.168.1.1 Georgianna Castleberry
myindex_2014_12_19 4     p      STARTED  81020 437.8mb 192.168.1.2 Frederick Slade
myindex_2014_12_19 4     r      STARTED  81020 437.8mb 192.168.1.3 Maverick

それ以外の場合は、Linuxでフォルダーごとにスペースを表示するには、次を使用します。

du -hs /myelasticsearch/data/folder

または、ファイルシステム別にスペースを表示するには：

df -h
53
Olly Cruickshank

/_cat/shardsによって返されるシャードごとの統計が不要な場合は、使用できます

curl -XGET localhost:9200/_cat/allocation?v

各ノードの使用済みおよび使用可能なディスク容量を取得します。

37
marat

nodes stats rest APIを使用できます
参照： https://www.elastic.co/guide/en/elasticsearch/reference/1.6/cluster-nodes-stats.html

次のようにfsの統計情報をリクエストします：http：//：9200/_nodes/stats/fs？pretty = 1

表示されます：

{
  "cluster_name" : "<cluster>",
  "nodes" : {
    "pEO34wutR7qk3Ix8N7MgyA" : {
      "timestamp" : 1438880525206,
      "name" : "<name>",
      "transport_address" : "inet[/10.128.37.111:9300]",
      "Host" : "<Host>",
      "ip" : [ "inet[/10.128.37.111:9300]", "NONE" ],
      "fs" : {
        "timestamp" : 1438880525206,
        "total" : {
          "total_in_bytes" : 363667091456,
          "free_in_bytes" : 185081352192,
          "available_in_bytes" : 166608117760,
          "disk_reads" : 154891,
          "disk_writes" : 482628039,
          "disk_io_op" : 482782930,
          "disk_read_size_in_bytes" : 6070391808,
          "disk_write_size_in_bytes" : 1989713248256,
          "disk_io_size_in_bytes" : 1995783640064,
          "disk_queue" : "0",
          "disk_service_time" : "0"
        },
        "data" : [ {
          "path" : "/data1/elasticsearch/data/<cluster>/nodes/0",
          "mount" : "/data1",
          "dev" : "/dev/sda4",
          "total_in_bytes" : 363667091456,
          "free_in_bytes" : 185081352192,
          "available_in_bytes" : 166608117760,
          "disk_reads" : 154891,
          "disk_writes" : 482628039,
          "disk_io_op" : 482782930,
          "disk_read_size_in_bytes" : 6070391808,
          "disk_write_size_in_bytes" : 1989713248256,
          "disk_io_size_in_bytes" : 1995783640064,
          "disk_queue" : "0",
          "disk_service_time" : "0"
        } ]
      }
    }
  }
}

データドライブのスペースがリストされます。

"total" : {
    "total_in_bytes" : 363667091456,
    "free_in_bytes" : 185081352192,
    "available_in_bytes" : 166608117760,
14
scaph01

ESクラスターの全体的なディスク使用量/使用可能なスペースを表示するには、次のコマンドを使用できます。

curl -XGET 'localhost:9200/_cat/allocation?v&pretty'

お役に立てれば。

13
user1432155

インデックスのサイズを見つけるためのより簡潔なソリューションは、使用することです

curl -XGET 'localhost:9200/_cat/indices?v'

出力には、インデックスのサイズを正確に示す「store.size」列があります。

health status index                           uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   logstash-2017.03.01             TfraFM8TQkSXdxjx13CnpQ   5   1   33330000            0        1gb            1gb
yellow open   .monitoring-es-2-2017.03.02     10YscrcfQuGny5wMxeb0TA   1   1      68834           88     30.3mb         30.3mb
yellow open   .kibana                         GE6xXV7QT-mNbX7xTPbZ4Q   1   1          3            0     14.5kb         14.5kb
yellow open   .monitoring-es-2-2017.03.01     SPeQNnPlRB6y7G6w1Axokw   1   1      29441          108     14.7mb         14.7mb
yellow open   .monitoring-data-2              LLeWqsD-QE-rPFblwu5K_Q   1   1          3            0      6.9kb          6.9kb
yellow open   .monitoring-kibana-2-2017.03.02 l_MAPERUTmSbq0xbhpnf2Q   1   1       5320            0      1.1mb          1.1mb
yellow open   .monitoring-kibana-2-2017.03.01 UFVg9c7TTA-nbsEd2d4oFw   1   1       2699            0    763.4kb        763.4kb

さらに、使用可能なディスク容量について調べることができます

curl -XGET 'localhost:9200/_nodes/_local/stats/fs'

「fs」キーの下のディスク容量情報を検索します

{
  "_nodes": {
    "total": 1,
    "successful": 1,
    "failed": 0
  },
  "cluster_name": "elasticsearch",
  "nodes": {
    "MfgVaoRQT9iRAZtAvO549Q": {
      "fs": {
        "timestamp": 1488466297268,
        "total": {
          "total_in_bytes": 29475753984,
          "free_in_bytes": 18352095232,
          "available_in_bytes": 18352095232
        },
      }
    }
  }
}

ElasticSearchバージョン5.2.1でこれをテストしました

6
thekenobe

ノード単位のディスク領域の使用には、_cat apiを使用できます。

curl http://Host:9200/_cat/nodes?h=h,diskAvail

リファレンス： https://www.elastic.co/guide/en/elasticsearch/reference/current/cat-nodes.html

5
tick_tack_techie

または、ディスクを直接クエリして、Elasticsearchノードの/ var/lib/elasticsearch/[環境名]/nodes/0/indicesの下にある各ディレクトリのディスク容量を測定することもできます。

$ du -b --max-depth=1 /var/lib/elasticsearch/[environment name]/nodes/0/indices | sort -rn | numfmt --to=iec --suffix=B --padding=5

17GB/var/lib/elasticsearch/env1/nodes/0/indices 3.8GB/var/lib/elasticsearch/env1/nodes/0/indices/index1 2.1GB/var/lib/elasticsearch/env1/nodes/0/indices/index2 1.2GB ...

0
vishwarajanand