Elasticsearch 모니터링 및 장애 판단 지표

개요

Elasticsearch 클러스터의 상태를 모니터링하고 장애를 판단하기 위한 API와 지표를 정리한 문서입니다.

1. 클러스터 상태 (가장 중요)

API

GET /_cluster/health

응답 예시

{
  "cluster_name": "my-cluster",
  "status": "green",
  "timed_out": false,
  "number_of_nodes": 3,
  "number_of_data_nodes": 3,
  "active_primary_shards": 50,
  "active_shards": 100,
  "relocating_shards": 0,
  "initializing_shards": 0,
  "unassigned_shards": 0,
  "delayed_unassigned_shards": 0,
  "number_of_pending_tasks": 0,
  "number_of_in_flight_fetch": 0,
  "task_max_waiting_in_queue_millis": 0,
  "active_shards_percent_as_number": 100.0
}

장애 판단 기준

주요 체크 항목

2. 노드 상태

API

# 노드 목록 및 리소스 사용량
GET /_cat/nodes?v&h=name,ip,heap.percent,ram.percent,cpu,load_1m,node.role,master

# 노드 상세 통계
GET /_nodes/stats

장애 판단 기준

3. Thread Pool (핵심 지표)

API

# write, search thread pool 상태
GET /_cat/thread_pool/write,search?v&h=node_name,name,active,queue,rejected

# 전체 thread pool
GET /_cat/thread_pool?v

응답 예시

node_name  name   active queue rejected
node-1     write  5      0     0
node-1     search 10     0     0
node-2     write  3      0     0
node-2     search 8      0     0

장애 판단 기준

Thread Pool 종류

4. JVM 메모리

API

# JVM 메모리 상태
GET /_nodes/stats/jvm

# 간단한 힙 사용량
GET /_cat/nodes?v&h=name,heap.percent,heap.current,heap.max

장애 판단 기준

GC 관련 확인

GET /_nodes/stats/jvm?filter_path=nodes.*.jvm.gc

5. 디스크 사용량

API

# 노드별 디스크 사용량
GET /_cat/allocation?v&h=node,disk.percent,disk.used,disk.avail,disk.total

# 샤드별 디스크 사용량
GET /_cat/shards?v&h=index,shard,store

장애 판단 기준 (워터마크)

워터마크 설정 확인

GET /_cluster/settings?include_defaults=true&filter_path=*.cluster.routing.allocation.disk

6. 샤드 상태

API

# 샤드 상태 확인
GET /_cat/shards?v&h=index,shard,prirep,state,unassigned.reason

# UNASSIGNED 샤드만 확인
GET /_cat/shards?v&h=index,shard,prirep,state,unassigned.reason&s=state

# 샤드 할당 설명
GET /_cluster/allocation/explain

샤드 상태 종류

UNASSIGNED 원인

7. 인덱싱/검색 성능

API

# 인덱싱/검색 통계
GET /_stats/indexing,search

# 특정 인덱스
GET /my-index/_stats/indexing,search

주요 지표

8. 펜딩 태스크

API

# 대기 중인 클러스터 태스크
GET /_cluster/pending_tasks

# 실행 중인 태스크
GET /_tasks

장애 판단 기준

장애 판단 체크리스트 (우선순위)

모니터링 주기 권장

Kibana Dev Tools용 쿼리 모음

# ========================================
# 클러스터 상태
# ========================================

# 클러스터 전체 상태
GET /_cluster/health

# 인덱스별 상태
GET /_cluster/health?level=indices

# ========================================
# 노드 상태
# ========================================

# 노드 리소스 사용량
GET /_cat/nodes?v&h=name,ip,heap.percent,ram.percent,cpu,load_1m,node.role,master

# ========================================
# Thread Pool (rejected 확인)
# ========================================

# write/search thread pool
GET /_cat/thread_pool/write,search?v&h=node_name,name,active,queue,rejected

# ========================================
# 디스크 사용량
# ========================================

# 노드별 디스크
GET /_cat/allocation?v&h=node,disk.percent,disk.avail

# ========================================
# 샤드 상태
# ========================================

# 전체 샤드
GET /_cat/shards?v&s=state

# UNASSIGNED 원인
GET /_cluster/allocation/explain

# ========================================
# 성능 통계
# ========================================

# 인덱싱/검색 통계
GET /_stats/indexing,search?filter_path=_all.total

# ========================================
# 펜딩 태스크
# ========================================

GET /_cluster/pending_tasks

참고

• Elasticsearch Cluster Health API
• Cat APIs
• Nodes Stats API