Elasticsearch Shard

Elasticsearch에서 인덱스는 샤드(Shard)라는 단위로 분리되어 여러 노드에 골고루 저장됩니다.
샤드를 통해 데이터를 분산하여 장애 상황에 대비할 수 있고, 추가적인 데이터 처리 능력을 확보할 수도 있습니다.

샤드는 MongoDB 등 다른 곳에서도 사용되는 개념이지만, 여기서는 Elasticsearch를 중심으로 정리합니다.

샤드의 기본 개념

처음 생성된 샤드를 Primary Shard, 이것의 복제본을 Replica라고 합니다.
기본값은 7.0+ 버전 기준 1, 1입니다. 따라서 기본 샤드 개수는 1 + 1 = 2개입니다.
- 설정을 Primary Shard는 2, Replica는 3으로 할 경우,
  Primary Shard는 2개, Replica는 2 x 3 = 6개가 됩니다.
Primary Shard의 수는 인덱스를 생성한 이후에는 변경할 수 없습니다.
만약 변경이 필요하다면 새로운 인덱스를 생성하고 Re-indexing을 해야 합니다.
- Replica의 수는 변경이 가능합니다.
Primary Shard는 전반적인 읽기/쓰기 작업에 사용되며, Replica는 읽기 작업을 보조할 수 있습니다.
Primary Shard 일부가 유실될 경우 Replica 중 하나가 Primary로 승격되고 새로 Replica를 생성합니다.
Primary Shard와 Replica는 서로 다른 노드에 위치합니다.

사실 최적의 샤드 설정이라는 것은 없습니다. 사용자의 환경에 따라 얼마든지 달라질 수 있기 때문입니다.
가장 확실한 방법은 직접 테스트를 통해 지표를 비교하는 것입니다.

아래 표는 일반적인 기준을 정리한 것입니다.

기준	설명
Primary Shard 개수	Primary Shard가 있는 노드가 증가할수록 색인 성능이 좋아집니다.¹
Replica 개수	보통 늘어날수록 색인 성능은 떨어지고, 검색 성능이 늘어납니다.
전체 샤드 개수	샤드가 늘어날수록 리소스 사용량도 늘어나 성능 저하의 가능성이 있습니다.
노드당 샤드 개수	전체 샤드 개수와 비슷한 맥락으로, 다른 프로젝트에서 사용한 기준입니다.
샤드의 크기	보통 20~40Gi 사이를 권장하며, 50Gi를 넘지 않는 것이 좋습니다.
Heap 메모리 사이즈	공식 블로그에서 1Gi당 샤드 20개 이하를 권장하고 있습니다.
…	…

Primary Shard가 1개일 때 과도한 색인 작업을 하면 CPU 부하가 걸려 샤드 수를 늘린 새로운 인덱스에서 작업하도록 안내했던 사례가 있었습니다. ↩