ELK 스택은 분산 검색 및 분석 엔진인 Elasticsearch, 데이터 수집 및 처리 파이프라인인 Logstash, 그리고 데이터 시각화 도구인 Kibana의 머리글자를 딴 오픈소스 소프트웨어 스택이다. 이 세 가지 구성 요소의 조합은 다양한 소스로부터 발생하는 방대한 데이터를 실시간으로 수집, 분석 및 시각화하는 데 최적화되어 있다. 초기에는 이 세 가지 프로젝트가 중심이었으나, 이후 경량 데이터 수집기인 Beats가 추가되면서 현재는 공식적으로 'Elastic Stack'이라는 명칭으로 불리기도 한다.

Elasticsearch는 ELK 스택의 핵심이자 데이터 저장 및 검색을 담당하는 엔진이다. Apache Lucene을 기반으로 구축된 분산 검색 엔진으로, JSON 기반의 문서를 저장하고 실시간에 가까운 속도로 검색 및 분석을 수행한다. 분산 구조를 채택하고 있어 데이터의 양이 늘어남에 따라 서버를 추가하여 성능을 확장할 수 있으며, 고가용성을 보장하기 위해 데이터를 여러 노드에 복제하여 저장하는 기능을 갖추고 있다.

Logstash는 다양한 소스로부터 데이터를 수집하여 변환하고, 이를 Elasticsearch와 같은 목적지로 전송하는 데이터 처리 파이프라인이다. 입력(Input), 필터(Filter), 출력(Output)이라는 세 단계의 구조를 가지고 있다. 사용자는 수많은 플러그인을 활용하여 로그 파일, 데이터베이스, 웹 서비스 등에서 데이터를 가져올 수 있으며, 필터 기능을 통해 비정형 데이터를 구조화하거나 필요한 정보를 추출 및 가공하여 데이터의 가치를 높인다.

Kibana는 Elasticsearch에 저장된 데이터를 사용자가 시각적으로 탐색하고 분석할 수 있게 돕는 인터페이스 도구이다. 사용자는 복잡한 쿼리를 직접 작성하지 않고도 선 그래프, 원형 차트, 지도 등 다양한 형태의 시각화 결과물을 생성할 수 있다. 또한 여러 시각화 요소를 하나의 대시보드에 구성하여 실시간으로 데이터를 모니터링할 수 있으며, Elastic Stack 전체의 설정을 관리하거나 보안 정책을 적용하는 제어 센터의 역할도 수행한다.

Beats는 ELK 스택의 효율성을 극대화하기 위해 도입된 경량 데이터 전송기이다. 수집하려는 데이터의 유형에 따라 Filebeat(로그), Metricbeat(지표), Packetbeat(네트워크) 등 다양한 전송기가 존재한다. 자원 소모가 적어 각 서버에 직접 설치하여 데이터를 Logstash나 Elasticsearch로 빠르게 전달하며, 이를 통해 수천 대의 서버에서 발생하는 데이터를 효율적으로 취합할 수 있다.

이러한 ELK 스택은 IT 인프라의 로그 분석, 보안 관제(SIEM), 비즈니스 지표 모니터링 등 다양한 분야에서 널리 활용된다. 데이터의 수집부터 시각화까지 일련의 과정을 단일한 생태계 안에서 처리할 수 있다는 장점 덕분에 전 세계적으로 가장 인기 있는 로그 분석 및 실시간 데이터 처리 솔루션 중 하나로 자리 잡았다. 유연한 확장성과 강력한 커뮤니티 지원 역시 이 스택이 엔터프라이즈 환경에서 표준처럼 사용되는 주요 원인이다.