04. 대규모 로그 관리

대규모 로그 관리

- 서비스의 규모가 커짐에 따라 서버에 직접 접속해서 로그를 확인하는 것은 어려워짐
    -> 오토 스케일링 구성을 한 경우는 서버가 동적으로 생성 및 삭제가 됨
- 단순히 모으기만 해서는 대용량의 데이터를 효과적으로 관리하기 힘듦
   -> 여러가지 오픈소스 도구 및 SaaS 서비스들이 존재

 

대규모 로그 관리

- ELK 스택

. 충분한 기능을 제공
. 요청이 많을 경우 효율을 위해 버퍼 레이어(RabitMQ, AWS SQS, Kafka 등) 구성이 필요
. 관리 및 운영 비용은 단점
   -> 관리형 ElasticSearch 서비스, SaaS형 솔루션인 logz.io 등 사용
   -> 최신 로그만 저장하여 사용 (예, 한달 치 로그만 유지). 이전 데이터는 필요시 로딩

- 서비스형

. Splunk, Sumo Logic, Loggly, Amazon CloudWatch Logs
  -> 간편히 사용 가능. 운영 인력이 적은 경우 좋은 선택
  -> 비용을 고려해서 꼭 필요한 로그만 저장

 

ELK

- ElasticSearch, Logstash, Kibana
- 간편하게 로그 검색
- 각종 차트 기능을 이용해 성능 분석 도구로 활용