Forest Gump?

최근 회사에서 서버 환경에서의 원인 모를 데이터베이스 쿼리 성능 저하 문제를 겪어 며칠간 고생했던 경험이 있습니다. AWS RDS와 EC2 간 네트워크 대역폭 문제를 트러블 슈팅하는 과정을 공유하고 기록하고자 글을 쓰려고 합니다. 문제 상황 어느날 AWS RDS를 모니터링 하다가 AWS RDS 성능 개선 도우미를 확인해봤는데 , CPU 사용률이 일시적으로 급증하고  세션이 8코어인 처리 속도를 웃도는 50개의 세션이 차있는것을 발견했습니다.  트래킹을 하다보니,평균 15초 정도 소요되는 메소드를 발견했습니다. 단순히 쿼리에 이상인줄 알았지만,  로컬 환경에서는 동일한 쿼리가 300ms도 걸리지 않았습니다.문제가 되는 쿼리는  20개 컬럼에 450건 정도의 데이터를 조회하는 단순한 조회 쿼리였습니다. 쿼리..

기존 페이지 중 리뉴얼 되는 페이지가 있어, 사용하고 있던 도메인을 그대로 사용해야 하는 일이 있었다. S3버켓에서 cloudfront로 호스팅한 새로운 프로젝트를 하고, AWS ROUTE53을 통해 DNS 설정을 하려했다. 작업 자체는 어려움이 없어, 기존에 쓰던 MY.com도메인을 해제해 준 뒤, 기존에 준비한 cloudFront의 엔드포인트를 엔드포인트를 연결해줬다. 다만 리뉴얼되기 전의 프로젝트에 대한 사용처가 소수지만 남아있어서, 사용중인 A-OLD프로젝트의 MY.com도메인에 연결된 서버를 리뉴얼된 A-NEW로 바꾸고, A-OLD 서버의 도메인을 MY2.com으로 바꿨다. 이슈 발생 이론상으로는 전혀 문제될 것이 없이 MY2.com으로 접속하면 A-OLD서버가 나와야 하는데, A-OLD가 아닌..

개요 프로젝트를 진행 중, 간헐적으로 DB peak를 치는 현상이 발생했다 . 점점 사용하는 aws rds cpu 퍼센테이지가 상승 곡선을 그리면서 95프로 이상 alert이 자주 오길래(ㅠㅠ), 정말 위험함을 온몸으로 느끼고 해결 방안을 찾아봤다. 1차 임시 해결 메인 rds는 오라클 하나만 쓰고 있고 멀티 AZ 전략도 취하고 있지 않아서, 일단 무지성 클래스 유형 업그레이드를 했다. 서비스는 해야하니까 올리긴 했지만, 평균 70-80사이였던 DB 평균 부하 30퍼센트대로 하락한걸 보고 마음이 많이 놓였다. 역시 돈이 최고다.. 라는 일그러진 생각이 들다가 근본적인 해결법이 아니라, 부하 피크 이유 분석을 시작했다. 원인 원인을 찾으려고, AWS RDS에서 제공하는 성능 계선 도우미에서 상위 호스트를 ..