Infra26 ECS-ElasticWatch-OpenSearch 계기 사내 서비스에서 로그를 확인할 때 elasticWatch로 확인하고 있었다. 특정 로그를 확인하기 위해 검색을 하면 find 하는 시간이 상당 시간이 걸린다. 로그 인사이트로 확인을 하면 조회가 빨리 되지만 쿼리를 짜기 위해 로그 인사이트 쿼리를 공부해야 한다. 이러한 점들에서 디버깅하는데 시간이 오래걸리고 트래킹 추척이 비효율적이라서 AWS OpenSearch service를 도입하기로 했다. 과정 OpenSearch 도메인 생성 -> ElasticWatch 로그 그룹 선택 -> 구독 필터 선택 -> Opensearch 선택 -> 로그 형식 취향에 맞게 선택후 패턴 지정하고 스트리밍 시작 알아야 될 사항 Lambda 로 OpenSearch에 로그를 넣어주기 때문에 역할(IAM) 생성 필요 생성한 .. 2022. 5. 19. EC2 volume 축소 EBS 계기 현재 사이드 프로젝트에 CI/CD 를 적용 시켜놨다. travisCi - s3 - Codedeploy - EC2 이런식으로 흐름이 흘러간다. 근데 갑자기 EC2에 docker image 가 안바뀌는걸보고 Codedeploy 에 배포 history 를 보았다. 배포 실패가 떠있었으며 공간이 부족하다고 나와있었다. df -h 로 확인할결과 남은 메모리 공간 없이 100프로 다 사용중이며 어떤 데이터들때문에 메모리가 차있는지 의문이었다. 우선 추후에 알아볼려고하였고 급한대로 볼륨을 늘였는데 생각없이 늘리다가 과하게 늘려 버렸다. 그래서 다시 축소를 하는데 증가 만 되고 축소는 되지않았다. 이러한 이유로 EC2 볼륨 축소 시키는데 필요한 지식들을 검토하고 적용 해보았다. 과정 A => 루트 볼륨의 크기를 .. 2022. 3. 1. ECS 기본 개념 계기 자사 인프라가 ECS(fargate) 서비스를 사용하고 있어 알아보게 되었다. ECS란? AWS에서 제공하는 컨테이너 오케스트레이션 서비스로 여러 어플리케이션 컨테이너를 쉽고 빠르게 실행하고, 컨테이너를 적절하게 분배 및 확장 & 축소 할 수 있도록 도와주는 서비스입니다. 주요개념 Fargate EC2 인스턴스의 서버나 클러스터를 관리할 필요 없이 컨테이너를 실행하기 위해 Amazon ECS || EKS*를 위한 기술입니다. 컨테이너를 실행하기 위해 가상 머신 클러스터를 프로비저닝, 구성 및 확장할 필요가 없습니다. 서버 유형을 선택하거나, 클러스터를 확장할 시점을 결정하거나, 클러스터 패킹을 최적화할 필요가 없습니다. 서버 또는 클러스터에 대해 고민하거나 상호 작용할 필요가 없습니다. 애플리케이션.. 2022. 2. 17. 컨테이너 내에서 pm2는 권장 되지않는다. pm2란? Process Manager의 약어 Node.js의 프로세스를 관리해주는 역할 생산 프로세스 관리자로 서버 인스턴스들에 대한 로드 밸런싱과 Node.js의 Scale Up 또는 Scale Down을 도움 프로세스들이 계속 실행할 수 있는 환경을 제공 처리하지 못한 예외에 의해 스레드가 죽음으로 인해 애플리케이션이 죽는 현상을 방지 노드프로세스를 띄우고 감시하고죽으면 되살린다. Container 에서는?? 컨테이너에는 에센셜프로세스라는 개념이있다. 컨테이너에서 필수로 동작하는 프로세스 에센셜프로세스가 죽으면 컨테이너도 같이 죽는다. 컨테이너에서 노드를 바로실행한다. 에센셜프로세스가 노드프로세스가 된다. 노드프로세스가 죽으면 컨테이너도 내려간다. 그럼 컨테이너는 죽으면 어떻게 되살릴까?? 여기서 .. 2021. 12. 19. minikube 환경에서 prometheus+grafana 구축하기 Prometheus 란 의미 Prometheus 는 원래 SoundCloud에 구축 된 오픈 소스 시스템 모니터링 및 경고 툴킷 입니다. Prometheus는 2016년 Kubernetes 에 이어 두 번째 호스팅 프로젝트로 Cloud Native Computing Foundation 에 합류했습니다 . 대부분의 Prometheus 구성 요소는 Go 로 작성되어 정적 바이너리로 쉽게 빌드하고 배포 할 수 있습니다. helm 차트를 이용하여 prometheus, grafana repo ADD $helm repo add prometheus-community https://prometheus-community.github.io/helm-charts $helm repo add grafana https://gra.. 2021. 11. 10. kubernetes(쿠버네티스) 모니터링 시스템과 아키텍쳐 - 리소스 모니터링 도구 - 모니터링 아키텍쳐 - metrics 설치 git clone https://github.com/kubernetes-sigs/metrics-server GitHub - kubernetes-sigs/metrics-server: Scalable and efficient source of container resource metrics for Kubernetes built-in aut Scalable and efficient source of container resource metrics for Kubernetes built-in autoscaling pipelines. - GitHub - kubernetes-sigs/metrics-server: Scalable and efficie.. 2021. 11. 9. 이전 1 2 3 4 5 다음
