13년차의 서버실

서버, 인프라, 홈랩 기술 블로그

[태그:] AWS

  • [k8s] Karpenter 오토스케일링 문제 해결: 노드 프로비저닝 실패 디버깅 가이드

    [k8s] Karpenter 오토스케일링 문제 해결: 노드 프로비저닝 실패 디버깅 가이드

    [Kubernetes] Karpenter 문제 해결: 노드 프로비저닝 실패 디버깅 가이드

    Karpenter 문제 해결 때문에 밤에 이벤트 로그 붙잡고 계신 적, 한 번쯤 있으시죠? 저도 처음엔 “오토스케일링은 붙여놓으면 알아서 되겠지” 했다가, 정작 트래픽이 몰리는 순간 Pod(파드, 쿠버네티스의 최소 배포 단위)는 Pending(펜딩, 스케줄 대기)인데 노드는 안 뜨고, Karpenter 로그는 뭔가 말은 많은데 핵심은 안 보이는 상황을 여러 번 겪었습니다. 특히 Kubernetes 노드 프로비저닝이 실패하면 서비스 지연이 바로 드러나기 때문에, 이 구간은 감으로 보면 안 되더라고요.

    이번 글은 AWS 환경에서 Karpenter를 운영할 때 자주 만나는 오토스케일링 실패 패턴을 기준으로 정리했습니다. 제가 홈랩과 실무 환경에서 직접 부딪히며 정리한 흐름이라, 문서만 읽었을 때보다 훨씬 빠르게 원인을 좁히는 데 도움이 되실 겁니다. 핵심은 하나입니다. Karpenter 디버깅은 “Pending Pod → 스케줄링 조건 → Karpenter 로그 → 클라우드 리소스” 순서로 봐야 한다는 점입니다.

    Karpenter 문제 해결을 위한 오토스케일링 아키텍처 개요 이미지

    Pending Pod, Karpenter controller, AWS 인프라 리소스가 어떻게 연결되는지 보여주는 전체 흐름도입니다.

    Karpenter 문제 해결, 왜 이렇게 헷갈릴까요?

    쉽게 말해 Karpenter는 “Pod가 요구하는 조건에 맞춰 새 노드를 빠르게 계산하고 띄워주는 컨트롤러”입니다. 그런데 실제로는 중간에 확인할 레이어가 꽤 많습니다. Kubernetes scheduler(스케줄러), Karpenter controller(컨트롤러), IAM(권한 체계), subnet/security group(서브넷/보안 그룹), instance type(인스턴스 타입) 조건, 그리고 quota(할당량)까지 다 연결돼 있거든요.

    저도 처음엔 Karpenter 로그만 뒤졌습니다. 근데 실제로 써보니까 문제의 출발점은 의외로 Pod 스펙인 경우가 많더라고요. 예를 들어 CPU 요청량이 과하게 잡혀 있거나, 특정 아키텍처만 허용했거나, taint/toleration(테인트/톨러레이션) 조합이 안 맞으면 Karpenter가 아무리 열심히 계산해도 답이 없습니다.

    • Pod 조건 문제: requests/limits, nodeSelector, affinity, toleration 충돌
    • Karpenter 설정 문제: NodePool(노드풀) 또는 기존 Provisioner(프로비저너) 제약이 너무 빡빡함
    • AWS 리소스 문제: IAM 누락, 태그 미설정, 서브넷 발견 실패
    • 용량 문제: 가용 영역 용량 부족, 인스턴스 타입 제한 과다, 계정 할당량 부족

    여기서 중요한 포인트! Karpenter 문제 해결은 “왜 노드가 안 떴지?”가 아니라 “왜 이 Pod를 만족하는 노드를 계산하지 못했지?”로 질문을 바꾸면 훨씬 빨라집니다.

    Karpenter 디버깅의 기본 원리

    제가 실제로 보는 순서는 거의 고정입니다. 삽질 좀 했습니다 ㅎㅎ 결국 순서를 정해두는 게 제일 낫더라고요.

    1. Pending 상태의 Pod를 확인합니다.
    2. 해당 Pod의 이벤트와 스케줄링 실패 메시지를 읽습니다.
    3. Karpenter controller 로그에서 같은 시점의 에러를 확인합니다.
    4. NodePool/EC2NodeClass 또는 기존 Provisioner/AWSNodeTemplate 조건을 검토합니다.
    5. AWS 측 리소스 발견, 권한, 용량 문제를 점검합니다.

    이 흐름을 안 지키면 로그는 잔뜩 보는데 정작 원인을 놓치기 쉽습니다. 특히 이벤트 메시지 한 줄이 전체 방향을 정해주는 경우가 많아요.

    Karpenter 디버깅 1단계: Pending Pod부터 확인하기

    가장 먼저 해야 할 일은 “안 뜨는 노드”가 아니라 “대기 중인 Pod”를 보는 겁니다. 아래 명령어부터 시작해 보세요.

    kubectl get pods -A --field-selector=status.phase=Pending
    kubectl describe pod -n <namespace> <pod-name>
    kubectl get events -A --sort-by=.lastTimestamp

    여기서 제가 제일 먼저 보는 건 다음 세 가지입니다.

    • Insufficient cpu/memory: 리소스 요청량이 현재/예상 노드와 맞지 않는 경우
    • node affinity mismatch: nodeSelector 또는 affinity 조건이 과도한 경우
    • untolerated taint: 노드 taint를 Pod가 허용하지 않는 경우

    예를 들어 이런 Pod 스펙은 흔히 문제를 만듭니다.

    apiVersion: v1
    kind: Pod
    metadata:
      name: inflate
    spec:
      nodeSelector:
        kubernetes.io/arch: amd64
      containers:
        - name: pause
          image: public.ecr.aws/eks-distro/kubernetes/pause:3.7
          resources:
            requests:
              cpu: "2"
              memory: "2Gi"

    이 자체는 틀린 YAML은 아닙니다. 다만 NodePool이 arm64만 허용하거나, 너무 작은 인스턴스 타입만 열어놨다면 Karpenter는 새 노드를 못 만듭니다. 결국 Kubernetes 노드 프로비저닝 실패처럼 보이지만, 시작점은 Pod 조건이죠.

    Karpenter 디버깅 2단계: 컨트롤러 로그에서 에러 패턴 찾기

    그다음은 Karpenter 로그입니다. 저는 보통 아래처럼 확인합니다.

    kubectl logs -n karpenter deploy/karpenter --since=30m
    kubectl logs -n karpenter deploy/karpenter --since=30m | grep -i "error"
    kubectl logs -n karpenter deploy/karpenter --since=30m | grep -i "provision"

    로그에서 자주 보는 키워드는 대략 이렇습니다.

    로그/증상 의미 우선 확인할 것
    no instance type met the scheduling requirements 조건에 맞는 인스턴스 타입이 없음 NodePool requirements, Pod requests
    insufficient capacity 가용 영역 또는 타입의 실시간 용량 부족 타입 범위 확대, AZ 분산
    access denied / unauthorized IAM 권한 문제 controller role, instance profile
    subnet/security group not found AWS 리소스 발견 실패 태그, selector 조건

    처음엔 이게 뭔가 싶었는데, 로그를 “읽는” 게 아니라 “분류”하기 시작하니까 속도가 확 달라지더라고요. 특히 access denied 계열은 쿠버네티스 문제가 아니라 거의 AWS 권한 문제였습니다.

    Karpenter 디버깅 과정에서 컨트롤러 로그와 NodePool을 점검하는 이미지

    Karpenter 컨트롤러 로그, NodePool 조건, EC2 관련 리소스를 함께 점검하는 디버깅 흐름 예시입니다.

    실전 구현: NodePool/Provisioner 조건 점검하기

    운영 중인 Karpenter 버전에 따라 리소스 이름이 다를 수 있습니다. 최근 계열은 NodePool/EC2NodeClass 조합을 많이 쓰고, 예전 문서에서는 Provisioner/AWSNodeTemplate 예제가 남아 있습니다. 그래서 제 습관은 “내 클러스터에 실제로 어떤 CRD가 있는지 먼저 보는 것”입니다.

    kubectl api-resources | grep -i karpenter
    kubectl get nodepools
    kubectl get ec2nodeclasses
    kubectl get provisioners

    예를 들어 NodePool이 너무 제한적으로 잡혀 있으면 문제가 생깁니다.

    apiVersion: karpenter.sh/v1
    kind: NodePool
    metadata:
      name: default
    spec:
      template:
        spec:
          requirements:
            - key: kubernetes.io/arch
              operator: In
              values: ["amd64"]
            - key: kubernetes.io/os
              operator: In
              values: ["linux"]

    여기서 흔한 실수는 이런 겁니다.

    • 인스턴스 패밀리 조건을 너무 좁게 설정
    • 특정 가용 영역만 허용
    • spot(스팟)만 허용했는데 해당 시점에 용량이 부족
    • daemonset(데몬셋) 오버헤드를 고려하지 않고 너무 작은 타입만 허용

    제가 직접 해보니 조건을 처음부터 정교하게 만드는 것보다, 일단 넉넉하게 열고 정상 프로비저닝을 확인한 뒤 점진적으로 좁히는 방식이 훨씬 덜 고생합니다.

    권장 점검 명령어

    kubectl describe nodepool <nodepool-name>
    kubectl get ec2nodeclass <class-name> -o yaml
    kubectl get provisioner <name> -o yaml

    설정에서 확인할 항목은 다음과 같습니다.

    1. 아키텍처 제약이 Pod와 맞는지
    2. 용량 타입(on-demand/spot) 제약이 과하지 않은지
    3. 서브넷/보안 그룹 선택 조건이 실제 AWS 태그와 일치하는지
    4. 노드 만료, 통합(consolidation) 정책이 과도하게 공격적이지 않은지

    ⚠️ 오토스케일링 실패를 만드는 대표 원인 5가지

    이 섹션은 제가 실제로 많이 봤던 순서대로 적겠습니다. Karpenter 디버깅에서 제일 시간을 많이 잡아먹는 부분이기도 합니다.

    1. IAM(권한 체계) 누락

    컨트롤러가 EC2 인스턴스를 생성하거나 조회할 권한이 없으면 노드가 당연히 안 뜹니다. 로그에 access denied, unauthorized 류 메시지가 보이면 거의 이쪽입니다. EKS에서 IRSA(IAM Roles for Service Accounts, 서비스어카운트용 IAM 역할)를 쓰는 경우, role annotation과 정책 연결 상태를 다시 확인해 보세요.

    2. Subnet/Security Group 태그 문제

    Karpenter는 보통 태그 기반으로 서브넷과 보안 그룹을 찾습니다. 근데 태그가 빠져 있거나 selector 조건과 안 맞으면 리소스를 발견하지 못합니다. 저는 이걸 네트워크 문제로 착각해서 한참 헤맸었는데, 사실은 태그 오타 하나였던 적도 있습니다.

    3. 인스턴스 타입 제한 과다

    예를 들어 특정 세대, 특정 패밀리, 특정 크기만 허용해 놓으면 실시간 수용 용량이 없을 때 바로 막힙니다. 운영에서는 후보군을 넓혀야 합니다. 특히 spot만 쓰는 환경은 더 그렇습니다.

    4. Pod 요청량 과다 또는 DaemonSet 오버헤드 미반영

    실제로 써보니까 작은 워크로드 하나만 보지 말고, CNI(컨테이너 네트워크 인터페이스), 로그 에이전트, 모니터링 에이전트 같은 데몬셋 자원까지 같이 봐야 하더라고요. 남는 것 같아도 실제 스케줄 가능 용량은 더 작습니다.

    5. AWS 계정 할당량 또는 AZ 용량 이슈

    설정이 멀쩡해도 특정 가용 영역에서 타입 수급이 안 될 수 있습니다. 이럴 땐 Karpenter 자체 버그보다 클라우드 용량 이슈일 가능성도 큽니다. 그래서 저는 가능한 한 여러 AZ와 여러 타입을 열어둡니다.

    kubectl get events -A --sort-by=.lastTimestamp
    kubectl describe pod -n <namespace> <pod-name>
    kubectl describe nodepool <nodepool-name>

    설정 예시: 디버깅용으로 조건을 단순화해보기

    문제가 길어질 때는 조건을 줄여서 정상 동작 여부부터 확인하는 게 좋습니다. 아래처럼 Pod를 단순화해서 테스트해 보세요.

    apiVersion: v1
    kind: Pod
    metadata:
      name: karpenter-debug
    spec:
      containers:
        - name: pause
          image: public.ecr.aws/eks-distro/kubernetes/pause:3.7
          resources:
            requests:
              cpu: "250m"
              memory: "256Mi"

    이 Pod조차 스케줄이 안 되면, 애플리케이션 문제가 아니라 Karpenter 또는 인프라 레이어 문제로 보는 게 맞습니다. 반대로 이건 뜨는데 실제 서비스 Pod만 안 뜬다면, 그때는 requests/affinity/toleration을 더 자세히 보시면 됩니다.

    Kubernetes 노드 프로비저닝 점검을 위한 YAML 설정과 kubectl 디버깅 이미지

    디버깅용 Pod YAML, kubectl describe 출력, NodePool 설정을 함께 비교하는 장면을 표현한 이미지입니다.

    검증 방법: 노드가 정말 의도대로 프로비저닝됐는지 확인

    노드가 하나 떴다고 끝이 아닙니다. 저는 아래 순서로 꼭 확인합니다.

    1. 새 노드가 생성됐는지 확인
    2. Pending Pod가 Running으로 전환됐는지 확인
    3. 노드 라벨, taint, allocatable 자원이 기대와 맞는지 확인
    4. 불필요하게 큰 인스턴스가 뜨지 않았는지 확인
    kubectl get nodes
    kubectl get pods -A -o wide
    kubectl describe node <node-name>
    kubectl top nodes

    확인 포인트는 단순합니다.

    • Pod가 실제로 새 노드에 배치됐는가
    • 노드 라벨이 workload 조건과 맞는가
    • CPU/메모리 여유가 너무 적거나 너무 많지 않은가
    • 오토스케일링 실패가 반복되지 않는가

    드디어 됐다! 싶은 순간이 여기인데요, 여기서 끝내면 안 됩니다. 몇 분 후 consolidation이나 만료 정책 때문에 노드가 정리되면서 다시 Pending이 생길 수도 있거든요. 그래서 최소한 짧은 부하 테스트나 재배포 한 번은 꼭 해보시는 걸 권합니다.

    새 노드 생성 이후 Pending Pod가 Running으로 바뀌고 자원 사용량이 안정화된 결과 화면 예시입니다.

    운영 팁: 제가 실제로 적용하는 Karpenter 문제 해결 체크리스트

    혹시 이런 경험 있으신가요? 로그는 많은데 뭘 먼저 봐야 할지 몰라서 계속 왔다 갔다 하게 되는 상황이요. 그래서 저는 아래 체크리스트를 만들어 두고 그대로 봅니다.

    체크 항목 질문 판단 기준
    Pod 이벤트 왜 Pending인가? 스케줄링 실패 메시지가 명확해야 함
    Karpenter 로그 프로비저닝 계산을 했는가? instance type, subnet, 권한 관련 힌트 확인
    설정 제약 NodePool/Provisioner가 너무 좁은가? AZ, 타입, 아키텍처, 용량 타입 검토
    AWS 리소스 태그와 권한이 맞는가? subnet/security group 발견 가능해야 함
    검증 한 번 뜬 뒤 안정적으로 유지되는가? 재배포/부하 시 반복 확인

    이 체크리스트만 잘 지켜도 Karpenter 문제 해결 시간이 꽤 줄어듭니다. 그리고 이전 글에서 다룬 클러스터 리소스 요청량 설계 내용과 같이 보시면 더 이해가 쉬우실 겁니다. 다음 글에서는 Karpenter와 Cluster Autoscaler를 어떤 기준으로 나눠 볼지 정리해보려고 합니다.

    Karpenter 문제 해결 체크리스트를 요약한 인포그래픽 이미지

    Karpenter 문제 해결 순서를 한 장으로 요약한 체크리스트 인포그래픽입니다.

    정리: Karpenter 문제 해결은 순서가 전부입니다

    오늘 내용의 핵심은 복잡하지 않습니다. 오토스케일링 실패가 보이면 바로 AWS 콘솔부터 열지 말고, 먼저 Pending Pod 이벤트를 확인하세요. 그다음 Karpenter 로그, 그리고 NodePool/Provisioner 제약, 마지막으로 IAM과 네트워크 태그를 보는 흐름이 가장 효율적이었습니다.

    저도 처음엔 Karpenter가 너무 똑똑해서 알아서 다 해줄 줄 알았는데, 실제로는 “조건을 어떻게 열고, 어떤 로그를 먼저 읽느냐”가 훨씬 중요하더라고요. 특히 Kubernetes 노드 프로비저닝 이슈는 한 군데만 봐서는 잘 안 풀립니다. 대신 순서를 지키면 생각보다 금방 풀립니다.

    혹시 지금도 Karpenter 디버깅 중이시라면, 오늘 소개한 명령어 세트부터 그대로 실행해 보세요. 그리고 Pod 이벤트 한 줄, Karpenter 로그 한 줄만 정확히 읽어도 방향이 확 잡힐 겁니다. 이거 진짜 편하더라고요.

  • [Kubernetes] Karpenter 오토스케일러 1년 사용 후기: 비용 절감과 성능 최적화 회고

    [Kubernetes] Karpenter 오토스케일러 1년 사용 후기: 비용 절감과 성능 최적화 회고

    [Kubernetes] Karpenter 오토스케일러 1년 사용 후기

    Karpenter 오토스케일러 후기를 한 줄로 먼저 말씀드리면, EKS 운영에서 노드 증설 속도와 비용 통제가 동시에 좋아졌습니다. 저도 처음엔 “Cluster Autoscaler(클러스터 오토스케일러)로도 되는데 굳이?” 싶었거든요. 그런데 서비스가 늘고, 배치 작업이 섞이고, 팀별로 워크로드 특성이 달라지니까 기존 방식이 점점 답답해지더라고요. 특히 Kubernetes 오토스케일링을 노드 그룹 중심으로만 운영하면 빈 자원이 남아도는 순간이 꽤 자주 생깁니다. 실무에서 결국 비용은 숫자로 돌아오니까요.

    제가 지난 1년 동안 홈랩과 업무 환경에서 비슷한 패턴으로 실험하고 운영해보니, Karpenter는 “노드를 미리 크게 잡아두는 습관”을 줄여주는 쪽에 강점이 있었습니다. 다만 마법은 아닙니다. 설정을 대충 하면 오히려 인스턴스 종류가 너무 넓게 열리거나, 반대로 너무 좁아서 스케일이 안 붙는 일도 생깁니다. 오늘 글에서는 제가 실제로 겪었던 삽질까지 포함해서, 왜 도입했고 어떻게 운영했고 무엇을 조심해야 하는지 정리해보겠습니다.

    Karpenter 오토스케일러 후기용 EKS 아키텍처 개요 이미지

    Amazon EKS 환경에서 Karpenter가 대기 중인 Pod를 보고 적절한 EC2 노드를 프로비저닝하는 전체 흐름을 보여주는 아키텍처 이미지입니다.

    Karpenter란 무엇인가: Kubernetes 오토스케일링을 더 세밀하게

    쉽게 말해 Karpenter는 Pod(파드)의 요구사항을 보고 바로 노드를 만들어주는 노드 프로비저너(node provisioner, 노드 생성기)입니다. 기존 Cluster Autoscaler는 미리 만들어둔 Auto Scaling Group(오토 스케일링 그룹)이나 Managed Node Group(관리형 노드 그룹)을 기준으로 증설을 판단합니다. 반면 Karpenter는 “지금 이 파드가 CPU, 메모리, 아키텍처, 스팟 여부를 이렇게 요구하네? 그럼 여기에 맞는 노드를 하나 올리자”에 더 가깝습니다.

    처음엔 이게 뭔가 싶었는데, 실제로 써보니까 포인트가 명확하더라고요. 노드 그룹을 여러 개 미리 쪼개서 관리하던 부담이 줄어듭니다. 그리고 워크로드에 맞는 인스턴스 타입을 더 유연하게 고를 수 있어서 AWS EKS 비용 절감 관점에서 꽤 체감이 됐습니다.

    항목 Cluster Autoscaler Karpenter
    기준 노드 그룹 중심 파드 요구사항 중심
    유연성 사전 정의된 그룹 범위 내 인스턴스 선택 폭이 넓음
    비용 최적화 그룹 설계에 크게 의존 빈 자원 축소에 유리
    운영 포인트 노드 그룹 관리 요구사항과 제약 조건 설계

    왜 도입했는가: 노드 프로비저닝 병목이 보이기 시작했습니다

    제가 Karpenter를 본격적으로 보기 시작한 이유는 세 가지였습니다.

    • 배치와 실시간 서비스가 같은 클러스터에 섞이면서 노드 성격이 달라졌습니다.
    • Managed Node Group을 늘릴수록 운영 포인트가 많아졌습니다.
    • 스팟(Spot)과 온디맨드(On-Demand)를 상황에 따라 유연하게 섞고 싶었습니다.

    예전에는 팀별로 노드 그룹을 하나씩 나누면 깔끔해 보였거든요. 근데 시간이 지나면 태그, 라벨, 테인트(Taint, 특정 워크로드 제한), AMI, 서브넷, 보안 그룹까지 관리 포인트가 계속 늘어납니다. 결국 “지금 이 파드가 왜 여기 못 올라가지?”를 찾는 시간이 길어지더라고요. Karpenter는 그 문제를 완전히 없애주진 않지만, 적어도 노드 프로비저닝을 워크로드 관점으로 다시 정리하게 만들어줍니다.

    실전 구현: EKS에 Karpenter 붙이면서 제가 잡았던 기준

    여기서 중요한 포인트! Karpenter를 처음 붙일 때는 욕심내서 모든 워크로드를 한 번에 옮기지 않는 게 좋습니다. 저도 처음엔 한 번에 바꾸려다가 삽질 좀 했습니다 ㅎㅎ 작은 NodePool부터 시작해서 점진적으로 옮기는 게 훨씬 안전했습니다.

    1. 기본 EKS 클러스터와 워커 노드를 준비합니다.
    2. Karpenter용 IAM 권한과 인터럽션 처리 큐를 구성합니다.
    3. Karpenter 컨트롤러를 설치합니다.
    4. NodeClass와 NodePool을 최소 범위로 선언합니다.
    5. 특정 워크로드만 먼저 태워서 동작을 검증합니다.

    1. 컨트롤러 설치 전 확인할 것

    • 클러스터의 OIDC provider가 연결되어 있는지
    • 서브넷과 보안 그룹에 Karpenter가 찾을 수 있는 태그가 있는지
    • 기존 CNI, CoreDNS, metrics-server 같은 필수 애드온이 정상인지

    특히 태그는 정말 중요합니다. 이거 하나 빠지면 로그만 보고 한참 헤맵니다.

    2. 설치 예시

    export CLUSTER_NAME=my-eks
    export AWS_REGION=ap-northeast-2
    export KARPENTER_NAMESPACE=karpenter
    
    helm repo add eks https://aws.github.io/eks-charts
    helm repo update
    
    helm upgrade --install karpenter eks/karpenter \
      --namespace ${KARPENTER_NAMESPACE} \
      --create-namespace \
      --set settings.clusterName=${CLUSTER_NAME} \
      --set settings.interruptionQueue=${CLUSTER_NAME} \
      --set serviceAccount.create=true

    환경마다 IAM Role for Service Account(IRSA, 서비스어카운트용 IAM 역할) 구성 방식은 다를 수 있습니다. 그래서 설치 커맨드 자체보다도, 컨트롤러가 EC2 인스턴스 생성과 조회 권한을 제대로 갖고 있는지를 먼저 보는 게 중요합니다.

    3. NodeClass / NodePool 예시

    아래 예시는 운영에서 자주 쓰는 방향을 단순화한 것입니다. 핵심은 “너무 넓지도, 너무 좁지도 않게” 시작하는 겁니다.

    apiVersion: karpenter.k8s.aws/v1beta1
    kind: EC2NodeClass
    metadata:
      name: default
    spec:
      amiFamily: AL2
      subnetSelectorTerms:
        - tags:
            karpenter.sh/discovery: my-eks
      securityGroupSelectorTerms:
        - tags:
            karpenter.sh/discovery: my-eks
      role: KarpenterNodeRole-my-eks
    ---
    apiVersion: karpenter.sh/v1beta1
    kind: NodePool
    metadata:
      name: general
    spec:
      template:
        metadata:
          labels:
            workload: general
        spec:
          nodeClassRef:
            name: default
          requirements:
            - key: kubernetes.io/arch
              operator: In
              values: ["amd64"]
            - key: karpenter.sh/capacity-type
              operator: In
              values: ["spot", "on-demand"]
            - key: node.kubernetes.io/instance-type
              operator: In
              values: ["m5.large", "m5.xlarge", "m6i.large", "m6i.xlarge"]
      disruption:
        consolidationPolicy: WhenUnderutilized
      limits:
        cpu: "100"

    제가 직접 해보니 처음부터 인스턴스 타입을 수십 개 열어두는 것보다, 검증된 계열 몇 개로 시작하는 편이 좋았습니다. 나중에 확장하는 건 쉽지만, 처음부터 범위를 넓히면 왜 그 타입이 선택됐는지 추적이 어려워지거든요.

    Karpenter 오토스케일러 후기의 NodePool 구성 이미지

    EC2NodeClass와 NodePool이 연결되어 서브넷, 보안 그룹, 인스턴스 타입, capacity type을 결정하는 구조를 보여주는 구성 이미지입니다.

    4. 테스트용 워크로드로 검증

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: inflate
    spec:
      replicas: 6
      selector:
        matchLabels:
          app: inflate
      template:
        metadata:
          labels:
            app: inflate
        spec:
          nodeSelector:
            workload: general
          containers:
            - name: inflate
              image: public.ecr.aws/eks-distro/kubernetes/pause:3.7
              resources:
                requests:
                  cpu: "500m"
                  memory: "512Mi"

    이렇게 요청 리소스(requests, 예약 자원)를 명시한 테스트 파드를 올려보면 스케줄링이 안 되는 순간 Karpenter가 새 노드를 붙이는 흐름을 직관적으로 볼 수 있습니다. 드디어 됐다! 하는 순간이 여기서 나옵니다.

    운영하면서 체감한 장점: 비용 절감과 성능 최적화 포인트

    Karpenter 오토스케일러 후기에서 가장 많이 물어보는 게 “그래서 돈이 진짜 줄었나요?”인데요, 제 경우엔 AWS EKS 비용 절감 효과를 숫자 하나로 단정하긴 어려웠습니다. 워크로드 패턴이 계속 바뀌니까요. 다만 분명했던 변화는 있었습니다.

    • 대기 중인 파드 처리 속도가 좋아졌습니다. 노드 그룹 단위보다 반응이 직관적이었습니다.
    • 빈 자원이 남는 노드가 줄었습니다. 특히 야간 배치 종료 후 차이가 컸습니다.
    • 스팟과 온디맨드 혼합 전략을 잡기 쉬웠습니다.
    • 팀별 노드 그룹 난립을 줄이면서 운영 복잡도가 낮아졌습니다.

    성능 최적화라는 게 꼭 CPU 사용률 그래프만 예쁘게 만드는 건 아니더라고요. 스케줄링 지연이 줄고, 워크로드 특성에 맞는 노드가 더 빨리 생기고, 과하게 큰 노드를 덜 쓰게 되는 것 자체가 운영 품질 향상입니다. 실제로 써보니까 이 부분이 더 크게 다가왔습니다.

    ⚠️ 주의사항과 트러블슈팅: 여기서 많이 막혔습니다

    이 섹션은 좀 중요합니다. Karpenter는 잘 되면 정말 편한데, 안 될 때는 로그와 이벤트를 꼼꼼히 봐야 하거든요.

    1. 서브넷/보안 그룹 태그 누락

    가장 흔했습니다. 컨트롤러는 떠 있는데 노드가 안 생깁니다. 원인은 대개 discovery 태그 누락이었습니다.

    kubectl logs -n karpenter deploy/karpenter
    kubectl describe nodepool general
    kubectl get events -A --sort-by=.lastTimestamp

    해결: 서브넷과 보안 그룹 선택 조건에 맞는 태그가 있는지 다시 확인했습니다. 이건 문서보다 실제 AWS 리소스 태그 화면이 더 빠르더라고요.

    2. 인스턴스 요구 조건을 너무 빡빡하게 잡음

    저도 처음엔 특정 세대, 특정 사이즈만 고집했습니다. 그러면 순간적으로 가용한 인스턴스가 없을 때 스케일이 멈춥니다. 특히 스팟만 강제하면 더 민감해집니다.

    • 인스턴스 패밀리를 1개만 두지 말 것
    • 사이즈를 한 단계 이상 열어둘 것
    • 스팟만 고정하지 말고 온디맨드 fallback을 고려할 것

    3. DaemonSet(데몬셋) 자원 계산을 과소평가

    이거 진짜 많이 놓칩니다. 노드 하나가 올라오면 CNI, 로그 에이전트, 모니터링 에이전트 같은 DaemonSet이 먼저 자리를 먹거든요. 파드 request를 딱 맞춰 잡아두면 생각보다 노드가 더 필요해집니다.

    해결: 시스템 DaemonSet이 차지하는 CPU/메모리를 감안해서 워크로드 request를 다시 계산했습니다. 제가 직접 해보니 이 조정만으로도 불필요한 추가 스케일링이 꽤 줄었습니다.

    4. Consolidation(통합 축소) 설정이 너무 공격적일 때

    유휴 노드를 잘 정리해주는 기능은 좋지만, 워크로드 패턴이 들쭉날쭉하면 노드가 자주 교체될 수 있습니다. 배치가 짧게 반복되는 환경에서는 오히려 흔들릴 수 있겠더라고요.

    해결: 처음엔 보수적으로 운영하고, 패턴이 보인 뒤에 consolidation 정책을 조정했습니다. 이건 정답이 하나가 아니라 워크로드 성격을 타는 부분입니다.

    검증과 결과 확인: 무엇을 보면 잘 되고 있다고 판단할까

    Karpenter 오토스케일러 후기를 쓰면서 가장 조심한 부분이 여기입니다. 비용 수치나 처리량 수치를 함부로 적으면 안 되거든요. 그래서 저는 운영에서 다음 지표를 기준으로 판단했습니다.

    1. Pending Pod가 줄어드는 속도
    2. 피크 시간 이후 유휴 노드가 정리되는지
    3. 스팟 중단 이후 재스케줄링이 안정적인지
    4. 특정 노드 그룹에 과도하게 몰리던 패턴이 줄었는지
    kubectl get nodes
    kubectl get pods -A -o wide
    kubectl top nodes
    kubectl top pods -A
    kubectl describe pod <pending-pod-name>

    제가 실제로 써보니까, 가장 눈에 띄는 건 노드 수 자체보다도 대기 중인 파드가 오래 머무르지 않는 것이었습니다. 클러스터가 바빠질 때 운영자가 덜 초조해집니다. 이건 체감이 꽤 큽니다.

    AWS EKS 비용 절감과 Karpenter 오토스케일링 결과 이미지

    파드 증가 시 노드가 빠르게 늘고, 부하가 줄면 유휴 노드가 정리되는 모습을 대시보드 형태로 보여주는 결과 이미지입니다.

    정리 표: 어떤 환경에 특히 잘 맞았나

    환경 Karpenter 적합도 이유
    배치와 웹 서비스 혼합 높음 워크로드별 노드 요구사항 차이가 큼
    스팟 적극 활용 높음 capacity type 전략을 유연하게 설계 가능
    소규모 고정 트래픽 보통 정적 노드 그룹만으로도 충분할 수 있음
    규제가 강한 고정 인스턴스 정책 보통 이하 유연성 장점이 줄어듦

    자주 묻는 질문: 도입 전에 많이 받았던 질문

    Q1. Cluster Autoscaler 대신 무조건 Karpenter가 답인가요?

    그건 아닙니다. 워크로드가 단순하고 노드 그룹이 적다면 기존 방식도 충분히 안정적입니다. 다만 노드 그룹이 많아지고 Kubernetes 오토스케일링 설계가 복잡해질수록 Karpenter의 장점이 커졌습니다.

    Q2. 스팟만 써도 되나요?

    중단 허용성이 높은 워크로드라면 가능하지만, 핵심 서비스는 온디맨드 fallback을 함께 두는 게 마음이 편합니다. 저도 처음엔 공격적으로 갔다가 다시 섞어서 운영했습니다.

    Q3. 어떤 팀이 먼저 도입해보면 좋을까요?

    배치 작업, CI 러너, 일시적인 이벤트성 워크로드가 있는 팀부터 추천드립니다. 효과가 빨리 보입니다.

    Kubernetes 오토스케일링 비교를 보여주는 Karpenter 요약 이미지

    Cluster Autoscaler와 Karpenter의 차이점, 추천 사용 시나리오, 운영 포인트를 한 장에 요약한 비교 인포그래픽 이미지입니다.

    마무리: 1년 써보니 결국 설계가 반이었습니다

    Karpenter는 분명 좋은 도구입니다. 하지만 설치했다고 끝나는 종류는 아니었습니다. 어떤 인스턴스를 허용할지, 어떤 워크로드를 어디에 태울지, 스팟과 온디맨드를 어떻게 섞을지, consolidation을 얼마나 공격적으로 둘지 같은 정책 설계가 훨씬 중요했습니다. 저도 처음엔 도구가 다 알아서 해줄 줄 알았는데, 실제로 써보니까 “잘 설계된 제약 조건”이 핵심이더라고요.

    그래도 1년 기준으로 돌아보면, Karpenter 오토스케일러 후기는 꽤 긍정적입니다. 노드 프로비저닝이 더 민첩해졌고, 불필요한 여유 자원을 줄이는 방향으로 운영 습관이 바뀌었습니다. 혹시 지금 EKS에서 노드 그룹이 점점 복잡해지고 있다면, 작은 워크로드 하나부터 붙여보셔도 좋겠습니다. 다음 글에서는 HPA(Horizontal Pod Autoscaler, 파드 수평 확장)와 Karpenter를 같이 운영할 때 생기는 타이밍 이슈도 다뤄볼 예정입니다. 이전 글의 EKS 운영 체크리스트와 함께 보시면 흐름이 더 잘 잡히실 겁니다.

    1년 운영 후 배운 점, 추천 도입 순서, 주의할 설정 포인트를 요약한 마무리 이미지입니다.

  • [Cloud] Cloudflare WAF vs AWS WAF: 장애 사례와 트러블슈팅

    [Cloud] Cloudflare WAF vs AWS WAF: 장애 사례와 트러블슈팅

    Cloudflare WAF vs AWS WAF: 실제 장애 사례와 트러블슈팅 가이드

    Cloudflare WAF vs AWS WAF를 비교해 달라는 요청을 받으면, 저는 기능표부터 꺼내지 않습니다. 실무에서는 웹 방화벽 자체보다도 장애가 났을 때 얼마나 빨리 원인을 좁히고, 우회하고, 복구하느냐가 더 중요하거든요. 저도 초반에는 “둘 다 룰만 잘 넣으면 되는 거 아닌가?” 싶었는데, 운영을 해보면 보는 지점도 다르고 디버깅 방식도 꽤 다르더라고요. 특히 보안 장애는 애플리케이션 오류처럼 로그 한 줄로 바로 드러나지 않아서 초기에 헤매기 쉽습니다.

    이번 글은 Cloudflare WAF vs AWS WAF를 단순 스펙 비교가 아니라, 보안 장애와 트러블슈팅 관점에서 정리한 글입니다. 정상 사용자가 막혔을 때 어디부터 볼지, 403이 떴을 때 WAF 문제인지 앱 문제인지 어떻게 가를지, Cloudflare 앞단과 AWS 원본 구성이 함께 있을 때 무엇을 먼저 확인해야 하는지 실무 기준으로 풀어보겠습니다.

    Cloudflare 엣지와 AWS 내부 구간에서 WAF가 어떻게 배치되는지 한눈에 보여주는 아키텍처 이미지가 들어갈 자리입니다.

    1. 왜 Cloudflare WAF vs AWS WAF 비교가 실무에서 중요한가

    두 제품 모두 HTTP 요청을 검사하고 차단하지만, 트래픽을 관찰하는 위치와 운영자가 원인을 추적하는 방식이 다릅니다. Cloudflare WAF는 보통 사용자 요청이 원본 서버에 도달하기 전에 Cloudflare 엣지에서 먼저 평가합니다. AWS WAF는 CloudFront, Application Load Balancer(ALB), API Gateway 같은 AWS 보호 대상 리소스에 연결해 정책을 적용하죠.

    그래서 같은 403 응답이어도 의미가 완전히 같지는 않습니다.

    • Cloudflare WAF: 원본까지 요청이 가지 않았을 가능성이 큽니다.
    • AWS WAF: AWS 리소스 경계까지는 도달했지만 연결된 Web ACL에서 차단됐을 수 있습니다.
    • 애플리케이션 403: WAF가 아니라 인증, 인가, 세션, 경로 권한 로직 문제일 수 있습니다.

    이 구분을 초반에 못 하면 개발팀은 앱 로그만 보고, 보안팀은 룰만 보고, 인프라팀은 CDN만 보게 됩니다. 장애 대응은 결국 관찰 지점을 분리하는 데서 시작됩니다. 이거 하나만 정리해도 대응 속도가 눈에 띄게 달라지더라고요.

    2. Cloudflare WAF vs AWS WAF 핵심 차이

    쉽게 말해 Cloudflare WAF는 인터넷 입구 쪽에 더 가깝고, AWS WAF는 AWS 리소스 보호에 더 밀착돼 있습니다. 둘 다 관리형 룰, 커스텀 룰, IP 제어, 레이트 리밋 같은 공통 기능은 있지만 운영 감각은 꽤 다릅니다. 특히 로그를 어디서 보고, 어떤 헤더를 기준으로 클라이언트를 식별하는지가 실무에서는 정말 중요합니다.

    항목 Cloudflare WAF AWS WAF
    주요 배치 위치 Cloudflare 엣지 CloudFront, ALB, API Gateway 등 AWS 리소스 앞단
    장애 체감 지점 사용자 입장에서 즉시 차단 체감 AWS 서비스 경계에서 정책 적용
    원인 추적 포인트 Security Events, 커스텀 룰, 관리형 룰, 봇/레이트 리밋 정책 Web ACL, Rule priority, sampled requests, 로그 대상
    복합 구성 시 주의점 원본 IP 전달 헤더와 프록시 체인 확인 커스텀 IP/레이트 룰의 forwarded IP 설정 점검

    제가 현업에서 자주 강조하는 포인트가 하나 있습니다. WAF는 보안 장비이면서 동시에 트래픽 해석기라는 점입니다. 어떤 헤더를 보고 판단하는지, 어떤 경로와 메서드에 민감한지, 차단이 어느 단계에서 일어나는지 모르면 운영이 금방 꼬입니다.

    Cloudflare WAF가 잘 맞는 경우

    • 전 세계 사용자 대상 서비스라 엣지 차단 효과가 중요한 경우
    • DDoS 완화, 봇 제어, 캐시와 함께 운영하는 경우
    • 원본 서버까지 악성 요청을 최대한 보내고 싶지 않은 경우

    AWS WAF가 잘 맞는 경우

    • AWS 인프라 중심으로 서비스가 구성된 경우
    • CloudFront, ALB, API Gateway와 일관되게 묶어 관리하고 싶은 경우
    • 변경 이력과 IaC로 정책을 통제하고 싶은 경우

    3. 실전 구현: 장애 추적을 쉽게 만드는 기본 구성

    보안 장애에서 제일 아쉬운 순간은 로그를 안 남겼다는 사실을 뒤늦게 깨달을 때입니다. 처음엔 번거로워 보여도, WAF는 차단보다 관측 체계를 먼저 만들어두는 편이 훨씬 낫습니다. 저는 보통 아래 원칙으로 시작합니다.

    1. WAF 정책을 처음부터 전부 block으로 넣지 않습니다.
    2. 가능하면 count, log, sampled requests 중심으로 먼저 동작을 봅니다.
    3. 원본 IP, 요청 경로, 메서드, User-Agent, Host 헤더를 함께 확인합니다.
    4. Cloudflare와 AWS를 같이 쓸 때는 어느 계층에서 막혔는지 구분 가능한 로그 기준을 먼저 정합니다.

    Cloudflare 앞단 + AWS 원본 구조 테스트 예시

    아래 명령은 공개 엔드포인트에서 상태 코드와 응답 헤더를 빠르게 비교할 때 많이 씁니다. 다만 프록시 환경의 원본 IP 판별은 단순 curl 한 번으로 결론내리기보다, Cloudflare 이벤트와 AWS WAF 로그를 함께 맞춰 보는 편이 안전합니다.

    # 기본 응답 헤더와 상태 코드 확인
    curl -s -o /dev/null -D - https://example.com/
    
    # 로그인 경로 확인
    curl -s -o /dev/null -D - https://example.com/login
    
    # 헬스체크 경로 확인
    curl -s -o /dev/null -D - https://example.com/health
    

    단순해 보여도 꽤 유용합니다. 정상 경로와 문제 경로를 나눠 보면 어느 계층에서 튕겼는지 감이 잡히거든요. 여기에 시간대까지 맞춰서 WAF 이벤트를 보면 훨씬 빨라집니다.

    AWS WAF Web ACL 설계 예시

    아래 YAML은 개념 설명용 예시입니다. 콘솔, CloudFormation, Terraform 문법과 1:1로 동일한 배포 파일은 아니고, 룰 우선순위와 관측 포인트를 이해하기 위한 샘플로 보시면 됩니다.

    webAcl:
      name: prod-web-acl
      scope: REGIONAL
      defaultAction:
        allow: {}
      rules:
        - name: block-known-bad-ip
          priority: 10
          action:
            block: {}
        - name: rate-limit-login
          priority: 20
          action:
            block: {}
        - name: managed-common-rules
          priority: 30
          overrideAction:
            none: {}
      visibilityConfig:
        cloudWatchMetricsEnabled: true
        sampledRequestsEnabled: true
        metricName: prod-web-acl
    

    실무에서는 priority 때문에 생각보다 많이 헷갈립니다. 저도 처음엔 관리형 룰이 뒤에서 잡을 줄 알았는데, 앞단 커스텀 룰에서 이미 차단되고 있었던 적이 있었습니다. 그래서 장애가 나면 저는 항상 룰 순서부터 먼저 봅니다.

    Cloudflare WAF vs AWS WAF 규칙 우선순위 비교 이미지

    AWS WAF의 Web ACL 우선순위와 Cloudflare 규칙 평가 흐름을 비교해 보여주는 이미지가 들어갈 자리입니다.

    4. 실제 장애 사례 1: 정상 사용자만 403이 뜨는 상황

    개발팀에서는 로그인 잘 된다고 하는데, 특정 사용자군만 403이 뜨는 경우가 있습니다. 처음엔 브라우저 문제나 쿠키 문제처럼 보여도, 실제로는 정상 트래픽이 봇이나 의심 요청으로 오탐되는 경우가 제법 있습니다. 이런 케이스는 특히 배포 직후나 로그인 경로 변경 직후에 잘 나타납니다.

    Cloudflare 쪽에서는 보통 아래 순서로 보는 게 빨랐습니다.

    1. 해당 시간대 Security Events에서 URI와 IP를 확인합니다.
    2. 차단 룰이 관리형 룰인지, 커스텀 룰인지 분리합니다.
    3. 특정 국가, ASN, User-Agent, 봇 정책 조건이 걸려 있는지 봅니다.
    4. 원본 서버 로그가 비어 있는지 함께 확인해 앞단 차단인지 가릅니다.

    AWS WAF에서는 접근 방식이 조금 다릅니다.

    1. 연결된 Web ACL과 보호 대상 리소스를 먼저 확인합니다.
    2. sampled requests에서 어떤 룰이 매치됐는지 확인합니다.
    3. ALB 액세스 로그나 애플리케이션 로그와 시간대를 맞춰 봅니다.
    4. 원본 서버에 요청이 실제로 도달했는지 확인합니다.

    핵심은 WAF 403과 앱 403을 분리하는 겁니다. 앱 로그가 전혀 없으면 앞단 차단 가능성이 높고, 앱 로그에 인증 실패나 권한 오류가 남으면 애플리케이션 이슈일 수 있습니다. 당연한 이야기 같지만, 장애 상황에서는 이 기본 분기가 제일 강력합니다.

    5. 실제 장애 사례 2: Cloudflare 뒤에 AWS WAF를 붙였더니 원본 IP 판단이 꼬인 경우

    이 케이스도 자주 나옵니다. Cloudflare가 프록시 역할을 하고 뒤에 AWS WAF가 또 있는 구조였는데, 로그인 경로의 레이트 리밋이 이상하게 동작하는 상황이었습니다. 사용자 한 명이 과도 요청을 보낸 것도 아닌데 여러 사용자가 묶여 차단되는 느낌이었죠.

    원인은 대개 단순합니다. AWS WAF 커스텀 IP 기반 룰이나 rate-based rule이 실제 클라이언트 IP가 아니라 프록시 구간의 주소를 기준으로 평가하면 의도와 다르게 동작할 수 있습니다. 이럴 때는 원본 IP 전달 방식과 forwarded IP 설정을 같이 점검해야 합니다.

    • CF-Connecting-IP 또는 X-Forwarded-For를 원본에서 어떻게 수집하는지 확인합니다.
    • AWS WAF의 커스텀 IP/Geo/ASN/rate-based rule이 어떤 헤더를 기준으로 평가하는지 확인합니다.
    • 프록시 체인이 여러 단계라면 어느 주소가 first IP로 해석되는지 테스트합니다.
    • 레이트 리밋은 바로 차단보다 관찰 모드로 먼저 검증합니다.
    # 응답 헤더와 상태 코드 확인
    curl -s -o /dev/null -D - https://example.com/login
    
    # 특정 경로 반복 호출로 제한 반응 확인
    for i in $(seq 1 5); do
      curl -s -o /dev/null -w "%{http_code}\n" https://example.com/api/login
    done
    

    직접 겪어보면, 이 문제는 기능 차이보다도 배치 구조를 정확히 이해하지 못한 상태에서 둘을 같이 붙일 때 더 자주 터집니다. 그래서 Cloudflare WAF vs AWS WAF를 비교할 때는 누가 더 좋으냐보다, 누가 어디서 무엇을 보고 차단하느냐를 먼저 정리해야 합니다.

    6. 주의사항: 트러블슈팅할 때 자주 놓치는 포인트

    이 섹션은 실제 장애 대응에서 체감이 큽니다. 아래 항목만 체크해도 원인 추적 속도가 훨씬 빨라집니다.

    • 규칙 우선순위: 먼저 매치된 룰에서 이미 차단됐을 수 있습니다.
    • 허용 목록: 관리자 IP만 열어두고 모바일 회선, VPN, 사내 NAT 대역을 빼먹는 경우가 많습니다.
    • 경로 예외 처리: /health, /callback, /api/upload 같은 경로는 성격이 달라 별도 예외가 필요할 수 있습니다.
    • 메서드 차이: GET은 통과하는데 POST만 막히는 경우가 생각보다 자주 있습니다.
    • 헤더 기반 탐지: User-Agent 누락, 비정상 Content-Type, 특이한 Host 헤더 때문에 오탐이 날 수 있습니다.
    • 배포 타이밍: 앱 변경과 WAF 룰 변경이 겹치면 원인 추적이 훨씬 어려워집니다.

    장애 중에는 룰을 무작정 끄기보다 영향 범위가 좁은 예외부터 적용하는 편이 안전합니다. 예를 들어 전체 관리형 룰을 비활성화하기보다 특정 URI나 특정 파라미터에 한해 임시 예외를 주는 식이죠. 이렇게 해야 보안 노출을 최소화하면서 서비스는 살릴 수 있습니다.

    Cloudflare WAF vs AWS WAF 403 보안 장애 트러블슈팅 이미지

    403 응답이 났을 때 어떤 순서로 헤더, 로그, 룰 매치를 따라가야 하는지 보여주는 트러블슈팅 이미지가 들어갈 자리입니다.

    7. 검증 방법: 해결됐는지 어떻게 확인할까

    문제가 해결된 것처럼 보여도 검증이 약하면 같은 장애가 반복됩니다. 저는 보통 아래 순서로 확인합니다.

    1. 차단되던 실제 요청 패턴을 다시 재현합니다.
    2. 정상 사용자 시나리오와 악성 의심 시나리오를 둘 다 테스트합니다.
    3. WAF 로그에서 의도한 룰만 매치되는지 확인합니다.
    4. 애플리케이션 로그와 응답 시간도 같이 봅니다.
    5. 임시 예외를 넣었다면 만료 계획과 원복 일정을 남깁니다.

    코드 블록은 아주 기본적인 확인용입니다. 여기서 중요한 건 상태 코드만 볼 게 아니라, 어느 레이어에서 응답이 만들어졌는지도 같이 보는 겁니다.

    # 정상 페이지 확인
    curl -I https://example.com/
    
    # 로그인 엔드포인트 확인
    curl -X POST -d "username=test&password=test" https://example.com/login -i
    
    # 헬스체크 경로 확인
    curl -I https://example.com/health
    

    검증에서 진짜 중요한 건 200 OK가 나왔는지만 보는 게 아닙니다. 원래 막아야 할 요청이 계속 막히는지도 꼭 같이 봐야 합니다. 서비스는 살렸는데 방화벽이 사실상 꺼진 상태가 되는 게 가장 위험하거든요.

    Cloudflare WAF vs AWS WAF 검증 결과 대시보드 이미지

    장애 조치 전후로 차단 이벤트와 정상 응답 비율이 어떻게 달라졌는지 보여주는 결과 대시보드 이미지가 들어갈 자리입니다.

    8. Cloudflare WAF vs AWS WAF, 무엇을 기준으로 선택할까

    정리하면 이렇습니다. 두 제품은 기능 몇 개만 비교해서 고를 대상이 아닙니다. 운영 팀의 시야, 로그 수집 체계, 서비스 배치 구조, 장애 대응 프로세스를 함께 봐야 선택이 훨씬 정확해집니다.

    질문 Cloudflare WAF 쪽이 유리한 경우 AWS WAF 쪽이 유리한 경우
    트래픽을 어디서 먼저 걸러야 하나? 인터넷 엣지에서 최대한 먼저 AWS 리소스 경계에서 정교하게
    운영 중심이 어디인가? CDN, 엣지 보안, 글로벌 트래픽 AWS 네이티브 리소스 중심
    트러블슈팅 포인트는? 원본 도달 전 차단 여부 Web ACL, sampled requests, 리소스 연결 상태
    복합 환경 난이도는? AWS와 조합 시 헤더와 원본 IP 해석 주의 프록시 뒤 커스텀 룰의 forwarded IP 설정 주의

    도입을 검토 중이라면 제품 비교표만 보지 말고 장애 시나리오를 먼저 적어보는 걸 권합니다. “로그인 POST가 갑자기 막히면 누가 어디서 무엇을 확인할까?”, “Cloudflare와 AWS WAF를 함께 쓰면 어느 계층에서 예외를 줄까?” 같은 질문이 실제 운영 품질을 좌우합니다.

    9. 마무리: 웹 방화벽은 도입보다 운영이 어렵습니다

    이번 글에서는 Cloudflare WAF vs AWS WAF를 웹 방화벽 비교 차원이 아니라, 보안 장애와 트러블슈팅 중심으로 정리했습니다. 직접 운영해보면 좋은 제품을 고르는 일보다 관찰 가능성을 확보하는 일이 더 중요하다는 걸 금방 느끼게 됩니다. 로그를 남기고, 룰 우선순위를 정리하고, 원본 IP 해석 기준을 분명히 해두면 장애 대응이 훨씬 편해집니다.

    핵심만 짚으면 아래 네 가지입니다.

    • Cloudflare WAF는 엣지에서 빠르게 차단하는 데 강점이 있습니다.
    • AWS WAF는 AWS 리소스와의 통합 운영에 강점이 있습니다.
    • 403 장애는 WAF, 프록시, 애플리케이션을 분리해서 봐야 빨리 해결됩니다.
    • 복합 구성에서는 헤더와 원본 IP 해석이 가장 자주 문제를 일으킵니다.

    다음 글에서는 WAF 예외 처리 패턴과 헬스체크, 로그인, API 업로드 경로를 안전하게 분리하는 방법도 다뤄보겠습니다. 이전에 정리한 리버스 프록시와 원본 IP 전달 방식 글도 함께 보시면 이해가 훨씬 빨라집니다.

    Cloudflare WAF vs AWS WAF 선택 기준 요약 인포그래픽

    도입 환경, 장애 대응 포인트, 운영 난이도를 기준으로 두 WAF를 요약 비교한 인포그래픽 이미지가 들어갈 자리입니다.

    자주 묻는 질문

    Cloudflare WAF와 AWS WAF를 같이 써도 되나요?

    됩니다. 다만 어디서 차단됐는지 구분할 수 있도록 로그, 헤더, 원본 IP 해석 기준을 먼저 정리해두는 게 좋습니다.

    보안 장애가 나면 가장 먼저 뭘 봐야 하나요?

    응답 코드만 보지 말고 원본 서버 로그 유무와 WAF 이벤트를 함께 보셔야 합니다. 그 분기만 정확히 잡아도 시간을 많이 줄일 수 있습니다.

    처음 도입할 때 바로 차단 정책으로 가도 될까요?

    권장하지 않습니다. 가능하면 count, log, sampled requests 중심으로 먼저 관찰하고 오탐 여부를 확인한 뒤 점진적으로 차단 강도를 올리는 편이 안전합니다.

  • [Cloud] Terraform AWS EKS 모듈 활용: 프로덕션 클러스터 배포 및 관리 가이드

    [Cloud] Terraform AWS EKS 모듈 활용: 프로덕션 클러스터 배포 및 관리 가이드

    안녕하세요, 13년차 서버 인프라 엔지니어입니다. 오늘은 Terraform AWS EKS 모듈을 활용해서 프로덕션 환경에 바로 적용할 수 있는 쿠버네티스(Kubernetes) 클러스터를 배포하고 관리하는 방법을 나눠볼게요. 사실 저도 쿠버네티스를 처음 접했을 땐 ‘이걸 어떻게 프로덕션에 안정적으로 올리지?’ 고민이 정말 많았거든요. 수많은 설정과 의존성 때문에 삽질을 꽤 했었습니다. ㅎㅎ

    그런데 Terraform(테라폼)과 AWS EKS 모듈을 써보니까, 정말 복잡했던 배포 과정이 깔끔하게 정리되더라고요. 마치 복잡한 미로에서 벗어나는 기분이었죠. 오늘은 제가 직접 경험했던 노하우를 바탕으로, Terraform EKS 모듈이 왜 프로덕션 환경에 필수적인지, 그리고 어떻게 활용하는지 자세히 알려드릴게요.

    Terraform으로 관리되는 AWS EKS 클러스터의 일반적인 아키텍처입니다.

    개념 정리: 왜 Terraform과 EKS 모듈이 필요할까요?

    본격적인 실전으로 들어가기 전에, 핵심 개념들을 간단히 짚고 넘어갈게요. 이미 잘 알고 계신 분들도 있겠지만, 혹시 모르니까 멘토처럼 쉽게 설명해드릴게요.

    • IaC (Infrastructure as Code, 코드형 인프라스트럭처): 인프라를 코드로 관리한다는 뜻이에요. 예전에는 서버 한 대 놓으려면 직접 전산실 가서 설치하고 케이블 연결하고 그랬잖아요? 요즘은 그런 모든 과정을 코드로 정의하고 자동화합니다. Terraform이 바로 이 IaC를 구현하는 대표적인 도구거든요. 코드로 인프라를 관리하면 반복 가능하고, 버전 관리도 되고, 무엇보다 휴먼 에러가 확 줄어든다는 게 최고의 장점입니다. 제가 직접 써보니 정말 그렇더라고요!

    • AWS EKS (Amazon Elastic Kubernetes Service): AWS에서 제공하는 관리형 쿠버네티스 서비스예요. 쿠버네티스는 컨테이너화된 워크로드를 배포하고 관리하는 오픈소스 시스템인데, EKS는 이 쿠버네티스 컨트롤 플레인(Control Plane)을 AWS가 대신 관리해준다는 뜻입니다. 덕분에 우리는 마스터 노드 관리 부담 없이 워커 노드(Worker Node)에만 집중할 수 있죠. 프로덕션 환경에선 안정성이 생명인데, AWS가 관리해주니 정말 마음이 든든합니다.

    • Terraform AWS EKS 모듈: Terraform 오픈소스 커뮤니티가 만들어 놓은 ‘모듈(Module)’이 있습니다. 이 EKS 모듈은 AWS EKS 클러스터를 배포하는 데 필요한 모든 리소스(VPC, 서브넷, IAM 역할, EKS 클러스터 자체, 노드 그룹 등)를 미리 정의해둔 템플릿 모음이에요. 이걸 사용하면 수백 줄이 넘을 수 있는 Terraform 코드를 몇 줄로 줄일 수 있거든요. 처음엔 직접 다 만들었었는데, 이 모듈을 발견하고 나서는 ‘아, 이래서 다들 모듈을 쓰는구나!’ 하고 무릎을 탁 쳤습니다. 생산성 향상에 정말 최고예요. 🚀

    실전 구현: Terraform으로 EKS 클러스터 배포하기

    이제 실제로 Terraform AWS EKS 모듈을 사용해서 프로덕션용 EKS 클러스터를 배포해볼게요. 단계별로 차근차근 따라오면 됩니다. 제가 홈랩에서 여러 번 테스트해보고 가장 안정적인 방법을 알려드릴게요.

    1. 프로젝트 구조 및 초기 설정

    먼저 다음과 같은 디렉토리 구조를 만들어주세요.

    mydir/
    ├── main.tf
    ├── variables.tf
    └── outputs.tf
    

    main.tf 파일에 AWS Provider(프로바이더)를 설정하고, Terraform EKS 모듈을 정의합니다.

    # main.tf
    
    terraform {
      required_version = ">= 1.0.0"
      required_providers {
        aws = {
          source  = "hashicorp/aws"
          version = "~> 5.0"
        }
      }
    }
    
    provider "aws" {
      region = var.aws_region
    }
    
    module "vpc" {
      source  = "terraform-aws-modules/vpc/aws"
      version = "~> 5.0"
    
      name = "${var.cluster_name}-vpc"
      cidr = "10.0.0.0/16"
    
      azs             = data.aws_availability_zones.available.names
      private_subnets = ["10.0.1.0/24", "10.0.2.0/24", "10.0.3.0/24"]
      public_subnets  = ["10.0.101.0/24", "10.0.102.0/24", "10.0.103.0/24"]
    
      enable_nat_gateway = true
      single_nat_gateway = true
    
      tags = {
        "kubernetes.io/cluster/${var.cluster_name}" = "owned"
        "kubernetes.io/role/internal-elb"           = "1"
        "kubernetes.io/role/elb"                    = "1"
      }
    }
    
    module "eks" {
      source  = "terraform-aws-modules/eks/aws"
      version = "~> 20.0" # Terraform Registry에서 최신 안정 버전을 확인하세요!
    
      cluster_name    = var.cluster_name
      cluster_version = var.cluster_version
    
      vpc_id     = module.vpc.vpc_id
      subnet_ids = module.vpc.private_subnets
    
      # EKS 클러스터 로깅 활성화 (프로덕션 필수!)
      cluster_enabled_log_types = ["api", "audit", "authenticator", "controllerManager", "scheduler"]
    
      # 관리형 노드 그룹 (Managed Node Groups)
      managed_node_groups = {
        general = {
          name            = "general-nodes"
          instance_types  = ["t3.medium"]
          min_size        = 2
          max_size        = 5
          desired_size    = 3
          disk_size       = 50
          labels          = { env = "production", role = "general" }
          capacity_type   = "ON_DEMAND"
          # EKS 노드에 SSH 접속이 필요하다면 아래 주석 해제 후 키 페어 이름 설정
          # key_name = "your-ssh-key-name"
        }
        # 추가 노드 그룹이 필요하면 여기에 정의
        # spot = {
        #   name          = "spot-nodes"
        #   instance_types  = ["t3.small", "t3.medium"]
        #   min_size        = 0
        #   max_size        = 10
        #   desired_size    = 1
        #   capacity_type   = "SPOT"
        #   disk_size       = 20
        # }
      }
    
      tags = {
        Project     = "EKS-Production"
        Environment = "Prod"
      }
    }
    
    data "aws_availability_zones" "available" {}
    

    ⚠️ 주의사항: t3.medium은 테스트용으로 괜찮지만, 실제 프로덕션 워크로드에는 더 큰 인스턴스 타입(예: m5.large, c5.large)을 고려하세요. 그리고 version = "~> 20.0" 부분은 항상 Terraform Registry에서 최신 안정 버전을 확인해서 사용하세요. Terraform AWS EKS 모듈이 워낙 빠르게 업데이트돼서 제가 작성한 시점과 다를 수 있거든요.

    variables.tf 파일에는 클러스터 이름, AWS 리전, EKS 버전 등 변경될 수 있는 값들을 정의합니다.

    # variables.tf
    
    variable "aws_region" {
      description = "AWS region."
      type        = string
      default     = "ap-northeast-2" # 서울 리전
    }
    
    variable "cluster_name" {
      description = "Name of the EKS cluster."
      type        = string
      default     = "my-prod-eks-cluster"
    }
    
    variable "cluster_version" {
      description = "Kubernetes version."
      type        = string
      default     = "1.28" # 사용 가능한 EKS 버전 확인 후 지정
    }
    

    outputs.tf 파일에는 배포 후 필요한 정보를 출력하도록 설정합니다. 클러스터 엔드포인트나 kubeconfig 명령어 같은 것들이죠.

    # outputs.tf
    
    output "cluster_endpoint" {
      description = "Endpoint for EKS Control Plane."
      value       = module.eks.cluster_endpoint
    }
    
    output "kubeconfig_command" {
      description = "Command to configure kubectl."
      value       = "aws eks update-kubeconfig --region ${var.aws_region} --name ${var.cluster_name}"
    }
    
    output "cluster_security_group_id" {
      description = "Security group ID of the EKS cluster."
      value       = module.eks.cluster_security_group_id
    }
    

    Terraform EKS 모듈을 위한 주요 구성 파일들의 역할과 관계를 보여줍니다.

    2. Terraform 명령 실행

    파일들을 모두 작성했다면, 터미널을 열고 해당 디렉토리로 이동해서 다음 명령어를 실행합니다.

    1. Terraform 초기화 (Initialize): 필요한 프로바이더와 모듈을 다운로드합니다.

      terraform init
      
    2. Terraform 실행 계획 (Plan): 실제로 어떤 리소스들이 생성/변경/삭제될지 미리 보여줍니다. 이 단계에서 항상 꼼꼼히 확인하는 습관을 들이셔야 해요. 저는 여기서 실수 몇 번 해보고 크게 깨달았습니다. 😅

      terraform plan
      
    3. Terraform 적용 (Apply): 계획대로 리소스를 AWS에 배포합니다. 시간이 좀 걸릴 수 있어요. 커피 한 잔 마시면서 기다려보세요. 😊

      terraform apply --auto-approve
      

      --auto-approve 옵션은 실제 프로덕션 환경에서는 신중하게 사용해야 합니다. 보통은 terraform apply만 실행해서 직접 승인하는 과정을 거치는 게 안전하거든요.

    ⚠️ 주의사항: 삽질 경험과 해결책

    제가 13년간 인프라 엔지니어로 일하면서 느낀 건, 아무리 잘 만들어진 도구라도 ‘삽질’은 피할 수 없다는 거예요. Terraform EKS 모듈도 마찬가지입니다. 몇 가지 흔한 문제와 제가 겪었던 해결책을 공유해드릴게요.

    • VPC Subnet Tag 누락: EKS 클러스터가 서브넷을 제대로 인식하지 못해서 배포가 실패하는 경우가 종종 있어요. 특히 다른 모듈로 VPC를 만들었거나 수동으로 서브넷을 구성했을 때 그렇더라고요. EKS는 워커 노드를 프로비저닝할 때 특정 태그(kubernetes.io/cluster/YOUR_CLUSTER_NAME과 kubernetes.io/role/internal-elb 또는 kubernetes.io/role/elb)가 있는 서브넷을 찾습니다. main.tf의 VPC 모듈 설정에서 태그를 꼭 넣어주세요.

      tags = {
        "kubernetes.io/cluster/${var.cluster_name}" = "owned"
        "kubernetes.io/role/internal-elb"           = "1"
        "kubernetes.io/role/elb"                    = "1"
      }
      
    • IAM 권한 부족: Terraform을 실행하는 IAM 사용자 또는 역할에 EKS, EC2, IAM, VPC 관련 권한이 충분히 부여되지 않으면 문제가 생길 수 있습니다. 특히 EKS Administrator와 유사한 관리자 권한을 가진 정책을 사용하거나, 필요한 최소 권한을 직접 설정해야 하죠. 저는 처음에 너무 최소 권한만 주려다가 여러 번 권한 에러를 만났습니다. 그럴 땐 일단 잠시 넓은 권한을 줘서 문제가 권한 때문인지 확인하고, 잘 되면 다시 최소 권한으로 조이는 방법을 썼어요.

    • 모듈 버전 충돌 또는 비호환성: Terraform AWS EKS 모듈은 빠르게 업데이트됩니다. 특정 Terraform 버전, AWS Provider 버전, EKS 클러스터 버전과의 호환성을 항상 확인해야 해요. Terraform Registry에서 해당 모듈의 Required Providers와 Requirements 섹션을 꼭 확인하세요. 버전이 맞지 않으면 예상치 못한 에러가 발생할 수 있거든요.

    • 노드 그룹의 인스턴스 타입/AMI 문제: EKS 워커 노드가 정상적으로 클러스터에 조인되지 않는 경우가 있습니다. 주로 EKS 버전과 호환되지 않는 AMI(Amazon Machine Image)를 사용했거나, 인스턴스 타입이 해당 리전에서 지원되지 않을 때 발생합니다. Terraform EKS 모듈은 기본적으로 EKS 최적화 AMI를 사용하지만, 사용자 지정 AMI를 사용할 경우 주의해야 합니다.

    검증 및 결과: 클러스터 확인하기

    Terraform apply가 성공적으로 완료되었다면, 이제 EKS 클러스터가 잘 배포되었는지 확인해볼 차례예요. 🎉

    1. Kubeconfig 설정

    먼저 outputs.tf에서 출력된 kubeconfig_command를 실행해서 kubectl이 EKS 클러스터에 접속할 수 있도록 설정합니다. 이 명령어를 실행하면 ~/.kube/config 파일이 업데이트될 겁니다.

    aws eks update-kubeconfig --region ap-northeast-2 --name my-prod-eks-cluster
    

    2. 노드 확인

    이제 kubectl 명령어로 클러스터 노드들을 확인해봅시다. 워커 노드들이 Ready 상태로 잘 올라와 있어야 합니다.

    kubectl get nodes
    
    NAME                                           STATUS   ROLES    AGE     VERSION
    ip-10-0-1-123.ap-northeast-2.compute.internal   Ready    <none>   5m20s   v1.28.x
    ip-10-0-2-234.ap-northeast-2.compute.internal   Ready    <none>   5m15s   v1.28.x
    ip-10-0-3-345.ap-northeast-2.compute.internal   Ready    <none>   5m10s   v1.28.x
    

    3. AWS Console에서 확인

    AWS Management Console(관리 콘솔)에 로그인해서 EKS 서비스로 이동하면, 방금 배포한 클러스터가 목록에 보일 거예요. 클러스터 이름을 클릭해서 상세 정보를 확인하고, 노드 그룹 탭에서 워커 노드들이 정상적으로 실행 중인지도 확인해볼 수 있습니다.

    AWS EKS 콘솔에서 배포된 클러스터와 노드 그룹의 상태를 확인하는 모습입니다.

    마무리, 그리고 다음 단계

    오늘은 Terraform AWS EKS 모듈을 활용해서 프로덕션 레디(Production-Ready) 쿠버네티스 클러스터를 배포하고 관리하는 방법을 자세히 알아봤습니다. 제가 직접 겪은 삽질 경험과 해결책도 함께 공유해드렸는데, 도움이 되셨으면 좋겠네요.

    Terraform EKS 모듈 덕분에 우리는 복잡한 EKS 인프라를 빠르고 안정적으로 구축할 수 있게 됐어요. IaC의 강력함을 다시 한번 느낄 수 있었던 경험이었죠. 처음엔 진입 장벽이 좀 있다고 느낄 수 있지만, 한번 익숙해지면 이만큼 편리한 게 없습니다. 정말 강력한 도구거든요.

    Terraform AWS EKS 모듈을 사용했을 때 얻을 수 있는 주요 이점들을 시각적으로 요약했습니다.

    다음 단계로는 이렇게 배포된 EKS 클러스터에 Ingress Controller(인그레스 컨트롤러, 외부 트래픽을 클러스터 내부 서비스로 라우팅), Cert-Manager(인증서 관리), Prometheus(프로메테우스, 모니터링 시스템) 같은 필수 애드온(Add-on)들을 Terraform으로 함께 배포하는 방법을 다뤄볼 예정이에요. 그리고 CI/CD 파이프라인(Continuous Integration/Continuous Deployment Pipeline, 지속적 통합/배포 파이프라인)과 연동해서 인프라 변경을 자동화하는 방법도 흥미로운 주제가 될 것 같습니다.

    궁금한 점이나 추가적인 삽질 경험이 있으시다면 댓글로 자유롭게 남겨주세요! 함께 고민하고 해결해나가는 게 인프라 엔지니어의 묘미 아니겠습니까? 😊

  • [Cloud] Terraform 멀티 클라우드 IaC 자동화 가이드 — AWS/GCP/Azure 통합 관리

    [Cloud] Terraform 멀티 클라우드 IaC 자동화 가이드 — AWS/GCP/Azure 통합 관리

    멀티 클라우드, 왜 이렇게 복잡한 걸까요?

    솔직히 말씀드리면, 저도 처음 멀티 클라우드 환경을 맡았을 때 머리가 좀 아팠습니다. AWS 콘솔 따로, GCP 콘솔 따로, Azure 포털 따로… 각각 로그인하고, 각각 다른 방식으로 리소스 만들고, 나중에 뭘 어디에 만들었는지 파악도 안 되는 그 상황 말이에요. 혹시 이런 경험 있으신가요?

    13년 동안 인프라 엔지니어로 일하면서 클라우드 환경이 단일 벤더에서 멀티 클라우드로 넘어가는 걸 직접 겪었는데요. 이게 비즈니스 연속성 확보나 벤더 종속(Vendor Lock-in) 방지 측면에서는 분명히 좋은 전략이에요. 근데 관리가 지옥이 되기 시작하거든요.

    그 해결책이 바로 Terraform 멀티 클라우드 IaC 자동화입니다. 오늘은 Terraform을 이용해서 AWS, GCP, Azure를 하나의 코드베이스로 관리하는 방법을 실제 경험 기반으로 풀어드릴게요.

    Terraform 멀티 클라우드 아키텍처 다이어그램 — AWS, GCP, Azure 동시 관리

    ▲ Terraform 하나로 AWS, GCP, Azure를 동시에 관리하는 멀티 클라우드 아키텍처 개요

    Terraform IaC가 뭔지 먼저 짚고 넘어가요

    IaC(Infrastructure as Code, 코드로 인프라를 정의하는 방식)는 이름 그대로 서버, 네트워크, 데이터베이스 같은 인프라를 코드 파일로 정의하고 버전 관리하는 방식입니다. 쉽게 말해, 클릭클릭으로 콘솔에서 만들던 걸 코드로 적어두는 거예요.

    Terraform은 HashiCorp가 만든 오픈소스 IaC 도구인데요. 가장 큰 장점이 프로바이더(Provider) 개념입니다. AWS용 프로바이더, GCP용 프로바이더, Azure용 프로바이더를 각각 선언하면, 하나의 Terraform 코드베이스에서 세 클라우드를 동시에 다룰 수 있어요. 이게 진짜 강력한 포인트예요.

    비교 항목 콘솔 수동 관리 Terraform IaC 자동화
    반복 작업 매번 클릭 필요 코드 한 번 작성 후 재사용
    버전 관리 불가능 (변경 이력 추적 어려움) Git으로 완전한 이력 관리
    멀티 클라우드 각 콘솔 별도 접근 필요 단일 코드베이스로 통합 관리
    팀 협업 “누가 뭘 만들었는지” 파악 어려움 코드 리뷰로 변경 사항 투명 공유
    재현성 동일 환경 재현 어려움 동일 코드로 동일 환경 재현 보장

    프로젝트 구조 잡기 — 이게 제일 중요합니다

    처음 멀티 클라우드 Terraform을 짤 때 가장 많이 실수하는 게 디렉토리 구조거든요. 저도 처음엔 파일 다 때려넣고 나중에 엉망이 돼서 처음부터 다시 짠 적이 있습니다. 클라우드별로 분리하고, 환경(dev/prod)별로도 분리하는 구조를 추천드려요.

    multi-cloud-infra/
    ├── modules/                    # 재사용 가능한 모듈 모음
    │   ├── aws/
    │   │   ├── vpc/
    │   │   │   ├── main.tf
    │   │   │   ├── variables.tf
    │   │   │   └── outputs.tf
    │   │   └── ec2/
    │   │       ├── main.tf
    │   │       ├── variables.tf
    │   │       └── outputs.tf
    │   ├── gcp/
    │   │   ├── vpc/
    │   │   └── compute/
    │   └── azure/
    │       ├── vnet/
    │       └── vm/
    ├── environments/
    │   ├── dev/
    │   │   ├── main.tf
    │   │   ├── variables.tf
    │   │   └── terraform.tfvars
    │   └── prod/
    │       ├── main.tf
    │       ├── variables.tf
    │       └── terraform.tfvars
    └── backend.tf                  # 원격 상태 저장소 설정
    

    💡 팁: modules 디렉토리에 클라우드별로 공통 모듈을 만들어두면, 나중에 환경을 추가할 때 모듈만 호출하면 되니까 진짜 편해요. 처음 구조 잡는 데 시간 좀 써도 나중에 열 배로 돌아옵니다.

    실전 구현 — Terraform 멀티 클라우드 프로바이더 설정부터

    자, 이제 실제로 코드를 작성해볼게요. 먼저 세 클라우드의 프로바이더를 한 파일에 선언하는 것부터 시작합니다.

    1단계: 프로바이더(Provider) 설정

    # providers.tf
    
    terraform {
      required_version = ">= 1.5.0"
    
      required_providers {
        aws = {
          source  = "hashicorp/aws"
          version = "~> 5.0"
        }
        google = {
          source  = "hashicorp/google"
          version = "~> 5.0"
        }
        azurerm = {
          source  = "hashicorp/azurerm"
          version = "~> 3.0"
        }
      }
    
      # 원격 백엔드 (Remote Backend) — 팀 협업 시 필수!
      backend "s3" {
        bucket         = "my-terraform-state-bucket"
        key            = "multi-cloud/terraform.tfstate"
        region         = "ap-northeast-2"
        encrypt        = true
        dynamodb_table = "terraform-state-lock"  # 상태 잠금(State Locking)용
      }
    }
    
    # AWS 프로바이더
    provider "aws" {
      region = var.aws_region
    
      default_tags {
        tags = {
          ManagedBy   = "Terraform"
          Environment = var.environment
          Project     = var.project_name
        }
      }
    }
    
    # GCP 프로바이더
    provider "google" {
      project = var.gcp_project_id
      region  = var.gcp_region
    }
    
    # Azure 프로바이더
    provider "azurerm" {
      features {}
      subscription_id = var.azure_subscription_id
    }
    

    여기서 중요한 포인트! 원격 백엔드(Remote Backend)는 팀으로 작업할 때 절대 빠지면 안 됩니다. 상태 파일(State File)을 로컬에 두면 팀원끼리 충돌이 생기거든요. 저도 초반에 이걸 몰라서 상태 파일 날려먹은 적이 있습니다.

    2단계: 변수 파일 설정

    # variables.tf
    
    variable "environment" {
      description = "배포 환경 (dev, staging, prod)"
      type        = string
      default     = "dev"
    }
    
    variable "project_name" {
      description = "프로젝트 이름"
      type        = string
    }
    
    # AWS 관련 변수
    variable "aws_region" {
      description = "AWS 리전"
      type        = string
      default     = "ap-northeast-2"  # 서울 리전
    }
    
    # GCP 관련 변수
    variable "gcp_project_id" {
      description = "GCP 프로젝트 ID"
      type        = string
    }
    
    variable "gcp_region" {
      description = "GCP 리전"
      type        = string
      default     = "asia-northeast3"  # 서울 리전
    }
    
    # Azure 관련 변수
    variable "azure_subscription_id" {
      description = "Azure 구독 ID"
      type        = string
      sensitive   = true  # 민감 정보 마스킹
    }
    
    variable "azure_location" {
      description = "Azure 지역"
      type        = string
      default     = "Korea Central"
    }
    
    Terraform 멀티 클라우드 프로바이더 설정 코드 — AWS GCP Azure 동시 구성

    ▲ 세 클라우드의 프로바이더를 하나의 코드베이스에서 관리하는 실제 구성 예시

    3단계: AWS VPC 모듈 작성

    # modules/aws/vpc/main.tf
    
    resource "aws_vpc" "main" {
      cidr_block           = var.vpc_cidr
      enable_dns_hostnames = true
      enable_dns_support   = true
    
      tags = {
        Name = "${var.project_name}-${var.environment}-vpc"
      }
    }
    
    resource "aws_subnet" "public" {
      count             = length(var.public_subnet_cidrs)
      vpc_id            = aws_vpc.main.id
      cidr_block        = var.public_subnet_cidrs[count.index]
      availability_zone = var.availability_zones[count.index]
    
      map_public_ip_on_launch = true
    
      tags = {
        Name = "${var.project_name}-public-subnet-${count.index + 1}"
        Type = "Public"
      }
    }
    
    resource "aws_internet_gateway" "main" {
      vpc_id = aws_vpc.main.id
    
      tags = {
        Name = "${var.project_name}-igw"
      }
    }
    

    4단계: GCP VPC 네트워크 모듈

    # modules/gcp/vpc/main.tf
    
    resource "google_compute_network" "main" {
      name                    = "${var.project_name}-${var.environment}-vpc"
      auto_create_subnetworks = false  # 커스텀 서브넷 사용
      project                 = var.project_id
    }
    
    resource "google_compute_subnetwork" "main" {
      name          = "${var.project_name}-subnet"
      ip_cidr_range = var.subnet_cidr
      region        = var.region
      network       = google_compute_network.main.id
      project       = var.project_id
    
      # Private Google Access — GCP 내부 서비스 접근용
      private_ip_google_access = true
    }
    
    # 방화벽 규칙 (Firewall Rule)
    resource "google_compute_firewall" "allow_internal" {
      name    = "${var.project_name}-allow-internal"
      network = google_compute_network.main.name
      project = var.project_id
    
      allow {
        protocol = "tcp"
        ports    = ["0-65535"]
      }
    
      allow {
        protocol = "udp"
        ports    = ["0-65535"]
      }
    
      allow {
        protocol = "icmp"
      }
    
      source_ranges = [var.subnet_cidr]
    }
    

    5단계: Azure VNet 모듈

    # modules/azure/vnet/main.tf
    
    resource "azurerm_resource_group" "main" {
      name     = "${var.project_name}-${var.environment}-rg"
      location = var.location
    
      tags = {
        ManagedBy   = "Terraform"
        Environment = var.environment
      }
    }
    
    resource "azurerm_virtual_network" "main" {
      name                = "${var.project_name}-vnet"
      address_space       = [var.vnet_cidr]
      location            = azurerm_resource_group.main.location
      resource_group_name = azurerm_resource_group.main.name
    }
    
    resource "azurerm_subnet" "main" {
      name                 = "${var.project_name}-subnet"
      resource_group_name  = azurerm_resource_group.main.name
      virtual_network_name = azurerm_virtual_network.main.name
      address_prefixes     = [var.subnet_cidr]
    }
    
    # NSG (Network Security Group, 네트워크 보안 그룹)
    resource "azurerm_network_security_group" "main" {
      name                = "${var.project_name}-nsg"
      location            = azurerm_resource_group.main.location
      resource_group_name = azurerm_resource_group.main.name
    }
    

    6단계: 환경별 메인 파일에서 모듈 호출

    # environments/dev/main.tf
    
    # AWS 모듈 호출
    module "aws_vpc" {
      source = "../../modules/aws/vpc"
    
      project_name         = var.project_name
      environment          = var.environment
      vpc_cidr             = "10.0.0.0/16"
      public_subnet_cidrs  = ["10.0.1.0/24", "10.0.2.0/24"]
      availability_zones   = ["ap-northeast-2a", "ap-northeast-2c"]
    }
    
    # GCP 모듈 호출
    module "gcp_vpc" {
      source = "../../modules/gcp/vpc"
    
      project_name = var.project_name
      environment  = var.environment
      project_id   = var.gcp_project_id
      region       = var.gcp_region
      subnet_cidr  = "10.1.0.0/16"
    }
    
    # Azure 모듈 호출
    module "azure_vnet" {
      source = "../../modules/azure/vnet"
    
      project_name = var.project_name
      environment  = var.environment
      location     = var.azure_location
      vnet_cidr    = "10.2.0.0/16"
      subnet_cidr  = "10.2.1.0/24"
    }
    

    ⚠️ 삽질 포인트 — 이것만 조심하세요

    제가 멀티 클라우드 Terraform 구축하면서 진짜 고생했던 부분들을 공유드릴게요. 여러분은 같은 실수 안 하셨으면 해서요.

    문제 1: 인증 정보 관리

    각 클라우드마다 인증 방식이 달라서 처음엔 환경변수를 어디다 어떻게 설정해야 하는지 헷갈렸습니다. 절대 코드에 크리덴셜(Credential, 인증 정보)을 하드코딩하지 마세요!

    # AWS 인증 — AWS CLI 프로파일 사용 권장
    export AWS_PROFILE=my-profile
    # 또는 환경변수로
    export AWS_ACCESS_KEY_ID="your-access-key"
    export AWS_SECRET_ACCESS_KEY="your-secret-key"
    
    # GCP 인증 — 서비스 계정 키 파일 사용
    export GOOGLE_APPLICATION_CREDENTIALS="/path/to/service-account.json"
    # 또는 gcloud CLI 인증
    gcloud auth application-default login
    
    # Azure 인증 — Service Principal 사용
    export ARM_CLIENT_ID="your-client-id"
    export ARM_CLIENT_SECRET="your-client-secret"
    export ARM_TENANT_ID="your-tenant-id"
    export ARM_SUBSCRIPTION_ID="your-subscription-id"
    

    💡 팁: CI/CD 파이프라인에서는 각 클라우드의 OIDC(OpenID Connect) 방식 인증을 사용하면 시크릿 관리가 훨씬 깔끔해집니다. GitHub Actions랑 연동하면 특히 좋아요.

    문제 2: 상태 파일(State File) 충돌

    팀원이 동시에 terraform apply 돌리면 상태 파일이 꼬입니다. 이게 진짜 무서운 상황이에요. DynamoDB 테이블로 상태 잠금(State Locking)을 반드시 설정하세요.

    # 상태 잠금용 DynamoDB 테이블 생성
    resource "aws_dynamodb_table" "terraform_state_lock" {
      name           = "terraform-state-lock"
      billing_mode   = "PAY_PER_REQUEST"
      hash_key       = "LockID"
    
      attribute {
        name = "LockID"
        type = "S"
      }
    
      tags = {
        Name = "Terraform State Lock Table"
      }
    }
    

    문제 3: 프로바이더 버전 충돌

    이거 진짜 골치 아팠는데요. required_providers에 버전 범위를 명확히 지정하지 않으면 팀원마다 다른 버전이 설치돼서 동작이 달라지는 일이 생겨요. 반드시 .terraform.lock.hcl 파일을 Git에 커밋하세요. 이게 npm의 package-lock.json 같은 역할을 합니다.

    # 프로바이더 초기화 및 잠금 파일 생성
    terraform init
    
    # 잠금 파일 확인
    cat .terraform.lock.hcl
    
    # 잠금 파일을 Git에 커밋
    git add .terraform.lock.hcl
    git commit -m "chore: update terraform provider lock file"
    

    배포 및 결과 검증

    드디어 실제 배포 단계입니다! Terraform의 기본 워크플로우는 init → plan → apply 순서로 진행됩니다.

    # 1. 초기화 (프로바이더 다운로드)
    terraform init
    
    # 2. 플랜 확인 — 실제로 뭐가 만들어질지 미리 보기
    terraform plan -var-file="terraform.tfvars" -out=tfplan
    
    # 3. 플랜 파일 내용 사람이 읽을 수 있게 출력
    terraform show -json tfplan | jq '.'
    
    # 4. 실제 적용!
    terraform apply tfplan
    
    # 5. 결과 확인
    terraform output
    
    # 6. 상태 파일에서 특정 리소스 확인
    terraform state list
    terraform state show module.aws_vpc.aws_vpc.main
    

    🎉 apply가 성공하면 이런 출력이 나옵니다:

    Apply complete! Resources: 15 added, 0 changed, 0 destroyed.
    
    Outputs:
    
    aws_vpc_id = "vpc-0a1b2c3d4e5f67890"
    aws_public_subnet_ids = [
      "subnet-0a1b2c3d4e5f67891",
      "subnet-0a1b2c3d4e5f67892",
    ]
    gcp_network_id = "projects/my-project/global/networks/myproject-dev-vpc"
    azure_vnet_id = "/subscriptions/.../resourceGroups/myproject-dev-rg/providers/Microsoft.Network/virtualNetworks/myproject-vnet"
    
    Terraform apply 성공 결과 화면 — 멀티 클라우드 리소스 동시 프로비저닝 완료

    ▲ terraform apply 성공 시 세 클라우드에 동시 프로비저닝된 결과 화면

    Terraform 멀티 클라우드 자동화 — 한 단계 더 나아가기

    여기까지 기본 구조를 잡았다면, 이제 실제 팀 환경에서 쓸 수 있는 수준으로 올려야죠. 제가 실제로 도입해서 효과 본 것들을 공유드릴게요.

    Terragrunt로 반복 코드 줄이기

    Terragrunt는 Terraform의 래퍼(Wrapper) 도구인데요. 환경별로 반복되는 backend 설정이나 공통 변수를 DRY(Don’t Repeat Yourself, 반복하지 않기) 원칙에 맞게 관리할 수 있게 해줍니다. 규모가 커지면 진짜 필요해져요.

    CI/CD 파이프라인 연동

    GitHub Actions나 GitLab CI와 연동해서 PR(Pull Request) 올릴 때 자동으로 terraform plan 결과를 코멘트로 달아주는 워크플로우를 구성하면, 코드 리뷰 단계에서 인프라 변경 사항을 팀 전체가 확인할 수 있어요. 이거 도입하고 나서 팀 내 사고가 확 줄었습니다.

    # .github/workflows/terraform.yml
    name: Terraform CI/CD
    
    on:
      pull_request:
        branches: [main]
      push:
        branches: [main]
    
    jobs:
      terraform:
        name: Terraform Plan & Apply
        runs-on: ubuntu-latest
        
        permissions:
          id-token: write   # OIDC 인증용
          contents: read
          pull-requests: write
    
        steps:
          - name: Checkout
            uses: actions/checkout@v4
    
          - name: Setup Terraform
            uses: hashicorp/setup-terraform@v3
            with:
              terraform_version: "1.6.0"
    
          - name: Configure AWS Credentials (OIDC)
            uses: aws-actions/configure-aws-credentials@v4
            with:
              role-to-assume: arn:aws:iam::123456789012:role/GitHubActionsRole
              aws-region: ap-northeast-2
    
          - name: Terraform Init
            run: terraform init
            working-directory: environments/dev
    
          - name: Terraform Plan
            id: plan
            run: terraform plan -no-color
            working-directory: environments/dev
    
          - name: Comment PR with Plan
            uses: actions/github-script@v7
            if: github.event_name == 'pull_request'
            with:
              script: |
                const output = `#### Terraform Plan 결과 🗺️
                \`\`\`\n${{ steps.plan.outputs.stdout }}\n\`\`\`
                `;
                github.rest.issues.createComment({
                  issue_number: context.issue.number,
                  owner: context.repo.owner,
                  repo: context.repo.repo,
                  body: output
                })
    
          - name: Terraform Apply
            if: github.ref == 'refs/heads/main'
            run: terraform apply -auto-approve
            working-directory: environments/dev
    
    Terraform 멀티 클라우드 IaC 자동화 베스트 프랙티스 — 코드에서 배포까지 워크플로우 요약

    ▲ Terraform 멀티 클라우드 IaC 자동화 베스트 프랙티스 요약 — 코드부터 배포까지의 전체 워크플로우

    자주 묻는 질문 (FAQ)

    Q. Terraform Cloud를 써야 하나요, 아니면 자체 백엔드로 충분한가요?

    소규모 팀이라면 S3 + DynamoDB 조합의 자체 백엔드로 충분합니다. 팀이 커지거나 RBAC(역할 기반 접근 제어), 정책 관리가 필요해지면 HCP Terraform(구 Terraform Cloud) 유료 플랜을 고려해볼 만해요.

    Q. 각 클라우드 인증 정보를 어떻게 안전하게 관리하나요?

    CI/CD 환경에서는 각 클라우드의 OIDC 연동을 추천드립니다. 로컬 개발 환경에서는 각 클라우드 CLI 도구의 프로파일 기능을 활용하고, 절대 코드나 tfvars 파일에 시크릿을 하드코딩하지 마세요.

    Q. 멀티 클라우드에서 네트워크를 연결하려면 어떻게 하나요?

    VPN Gateway나 클라우드 간 피어링 서비스를 사용해야 하는데, 이 부분은 별도 글에서 자세히 다룰 예정이에요. 각 클라우드의 VPN 리소스도 Terraform으로 코드화할 수 있습니다.

    마무리 — Terraform 멀티 클라우드, 이제 시작해보세요

    처음 멀티 클라우드 Terraform 구조를 잡을 때는 진짜 막막했는데, 이제 돌아보면 이게 없던 시절로 돌아가기 싫을 만큼 편해졌습니다. 코드로 모든 인프라가 관리되니까 감사 추적(Audit Trail)도 되고, 실수로 뭔가 지워도 코드로 복구할 수 있고, 팀 온보딩도 훨씬 수월해졌어요.

    오늘 다룬 내용을 정리하면:

    • ✅ 프로젝트 구조: 클라우드별, 환경별 디렉토리 분리
    • ✅ 프로바이더 설정: AWS, GCP, Azure를 단일 코드베이스에서 선언
    • ✅ 모듈화: 재사용 가능한 모듈로 반복 코드 제거
    • ✅ 원격 백엔드: 상태 파일 중앙화 및 잠금 설정
    • ✅ CI/CD 연동: GitHub Actions로 자동화 파이프라인 구성

    다음 글에서는 Terraform 모듈 레지스트리 활용법과 실제 프로덕션 환경에서 쓰는 보안 설정들을 다뤄볼 예정이에요. 이전 글에서 Kubernetes 클러스터 구성을 다뤘으니 함께 참고하시면 더 좋을 것 같습니다.

    궁금한 점이나 다른 삽질 경험 있으시면 댓글로 공유해주세요. 같이 고민해봐요! 🎉