13년차의 서버실

서버, 인프라, 홈랩 기술 블로그

[태그:] Infrastructure

  • [k8s] Kubernetes 리소스 최적화 체크리스트: Karpenter로 클라우드 비용 절감하기

    [k8s] Kubernetes 리소스 최적화 체크리스트: Karpenter로 클라우드 비용 절감하기

    Kubernetes 리소스 최적화 체크리스트: Karpenter로 클라우드 비용 절감하기

    안녕하세요, 13년차 서버실 지킴이, 인프라 엔지니어입니다.
    오늘은 Kubernetes(쿠버네티스) 환경에서 Karpenter(카펜터)를 쓰시는 분들이라면 꼭 한번쯤 겪어보셨을 ‘리소스 최적화’에 대한 이야기를 해볼게요. 특히 Karpenter처럼 비용 효율을 극대화할 수 있는 오토스케일링 도구를 사용 중이라면, Pod(파드)의 리소스 요청(requests)과 제한(limits) 설정에 따라 비용이 천차만별로 달라지거든요. 저도 홈랩에서 Karpenter를 굴리면서 삽질을 좀 했었죠. 처음엔 그냥 대충 설정했다가 불필요한 노드들이 마구 스케일업 되는 걸 보고 깜짝 놀랐습니다. “아, 이거 뭔가 잘못됐구나!” 싶었어요. 그래서 오늘은 Karpenter의 효율을 최대한 끌어올리기 위한 Kubernetes 리소스 최적화 체크리스트를 공유해보겠습니다.

    쿠버네티스 파드 리소스 요청에 따른 카펜터 오토스케일링 개념도

    파드 리소스 설정에 따라 Karpenter가 노드를 어떻게 스케일링하는지 보여주는 개념도입니다.

    개념 설명: Requests와 Limits, 그리고 Kubernetes 리소스 최적화

    Kubernetes에서 Pod의 리소스 설정은 크게 두 가지로 나뉩니다.

    • Requests (요청): Pod가 스케줄링될 때 필요한 최소한의 리소스 양이에요. 스케줄러는 이 requests 값을 기준으로 Pod를 어느 노드에 배치할지 결정합니다. 즉, Pod가 안정적으로 시작하고 실행될 수 있는 ‘보장된’ 리소스죠. 만약 노드에 이만큼의 리소스 여유가 없으면 Pod는 스케줄링이 안 되고 Pending 상태로 머물게 됩니다.
    • Limits (제한): Pod가 사용할 수 있는 최대 리소스 양을 의미해요. limits를 설정하면 Pod가 이 값을 초과하여 리소스를 사용하는 것을 막을 수 있습니다. 예를 들어, CPU limits를 설정하면 Pod가 해당 CPU 코어 이상을 사용하지 못하게 OS 레벨에서 제한하고, 메모리 limits를 초과하면 OOMKilled(Out Of Memory Killed)되어 Pod가 재시작될 수 있으니까요.

    Karpenter는 바로 이 requests 값을 기반으로 노드를 프로비저닝(provisioning)합니다. 만약 Pod들이 요청하는 리소스가 너무 적거나, 아예 requests를 설정하지 않으면 Karpenter는 최적의 노드 타입을 찾기 어려워하거나, 너무 작은 노드를 프로비저닝해서 Pod들이 제대로 실행되지 못하게 될 수 있어요. 반대로 requests가 너무 높으면 불필요하게 큰 노드들이 프로비저닝되어 비용이 낭비될 수밖에 없죠.

    저 홈랩에서 겪었던 대표적인 삽질이 바로 이 requests 값 설정 미스였어요. Pod들이 필요한 리소스는 꽤 되는데 requests를 너무 낮게 잡았더니, Karpenter가 작은 노드를 띄우고 Pod들이 노드에서 CPU Throttling(쓰로틀링, CPU 사용량 제한)에 걸리거나 OOMKilled 되는 일이 빈번했습니다. 결국 노드가 계속 스케일업 되면서 비용만 더 나가는 상황이 발생하더라고요.

    Karpenter 효율 극대화를 위한 리소스 최적화 체크리스트

    자, 그럼 본론으로 들어가서 Karpenter와 Kubernetes 리소스를 효율적으로 관리하기 위한 체크리스트를 하나씩 짚어볼게요.

    1. 모든 컨테이너에 requests 설정하기 (필수!) 💡

    가장 기본적인 원칙이자 제가 가장 강조하는 부분입니다. 모든 컨테이너에는 requests를 명시적으로 설정해야 해요. limits는 선택 사항일 수 있지만, requests는 반드시 있어야 Karpenter가 노드 용량을 정확하게 예측하고 효율적인 노드를 스케일링할 수 있습니다. requests가 없으면 Kubernetes는 기본적으로 Pod가 노드의 모든 리소스를 요청한다고 간주하거나, 아예 스케줄링 판단을 내리기 어려워집니다.

    # Pod 리소스 요청(requests)과 제한(limits) 예시
    apiVersion: v1
    kind: Pod
    metadata:
      name: my-app-pod
    spec:
      containers:
      - name: my-app-container
        image: my-repo/my-app:latest
        resources:
          requests:
            cpu: "200m"  # 0.2 vCPU 요청
            memory: "256Mi" # 256 MiB 메모리 요청
          limits:
            cpu: "500m"  # 0.5 vCPU 제한 (선택 사항)
            memory: "512Mi" # 512 MiB 메모리 제한 (선택 사항)
    

    Kubernetes Pod 정의에서 resources.requests를 명시하는 YAML 예시입니다.

    쿠버네티스 파드 리소스 요청(requests) 및 제한(limits) 적용 개념도

    Kubernetes 파드 리소스 요청(requests) 및 제한(limits) 적용 개념도입니다.

    여기서 200m는 0.2 CPU 코어를 의미하고, 256Mi는 256 메비바이트(MiB)를 의미해요. ‘m’은 밀리코어(millicore), ‘Mi’는 메비바이트입니다. 이 단위를 정확히 아는 게 중요하더라고요. 저도 처음엔 MB랑 MiB가 같은 건 줄 알았다가 삽질했었죠.

    2. requests는 실제 평균 사용량에 가깝게 설정하기 ✅

    requests는 Pod가 안정적으로 동작하는 데 필요한 최소한의 리소스여야 합니다. 너무 낮게 설정하면 Pod가 스케줄링되더라도 리소스 부족으로 성능 저하를 겪거나 OOMKilled될 수 있어요. 반대로 너무 높게 설정하면 Karpenter가 필요 이상으로 큰 노드를 프로비저닝해서 비용 낭비로 이어지니까요.

    팁: Pod의 실제 리소스 사용량을 모니터링하세요. Prometheus(프로메테우스) + Grafana(그라파나) 조합으로 Pod의 CPU 및 메모리 사용량 추이를 확인하고, 평균 사용량에 약간의 버퍼를 더한 값으로 requests를 설정하는 게 좋습니다.

    # 특정 Pod의 리소스 사용량 확인 (metrics-server 설치 필수)
    # 현재 CPU, Memory 사용량은 확인할 수 있지만, 과거 트렌드는 모니터링 툴로 봐야 합니다.
    kubectl top pod <pod-name> -n <namespace> --containers
    
    # 예시:
    # kubectl top pod my-app-pod-abcde -n default --containers
    # CONTAINER      CPU(cores)   MEMORY(bytes)
    # my-app-container   120m         180Mi
    

    kubectl top pod 명령어로 특정 파드의 현재 리소스 사용량을 확인하는 예시입니다.

    3. CPU Limits는 신중하게 설정하기 ⚠️

    CPU Limits는 조금 복잡한 이야기네요. CPU는 ‘압축 가능한(compressible)’ 리소스라서, limits를 넘어도 Pod가 바로 죽는 대신 CPU 스케줄러에 의해 사용량이 제한(throttling)됩니다. 문제는 이 CPU 스로틀링이 애플리케이션의 응답 시간을 지연시키거나 성능 문제를 일으킬 수 있다는 점이에요.

    • CPU Limits를 requests와 동일하게 설정: 가장 안전한 방법입니다. Pod가 요청한 만큼만 CPU를 사용하도록 제한하여 다른 Pod에 영향을 주지 않죠. 하지만 버스트(burst) 성능이 필요한 경우 불리할 수 있습니다.
    • CPU Limits를 requests보다 높게 설정: Pod가 requests 이상으로 CPU를 사용할 수 있도록 여유를 줍니다. 버스트 성능이 중요하거나, 평소에는 CPU 사용량이 낮지만 가끔 순간적으로 높아지는 애플리케이션에 적합해요. 이 경우, 노드의 전체 CPU 사용량이 높아지면 특정 Pod들이 CPU 스로틀링을 겪을 가능성이 있습니다.
    • CPU Limits를 아예 설정하지 않음: Pod가 노드의 남은 CPU 리소스를 최대한 활용할 수 있으니까요. 이는 CPU 사용량이 예측 불가능하거나 매우 동적인 워크로드에 유리할 수 있지만, 특정 Pod가 다른 Pod의 성능에 영향을 줄 수 있는 위험이 있습니다.

    제 경험상, 대부분의 웹 서비스나 API 서버는 CPU Limits를 requests보다 조금 높게 설정하거나 아예 설정하지 않는 게 더 나았어요. 하지만 배치 작업이나 CPU 집약적인 워크로드는 다른 Pod에 영향을 주지 않도록 requests와 limits를 동일하게 설정하는 게 좋더라고요. 결국 워크로드의 특성을 이해하고 트레이드오프(trade-off)를 고려해야 합니다.

    설정 방식 장점 단점 권장 워크로드
    requests == limits 리소스 사용 예측 가능
    CPU 스로틀링 예측 가능
    버스트 성능 제한 CPU 집약적 배치, 예측 가능한 워크로드
    requests < limits 버스트 성능 허용
    평균 사용량 최적화
    노드 과부하 시 스로틀링 가능성
    리소스 사용량 예측 어려움
    웹 서비스, API 서버 (간헐적 트래픽 증가)
    limits 미설정 최대 성능 활용
    유연한 리소스 사용
    특정 Pod의 노드 CPU 독점 가능성
    스케줄링 불확실성 증가
    탐색적 분석, 개발 환경, CPU 사용량 예측 불가능한 워크로드

    CPU 요청(requests)과 제한(limits) 설정 방식에 따른 장단점 및 권장 워크로드를 비교한 표입니다.

    4. Memory Limits는 항상 설정하기 (매우 중요!) ⚠️

    메모리는 ‘압축 불가능한(non-compressible)’ 리소스에요. Memory Limits를 초과하면 Pod는 즉시 OOMKilled되어 재시작됩니다. 이는 서비스 가용성에 직접적인 영향을 미치죠. 따라서 Memory Limits는 항상 설정하는 걸 권장합니다.

    Memory Limits는 Pod가 최대로 사용할 수 있는 메모리 양에 약간의 여유를 더한 값으로 설정하는 게 좋아요. 만약 requests와 limits를 동일하게 설정하면 Pod가 예상치 못한 메모리 스파이크(spike)에 취약해질 수 있거든요. 저도 처음엔 requests와 limits를 동일하게 설정했다가, 순간적인 메모리 사용량 증가로 Pod가 계속 죽는 경험을 했었어요. 로그를 보니 OOMKilled가 찍혀있더군요. 결국 limits를 requests보다 넉넉하게 설정해서 해결했습니다.

    5. Namespace(네임스페이스)별 LimitRange 활용 고려

    만약 클러스터에 배포되는 모든 Pod에 일일이 requests와 limits를 설정하기 어렵다면, LimitRange 리소스를 활용하는 것도 좋은 방법입니다. LimitRange는 특정 네임스페이스 내에서 Pod의 기본 리소스 requests/limits를 설정하거나, 최소/최대 값을 강제할 수 있으니까요.

    # LimitRange 예시
    apiVersion: v1
    kind: LimitRange
    metadata:
      name: pod-resource-limits
    spec:
      limits:
      - default:
          cpu: 500m
          memory: 512Mi
        defaultRequest:
          cpu: 100m
          memory: 128Mi
        type: Container
    

    LimitRange를 사용하여 네임스페이스 내 컨테이너의 기본 리소스 요청/제한을 설정하는 YAML 예시입니다.

    이렇게 설정하면 해당 네임스페이스에 배포되는 Pod들은 별도의 resources 설정을 하지 않아도 defaultRequest와 default 값이 자동으로 적용됩니다. 물론, Pod 자체에서 resources를 명시하면 그 값이 우선합니다.

    6. HPA(Horizontal Pod Autoscaler)와 함께 사용 시 유의점

    HPA는 Pod의 CPU/메모리 사용량이나 커스텀 지표를 기반으로 Pod의 개수를 자동으로 조절해요. 여기서 CPU 사용량 기반 HPA는 Pod의 requests.cpu 값을 기준으로 동작합니다. 예를 들어, HPA 설정에서 targetCPUUtilizationPercentage: 80으로 지정했다면, Pod의 실제 CPU 사용량이 requests.cpu의 80%를 초과할 때 스케일 아웃(scale-out)이 발생하죠.

    만약 requests.cpu를 너무 낮게 설정하면, Pod의 실제 CPU 사용량이 낮더라도 requests 대비 높은 비율로 계산되어 불필요하게 HPA가 스케일 아웃을 유발할 수 있어요. 반대로 너무 높게 설정하면, 실제 Pod가 힘들게 일하고 있어도 requests 대비 낮은 비율로 계산되어 스케일 아웃이 늦어질 수 있습니다.

    이 때문에 requests.cpu는 Pod의 실제 부하 패턴을 잘 반영하는 값으로 설정하는 게 중요합니다.

    검증 및 결과 확인

    자, 이렇게 Kubernetes 리소스 설정을 최적화했다면, 실제로 Karpenter가 효율적으로 노드를 스케일링하고 있는지, Pod들이 안정적으로 동작하는지 확인해야겠죠?

    1. Karpenter 노드 프로비저닝 확인: kubectl get nodes 명령어로 노드들이 예상했던 인스턴스 타입으로, 필요한 만큼만 프로비저닝되었는지 확인합니다.
    2. Pod 상태 확인: kubectl get pods로 모든 Pod가 Running 상태인지, OOMKilled나 CrashLoopBackOff 같은 문제가 없는지 확인해요.
    3. 리소스 사용량 모니터링: Prometheus, Grafana 등을 통해 Pod들의 CPU/메모리 사용량, 스로틀링 발생 여부 등을 지속적으로 모니터링합니다. 특히 노드의 Allocatable(할당 가능) 리소스와 Pod들의 requests 합계를 비교하여 노드 활용률을 확인하는 게 중요합니다.
    4. 비용 절감 효과 측정: 클라우드 비용 청구서를 통해 이전과 비교하여 실제 비용이 얼마나 절감되었는지 확인하는 게 가장 확실한 지표입니다.
    Grafana 대시보드에서 파드 및 노드 리소스 사용량과 Karpenter 스케일링 결과 모니터링 화면

    최적화 후 Grafana 대시보드에서 파드 및 노드의 리소스 사용량과 Karpenter 스케일링 결과를 확인하는 모습입니다.

    마무리

    오늘은 Karpenter의 효율을 극대화하기 위한 Kubernetes 리소스 요청/제한 최적화 체크리스트를 살펴봤습니다. 13년차 인프라 엔지니어로 제가 직접 겪었던 삽질과 해결 경험을 바탕으로 이야기해드렸는데, 도움이 되셨으면 좋겠네요.

    결론적으로, Karpenter와 같은 오토스케일링 도구의 진정한 가치를 끌어내려면 Pod의 requests와 limits 설정을 제대로 이해하고, 워크로드의 특성에 맞춰 세밀하게 튜닝하는 과정이 필수적입니다.

    • requests는 모든 컨테이너에 반드시 설정하고, 실제 평균 사용량에 가깝게 맞춰야 해요.
    • Memory Limits는 항상 설정하여 OOMKilled를 방지하고, requests보다 넉넉하게 주는 게 좋습니다.
    • CPU Limits는 워크로드 특성을 고려하여 신중하게 설정해야 합니다. 버스트 성능이 중요하다면 requests보다 높게, 안정성이 우선이라면 requests와 동일하게 설정하는 것을 고려해보세요.

    이러한 최적화 작업을 통해 불필요한 노드 스케일업을 줄이고, 클라우드 비용을 절감하면서도 안정적인 서비스를 운영할 수 있을 거예요. 당장 눈에 띄는 효과는 없을지라도, 꾸준히 모니터링하고 튜닝하는 노력이 결국 큰 비용 절감으로 이어질 거라고 확신합니다. 여러분의 Kubernetes 클러스터 운영에 이 글이 작은 도움이 되었으면 좋겠습니다! 다음에는 Karpenter NodePool(노드풀) 전략에 대해 좀 더 깊이 있게 다뤄보겠습니다.

    Kubernetes 리소스 최적화 및 Karpenter 효율성 향상 핵심 체크리스트 인포그래픽

    Kubernetes 리소스 최적화 및 Karpenter 효율성 향상을 위한 핵심 체크리스트 요약 인포그래픽입니다.

  • [Kubernetes] ConfigMap 운영 중 흔히 겪는 문제와 해결 전략

    [Kubernetes] ConfigMap 운영 중 흔히 겪는 문제와 해결 전략

    [Kubernetes] ConfigMap 운영 중 흔히 겪는 문제와 해결 전략

    Kubernetes ConfigMap 문제 해결은 운영하다 보면 한 번쯤 꼭 붙잡게 되는 주제예요. 배포는 멀쩡히 끝났는데 환경 변수는 안 바뀌어 있고, YAML은 분명 맞는 것 같은데 애플리케이션이 예전 설정으로 뜨는 경우가 정말 많더라고요. 저도 처음엔 이게 뭔가 싶었거든요. 특히 홈랩에서 여러 서비스를 굴리면서 ConfigMap(컨피그맵, 설정 데이터를 담는 리소스)과 Secret(시크릿, 민감 정보 저장 리소스)을 섞어 쓰다 보니 어디서 꼬였는지 찾는 데 정말 시간이 걸렸어요. 이번 글에서는 제가 실제로 자주 봤던 ConfigMap 업데이트 이슈, 환경 변수 미적용 문제, 설정 오류 디버깅 흐름을 기준으로 정리해보겠습니다.

    핵심만 먼저 말씀드리면 이렇습니다. ConfigMap이 바뀌었다고 해서 모든 Pod(파드, 컨테이너 실행 단위)가 자동으로 기대한 방식으로 반영되지는 않습니다. 값을 어떤 방식으로 주입했는지에 따라 반영 방식이 다르고, 애플리케이션이 설정 재로딩(reload, 설정 다시 읽기)을 지원하는지도 함께 봐야 하거든요. 여기서 중요한 포인트! Kubernetes 자체 문제처럼 보여도 실제 원인은 애플리케이션 기동 방식이나 Deployment(디플로이먼트, 배포 리소스) 선언에 있는 경우가 정말 많아요.

    ConfigMap이 Pod에 주입되는 경로와, 업데이트 후 반영 지점을 한눈에 보여주는 개요 다이어그램입니다.

    1. 왜 ConfigMap 문제가 자주 생길까

    쉽게 말해 ConfigMap은 애플리케이션 이미지와 설정을 분리하려고 쓰는 도구예요. 이미지 자체를 다시 빌드하지 않고도 환경별 설정을 바꿀 수 있으니 정말 편하죠. 그런데 편한 만큼 함정도 있어요.

    • 환경 변수(env)로 주입했는지, 파일(volume)로 마운트했는지에 따라 동작이 달라집니다.
    • 애플리케이션이 시작할 때만 설정을 읽는지, 실행 중 재로딩을 지원하는지 다릅니다.
    • YAML 들여쓰기나 키 이름 오타처럼 아주 사소한 실수도 바로 장애로 이어져요.
    • 운영 중에는 여러 팀이 같은 설정을 만지다 보니 변경 이력 추적도 중요해집니다.

    실제로 써보니까 ConfigMap은 단순한 설정 저장소가 아니라, 배포 전략과 디버깅 방식까지 같이 설계해야 하는 운영 요소였어요. 처음에는 그냥 값만 넣으면 끝인 줄 알았는데, 나중에 보니 반영 타이밍 때문에 삽질 좀 했습니다 ㅎㅎ

    2. ConfigMap 개념 설명: 어디에 쓰는가

    ConfigMap은 문자열 기반 설정 데이터를 Kubernetes 클러스터 안에서 관리하기 위한 리소스예요. 보통 다음 두 가지 방식으로 많이 써요.

    주입 방식 설명 운영 시 주의점
    환경 변수(Environment Variables) 컨테이너 시작 시 값을 환경 변수로 주입 대체로 Pod 재시작 없이는 값 변경 체감이 어려워요
    볼륨 마운트(Volume Mount) ConfigMap 내용을 파일 형태로 컨테이너 내부에 제공 파일이 갱신돼도 애플리케이션이 재로딩하지 않으면 반영이 안 될 수 있어요

    여기서 많이 헷갈리는 부분이 있어요. ConfigMap 업데이트와 애플리케이션 설정 반영은 같은 일이 아닙니다. Kubernetes 입장에서는 데이터를 바꿨을 뿐이고, 그걸 애플리케이션이 언제 다시 읽을지는 별개의 문제거든요. 저도 처음엔 kubectl로 ConfigMap만 바꿔놓고 왜 서비스 동작이 그대로인지 한참 봤었어요.

    자주 쓰는 예시 ConfigMap

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: app-config
    data:
      APP_MODE: "production"
      LOG_LEVEL: "info"
      app.properties: |
        server.port=8080
        feature.toggle=true
    

    위 예시처럼 간단한 key-value도 넣을 수 있고, 설정 파일 전체를 문자열로 넣을 수도 있어요. 운영에서는 둘 다 많이 써요.

    3. 실전 구현: ConfigMap 생성과 Pod 연결

    이제 실전으로 가봅시다. Kubernetes ConfigMap 문제 해결의 시작은 항상 현재 어떤 방식으로 연결되어 있는지 확인하는 것이에요. 환경 변수인지, 파일 마운트인지, 둘 다인지 먼저 봐야 한다는 뜻입니다.

    3-1. ConfigMap 생성

    kubectl create configmap app-config \
      --from-literal=APP_MODE=production \
      --from-literal=LOG_LEVEL=info

    또는 선언형으로 관리하려면 YAML 파일을 두고 적용하는 방식이 더 좋아요. GitOps(깃옵스, Git 기반 운영) 흐름에도 잘 맞고요.

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: app-config
    data:
      APP_MODE: "production"
      LOG_LEVEL: "info"
    
    kubectl apply -f configmap.yaml

    3-2. 환경 변수로 주입

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: demo-app
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: demo-app
      template:
        metadata:
          labels:
            app: demo-app
        spec:
          containers:
            - name: app
              image: nginx
              env:
                - name: APP_MODE
                  valueFrom:
                    configMapKeyRef:
                      name: app-config
                      key: APP_MODE
                - name: LOG_LEVEL
                  valueFrom:
                    configMapKeyRef:
                      name: app-config
                      key: LOG_LEVEL
    

    이 방식은 선언이 명확해서 좋아요. 다만 환경 변수 미적용 이슈가 가장 자주 보이는 방식이기도 합니다. 왜냐하면 컨테이너는 보통 시작할 때 환경 변수를 읽고 끝이거든요.

    3-3. 파일로 마운트

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: demo-app-file
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: demo-app-file
      template:
        metadata:
          labels:
            app: demo-app-file
        spec:
          containers:
            - name: app
              image: nginx
              volumeMounts:
                - name: config-volume
                  mountPath: /etc/app-config
          volumes:
            - name: config-volume
              configMap:
                name: app-config
    

    파일 마운트 방식은 애플리케이션이 파일 변경을 감지하거나 재시작 시 다시 읽는 구조일 때 특히 유용해요. 근데 여기서도 안심하면 안 돼요. 애플리케이션이 그 파일을 다시 안 읽으면 소용이 없거든요.

    Kubernetes ConfigMap 업데이트 방식 비교 이미지

    Deployment에서 ConfigMap을 환경 변수와 볼륨으로 주입하는 구성을 비교하는 다이어그램입니다.

    4. ConfigMap 업데이트 시 가장 많이 터지는 문제

    이 섹션은 제가 운영하면서 가장 많이 봤던 증상들 위주로 적어볼게요. 혹시 이런 경험 있으신가요? 분명 ConfigMap은 바뀌었는데 서비스가 그대로인 상황 말이에요. 대부분 아래 범주 안에 들어가요.

    4-1. ConfigMap 업데이트 후 환경 변수 미적용

    가장 흔한 증상이에요. 원인은 단순한 편입니다. 환경 변수는 보통 컨테이너 시작 시점에 주입되기 때문이에요. 그래서 ConfigMap만 바꿔서는 이미 떠 있는 Pod 내부 환경 변수가 즉시 바뀌지 않아요.

    제가 직접 해보니 여기서 중요한 건 Kubernetes가 아니라 주입 방식이었어요. 해결은 보통 다음 중 하나입니다.

    1. Deployment를 다시 롤아웃해서 새 Pod를 띄웁니다.
    2. 설정 변경 시점에 맞춰 배포 파이프라인에서 재시작 절차를 함께 실행해요.
    3. 가능하면 파일 기반 설정 + 애플리케이션 재로딩 구조를 검토해야 해요.
    kubectl rollout restart deployment demo-app
    kubectl rollout status deployment demo-app

    4-2. 볼륨 파일은 바뀌었는데 애플리케이션 동작은 그대로

    이 경우는 더 헷갈려요. 컨테이너 안 파일을 열어보면 값이 바뀐 것 같은데, 서비스는 예전 설정대로 동작하거든요. 원인은 대개 애플리케이션이 시작할 때만 파일을 읽고 메모리에 들고 있기 때문이에요.

    이럴 때는 아래를 점검해야 해요.

    • 애플리케이션이 SIGHUP 같은 재로딩 신호를 받는지
    • 파일 변경 감지(watch)를 지원하는지
    • 설정 파일 경로가 실제 읽는 경로와 같은지
    • 서브패스(subPath) 사용 여부

    특히 subPath로 마운트한 파일은 기대한 방식의 갱신이 안 보이는 사례가 있어서 운영 시 더 조심하게 되더라고요. 저도 예전에 특정 설정 파일 하나만 예쁘게 꽂으려고 subPath를 썼다가, 왜 변경 반영이 안 되지 하고 한참 봤었어요.

    4-3. 키 이름 오타, 네임스페이스 착오

    은근히 자주 나와요. ConfigMap 이름은 맞는데 key가 다르거나, 적용한 namespace(네임스페이스, 리소스 격리 단위)가 달라서 Pod가 다른 리소스를 보고 있는 경우죠.

    kubectl get configmap app-config -n default -o yaml
    kubectl get deployment demo-app -n default -o yaml
    kubectl describe pod <pod-name> -n default

    이 세 가지를 같이 보면 생각보다 금방 풀려요. 저는 디버깅할 때 항상 ConfigMap 원본, Deployment 참조, 실제 Pod 상태를 한 세트로 봐요.

    5. 설정 오류 디버깅: 제가 실제로 보는 순서

    문제가 터졌을 때는 감으로 보면 더 꼬여요. 순서를 정해두는 게 좋습니다. 저는 아래 흐름으로 봐요.

    1. ConfigMap 값 확인
      kubectl get configmap으로 현재 값이 정말 바뀌었는지 확인합니다.
    2. Deployment 선언 확인
      env, envFrom, volumeMounts, volumes가 예상대로 연결됐는지 봐요.
    3. Pod 재생성 여부 확인
      환경 변수 방식이라면 새 Pod가 떴는지 확인합니다.
    4. 컨테이너 내부 확인
      printenv, cat 등으로 실제 반영 상태를 확인해요.
    5. 애플리케이션 로그 확인
      설정 파싱 오류나 fallback 값 사용 흔적이 없는지 봅니다.
    kubectl get configmap app-config -o yaml
    kubectl get deployment demo-app -o yaml
    kubectl get pods -l app=demo-app
    kubectl exec -it <pod-name> -- printenv | grep APP_MODE
    kubectl exec -it <pod-name> -- sh -c 'cat /etc/app-config/app.properties'
    kubectl logs <pod-name>

    여기서 중요한 포인트! 컨테이너 내부 확인 없이 추측으로 넘어가면 시간만 더 써요. 실제로 써보니까 운영 이슈는 눈으로 확인하는 게 제일 빠르더라고요.

    Kubernetes ConfigMap 문제 해결을 위한 설정 오류 디버깅 이미지

    kubectl 명령으로 ConfigMap 값, Pod 환경 변수, 마운트 파일을 순서대로 점검하는 디버깅 흐름 이미지입니다.

    6. 운영에서 쓰는 해결 전략 정리

    단순히 문제를 푸는 것보다, 다시 안 터지게 만드는 게 더 중요해요. 제가 지금은 아래 전략을 기본으로 가져가고 있습니다.

    상황 권장 전략 이유
    환경 변수 기반 설정 변경 후 롤아웃 재시작 절차 포함 Pod 재기동이 반영 경로가 되기 쉬워요
    파일 기반 설정 애플리케이션 재로딩 지원 여부 확인 파일 변경과 동작 반영은 별개예요
    설정 변경 잦음 선언형 관리와 변경 이력 추적 누가 무엇을 바꿨는지 파악하기 쉬워요
    장애 대응 검증 명령어를 런북(runbook, 운영 절차서)화 야간 대응 속도가 크게 향상돼요
    • ConfigMap 이름에 버전성 힌트를 두는 방식도 운영에 따라 정말 유용해요.
    • Deployment annotation 변경으로 롤링 업데이트를 유도하는 패턴도 자주 써요.
    • 애플리케이션 기본값(fallback) 존재 여부를 꼭 확인해야 해요. 설정이 안 먹었는데도 앱이 떠버리면 더 위험하거든요.
    • Secret과 ConfigMap 역할 분리도 중요해요. 민감 정보는 ConfigMap에 넣지 않는 게 기본입니다.

    그리고 k8s 설정 관리는 결국 사람 문제이기도 해요. 파일명, 키 네이밍, 네임스페이스 규칙을 팀 단위로 맞추지 않으면 나중에 디버깅 비용이 훨씬 커져요.

    7. 검증과 결과 확인: 바뀐 설정이 정말 적용됐는지

    배포가 끝났다고 끝난 게 아니에요. 저는 항상 아래 세 가지를 같이 봐요.

    1. 리소스 기준 검증: ConfigMap과 Deployment 선언 확인
    2. 컨테이너 기준 검증: 환경 변수 또는 파일 내용 확인
    3. 애플리케이션 기준 검증: 로그, 헬스체크, 실제 동작 확인
    kubectl rollout status deployment demo-app
    kubectl exec -it <pod-name> -- printenv | grep LOG_LEVEL
    kubectl exec -it <pod-name> -- sh -c 'ls -l /etc/app-config && cat /etc/app-config/app.properties'
    kubectl logs <pod-name>

    여기서 드디어 됐다! 하는 순간이 와요. 그런데 한 단계 더 가야 해요. 애플리케이션이 실제로 새 설정으로 동작하는지 확인해야 하거든요. 예를 들어 로그 레벨이 바뀌었는지, 특정 기능 토글이 반영됐는지, 외부 연결 정보가 새 값으로 적용됐는지까지 봐야 진짜 검증이에요.

    처음엔 kubectl 출력만 보고 끝냈었는데, 나중에 보니 앱은 예전 설정으로 캐시해서 쓰고 있더라고요. 그래서 지금은 결과 검증을 더 꼼꼼히 하고 있어요.

    Kubernetes ConfigMap 적용 결과 검증 대시보드 이미지

    롤아웃 완료, 환경 변수 확인, 로그 검증까지 끝난 상태를 보여주는 결과 확인 이미지입니다.

    8. 자주 묻는 질문 정리

    Q1. ConfigMap 업데이트만 하면 바로 반영되나요?

    항상 그렇지는 않아요. 주입 방식과 애플리케이션 동작 방식에 따라 다르거든요. 환경 변수 기반이면 보통 재시작 관점으로 보는 게 안전해요.

    Q2. 환경 변수 미적용 문제는 Kubernetes 버그인가요?

    대부분은 버그라기보다 동작 방식 이해 차이에서 나와요. 저도 처음엔 그렇게 오해했는데, 실제로는 컨테이너 재기동 시점과 설정 읽는 타이밍 문제인 경우가 정말 많았어요.

    Q3. 설정 오류 디버깅은 어디서부터 봐야 하나요?

    ConfigMap 원본, Deployment 참조, Pod 내부 상태를 순서대로 보세요. 이 흐름만 지켜도 절반은 빨리 해결돼요.

    Q4. k8s 설정 관리를 더 안정적으로 하려면?

    선언형 관리, 변경 이력 추적, 운영 런북 정리 이 세 가지가 효과적이에요. 이전 글에서 다뤘던 배포 점검 체크리스트와 함께 보면 더 도움이 될 거예요. 다음 글에서는 Secret 운영 패턴과 ConfigMap 분리 기준도 다뤄볼 계획입니다.

    9. 마무리: ConfigMap은 단순한 설정 파일이 아니었습니다

    Kubernetes ConfigMap 문제 해결은 결국 설정 저장보다 설정 반영 경로를 이해하는 일에 가까워요. 제가 직접 해보니 ConfigMap 업데이트 자체보다, 그 값이 언제 어떻게 애플리케이션에 전달되는지 파악하는 게 핵심이었어요. 특히 환경 변수 미적용, 설정 오류 디버깅, k8s 설정 관리 이 세 가지는 따로 떨어진 주제가 아니라 한 흐름으로 묶여 있더라고요.

    혹시 지금 운영 중인 서비스에서 ConfigMap 업데이트 후 반영이 이상하다면, 오늘 글의 순서대로만 점검해보세요. 꽤 빨리 원인을 좁힐 수 있을 거예요. 완벽한 정답 하나가 있다기보다, 주입 방식에 맞는 운영 전략을 정해두는 것이 제일 중요했어요. 저도 처음엔 많이 헷갈렸는데, 한 번 패턴이 잡히고 나니까 훨씬 덜 흔들리더라고요.

    Kubernetes ConfigMap 문제 해결 전략 요약 인포그래픽

    환경 변수 방식과 파일 마운트 방식의 차이, 그리고 운영 체크포인트를 요약한 인포그래픽입니다.

    정리하면 이렇습니다.

    • ConfigMap 업데이트와 애플리케이션 반영은 같은 일이 아니에요.
    • 환경 변수 방식은 재시작 관점을 기본으로 가져가는 게 안전해요.
    • 파일 마운트 방식은 애플리케이션 재로딩 지원 여부를 꼭 확인해야 해요.
    • 설정 오류 디버깅은 ConfigMap, Deployment, Pod 내부 확인 순서로 보면 빨라져요.

    운영은 결국 반복 가능한 습관 싸움이더라고요. 다음 글에서는 Secret과 ConfigMap 분리 기준, 그리고 배포 자동화 파이프라인에서 설정 반영을 안전하게 묶는 방법도 이어서 정리해보겠습니다.

  • [k8s] AKS에서 Vault on K8s 구축: 보안 강화 및 민감 정보 관리 방안

    [k8s] AKS에서 Vault on K8s 구축: 보안 강화 및 민감 정보 관리 방안

    [k8s] AKS에서 Vault on K8s 구축: 보안 강화 및 민감 정보 관리 방안

    AKS(Azure Kubernetes Service, 애저 쿠버네티스 서비스)를 운영하다 보면 결국 부딪히는 문제가 하나 있습니다. 바로 시크릿 관리예요. 처음에는 Kubernetes Secret(쿠버네티스 시크릿)만으로도 충분하다고 느끼실 수 있는데, 저도 처음엔 그랬거든요. 그런데 운영 환경이 커지고, 애플리케이션 수가 늘고, 누가 어떤 자격 증명(credential)을 어디서 쓰는지 추적해야 하는 순간이 오면 상황이 달라져요. 그때부터는 “이걸 계속 이렇게 들고 가도 될까?” 싶은 생각이 드더라고요.

    그래서 오늘은 Vault on K8s AKS 구성을 어떻게 접근하면 좋을지, 제가 실제로 비슷한 구조를 설계하고 검증할 때 중요하게 봤던 포인트를 중심으로 정리해보려 해요. 핵심은 단순히 HashiCorp Vault(해시코프 볼트)를 올리는 게 아니라, AKS 환경에서 인증(auth), 저장(storage), 정책(policy), 주입(injection) 흐름을 어떻게 안전하게 묶을지하는 거거든요. 특히 민감 정보가 Git, 환경 변수, 컨테이너 이미지 안에 흩어지기 시작한 팀이라면 한 번쯤 진지하게 볼 만한 주제입니다.

    AKS 클러스터, Vault 서버, 애플리케이션 Pod, Kubernetes Auth 흐름을 한눈에 보여주는 전체 구조 이미지입니다.

    1. 왜 AKS에서 Vault on K8s가 필요할까요

    쉽게 말해, Vault는 시크릿을 중앙에서 관리하고 접근을 통제하는 금고 역할을 하는 거예요. Kubernetes Secret도 이름은 시크릿이지만, 그 자체만으로는 운영 통제 수준이 부족하다고 느끼는 경우가 많아요. Base64 인코딩만으로는 보안이 해결되지 않거든요. 물론 etcd 암호화(encryption at rest) 같은 보완책이 있지만, 접근 통제와 감사(audit), 동적 자격 증명(dynamic credentials)까지 생각하면 Vault가 주는 이점이 분명합니다.

    • 중앙 집중형 관리: DB 비밀번호, API 토큰, 인증서 등을 한곳에서 관리할 수 있어요.
    • 정책 기반 접근 제어: 누가 어떤 경로(path)의 시크릿을 읽을 수 있는지 세밀하게 나눌 수 있습니다.
    • 감사 추적: 접근 기록을 남겨서 운영 가시성을 확보하기 좋아요.
    • 동적 시크릿 확장 가능성: 정적 비밀번호를 오래 들고 가지 않는 구조로 발전시키기 쉬워요.

    여기서 중요한 포인트! AKS에서 Vault를 쓴다고 해서 자동으로 다 안전해지는 건 아니에요. 어디에 저장할지, 어떻게 인증할지, 어떤 네트워크 경계 안에 둘지를 같이 설계해야 의미가 있어요. 저도 처음엔 “Vault만 올리면 끝 아닌가?” 싶었는데, 실제로 해보니까 그다음이 진짜 시작이더라고요.

    2. Vault, AKS, Kubernetes Auth를 쉽게 풀어보면

    개념을 너무 어렵게 잡으면 오히려 구현이 꼬여요. 쉽게 말하면 흐름은 이렇습니다.

    1. 애플리케이션 Pod가 AKS 안에서 실행돼요.
    2. Pod는 자신의 ServiceAccount(서비스 어카운트)를 이용해 Vault에 신원을 증명합니다.
    3. Vault는 Kubernetes Auth(쿠버네티스 인증)로 이 Pod가 누구인지 확인해요.
    4. 정책에 맞으면 필요한 시크릿을 내려줍니다.

    즉, 애플리케이션 입장에서는 “내가 누구인지 증명하고, 허용된 비밀만 받아간다”는 구조예요. 이 방식의 장점은 시크릿을 애플리케이션 매니페스트에 하드코딩하지 않아도 된다는 거거든요. 운영해보신 분들은 아실 텐데, Secret YAML 파일이 여기저기 복사되기 시작하면 관리가 정말 힘들어져요.

    항목 Kubernetes Secret Vault on K8s
    저장 위치 클러스터 내부 Vault 백엔드
    접근 제어 RBAC 중심 정책 기반 세분화 가능
    감사 추적 제한적 Audit Device(감사 장치) 활용 가능
    주입 방식 환경 변수, 볼륨 Agent Injector, CSI 등 확장 가능
    운영 복잡도 낮음 상대적으로 높음

    결국 선택의 기준은 단순해요. 작고 단순한 환경이면 Kubernetes Secret만으로도 충분합니다. 반대로 권한 분리, 감사, 로테이션, 멀티 서비스 운영이 중요해지면 Vault on K8s AKS 구성이 훨씬 낫습니다.

    3. AKS에서 Vault on K8s 아키텍처를 어떻게 잡으면 좋을까

    제가 추천하는 기본 방향은 이래요. 과하게 복잡하게 시작하지 말고, 운영상 필요한 최소 안전장치를 먼저 넣는 거예요.

    • Vault는 전용 네임스페이스에 배치합니다.
    • Integrated Storage Raft(통합 스토리지 래프트)를 사용해 내부 저장소를 구성해요.
    • Kubernetes Auth로 애플리케이션 인증을 처리합니다.
    • Vault Agent Injector 또는 템플릿 렌더링 방식으로 시크릿을 Pod에 주입해요.
    • NetworkPolicy(네트워크 정책)와 Ingress(인그레스, 외부 트래픽 진입점) 또는 내부 LoadBalancer 정책을 명확히 나누어요.

    실무에서는 Vault를 외부에 완전히 공개하지 않는 편이 훨씬 나아요. 가능하면 내부 네트워크에서만 접근하게 만들고, 운영자 접근도 제한하는 쪽이 좋거든요. 홈랩에서도 이 부분을 느슨하게 두면 결국 테스트 편의성이 보안 기준을 이겨버리더라고요. 처음엔 편한데 나중에 반드시 정리해야 해요.

    AKS에서 Vault 네임스페이스와 컴포넌트 배치 구조 이미지

    Vault 전용 네임스페이스, Raft 스토리지, Agent Injector, 애플리케이션 네임스페이스 분리를 보여주는 구성 이미지입니다.

    4. 실전 구현: AKS에 Vault 배포하기

    이제 실제 흐름으로 가봅시다. 여기서는 Helm(헬름)을 이용해 Vault를 AKS에 배포하는 예시를 기준으로 설명할게요. 세부 값은 환경마다 다르니, 그대로 복붙보다 구조를 이해하고 적용하시는 게 훨씬 중요합니다.

    4-1. 네임스페이스와 Helm 저장소 준비

    kubectl create namespace vault
    helm repo add hashicorp https://helm.releases.hashicorp.com
    helm repo update

    여기까지는 크게 어렵지 않아요. 문제는 그다음 values 설정이에요. 처음엔 기본값으로 올리고 싶어지는데, 운영 목적이라면 최소한 스토리지와 UI, Injector 여부는 같이 잡아주는 게 좋습니다.

    4-2. values.yaml 예시

    server:
      enabled: true
      ha:
        enabled: true
        replicas: 3
        raft:
          enabled: true
      dataStorage:
        enabled: true
        size: 10Gi
      service:
        enabled: true
        type: ClusterIP
      ingress:
        enabled: false
      resources: {}
    
    ui:
      enabled: true
    
    injector:
      enabled: true

    여기서는 HA(고가용성)와 Raft storage를 켰어요. Vault on K8s는 단일 인스턴스로도 테스트는 되지만, 실제 운영 관점에서는 장애 대응을 생각하지 않을 수가 없거든요. 물론 노드 수, 디스크 크기, 서비스 타입은 환경에 맞춰 조정해야 합니다.

    4-3. 배포

    helm install vault hashicorp/vault \
      --namespace vault \
      --values values.yaml

    배포 후에는 Pod 상태부터 확인하세요.

    kubectl get pods -n vault
    kubectl get svc -n vault

    이 시점에서 Pod가 뜬다고 끝이 아니에요. Vault는 초기화(initialization)와 언실(unseal) 과정을 거쳐야 하거든요. 이 부분에서 처음 삽질 많이 합니다 ㅎㅎ

    4-4. 초기화와 언실

    kubectl exec -it -n vault vault-0 -- vault operator init

    이 명령을 실행하면 unseal key와 initial root token이 출력돼요. 이 정보는 정말 민감하니까요, 테스트 환경이라고 터미널 히스토리에 남기고 방치하면 나중에 곤란해져요. 저도 예전에 PoC 환경이라고 가볍게 봤다가 정리하느라 번거로웠던 적이 있어요.

    이후 각 Pod에 대해 언실을 진행합니다.

    kubectl exec -it -n vault vault-0 -- vault operator unseal
    kubectl exec -it -n vault vault-1 -- vault operator unseal
    kubectl exec -it -n vault vault-2 -- vault operator unseal

    로그인도 해두세요.

    kubectl exec -it -n vault vault-0 -- vault login

    5. Kubernetes Auth와 시크릿 엔진 구성

    이제부터가 진짜 핵심이에요. Vault 서버를 띄우는 건 절반이고, AKS 워크로드가 안전하게 시크릿을 받아가게 만드는 과정이 나머지 절반입니다.

    5-1. KV 시크릿 엔진 활성화

    kubectl exec -it -n vault vault-0 -- vault secrets enable -path=secret kv-v2
    kubectl exec -it -n vault vault-0 -- vault kv put secret/app/config username="demo-user" password="demo-pass"

    여기서는 예시로 KV v2(Key-Value Version 2) 엔진을 사용했어요. 정적 시크릿 관리의 기본 출발점으로 가장 무난하거든요.

    5-2. Kubernetes Auth 활성화

    kubectl exec -it -n vault vault-0 -- vault auth enable kubernetes

    그다음 Kubernetes API와 통신할 수 있도록 설정해야 합니다. 실제 값은 클러스터 환경에 맞게 확인이 필요해요.

    kubectl exec -it -n vault vault-0 -- sh
    
    vault write auth/kubernetes/config \
      kubernetes_host="https://$KUBERNETES_PORT_443_TCP_ADDR:443"

    환경에 따라 서비스 계정 토큰과 CA 인증서 경로까지 함께 지정하는 구성이 필요할 수 있어요. 이 부분은 클러스터 설정과 배포 방식에 따라 달라지니, 반드시 현재 환경 기준으로 검증해야 합니다.

    5-3. 정책 생성

    kubectl exec -it -n vault vault-0 -- sh -c 'cat > /tmp/app-policy.hcl <<EOF
    path "secret/data/app/config" {
      capabilities = ["read"]
    }
    EOF
    vault policy write app-policy /tmp/app-policy.hcl'

    정책은 정말 최소 권한(least privilege)으로 가야 해요. “일단 다 읽게 해두고 나중에 줄이자”는 접근이 제일 위험하거든요. 운영에 들어가면 나중은 잘 안 와요.

    5-4. Role 생성

    kubectl exec -it -n vault vault-0 -- vault write auth/kubernetes/role/app-role \
      bound_service_account_names=app-sa \
      bound_service_account_namespaces=default \
      policies=app-policy \
      ttl=1h

    이렇게 하면 default 네임스페이스의 app-sa 서비스 계정을 사용하는 Pod만 해당 정책으로 인증받을 수 있어요. namespace와 service account를 분리해두면 실수 범위를 줄이기 좋거든요.

    Vault on K8s AKS의 Kubernetes Auth와 정책 매핑 흐름

    ServiceAccount, Vault Role, Policy, Secret Path가 어떻게 연결되는지 보여주는 인증 및 권한 흐름 이미지입니다.

    6. 애플리케이션 Pod에 시크릿 주입하기

    실제로 써보니까 운영팀과 개발팀 모두 만족도가 올라가는 구간이 바로 여기였어요. 개발자는 애플리케이션에서 민감 정보를 직접 들고 다니지 않아도 되고, 운영자는 중앙 통제가 가능해지거든요.

    Vault Agent Injector를 사용하는 예시는 아래처럼 가져갈 수 있습니다.

    apiVersion: v1
    kind: ServiceAccount
    metadata:
      name: app-sa
      namespace: default
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: demo-app
      namespace: default
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: demo-app
      template:
        metadata:
          labels:
            app: demo-app
          annotations:
            vault.hashicorp.com/agent-inject: "true"
            vault.hashicorp.com/role: "app-role"
            vault.hashicorp.com/agent-inject-secret-config.txt: "secret/data/app/config"
            vault.hashicorp.com/agent-inject-template-config.txt: |
              {{- with secret "secret/data/app/config" -}}
              username={{ .Data.data.username }}
              password={{ .Data.data.password }}
              {{- end }}
        spec:
          serviceAccountName: app-sa
          containers:
            - name: app
              image: nginx
              volumeMounts: []

    이 예시는 Pod 안에 파일 형태로 시크릿을 렌더링하는 방식이에요. 환경 변수 주입만 고집하기보다, 파일 기반 주입을 먼저 고려해보세요. 이유는 단순해요. 환경 변수는 프로세스 정보나 디버깅 과정에서 노출 범위를 관리하기 까다로울 수 있거든요.

    배포 후에는 Pod 내부에서 실제로 파일이 생성됐는지 확인하세요.

    kubectl apply -f app.yaml
    kubectl get pods
    kubectl exec -it deploy/demo-app -- cat /vault/secrets/config.txt

    7. ⚠️ 운영 중 자주 만나는 문제와 트러블슈팅

    여기서는 제가 꼭 강조하고 싶은 실전 포인트를 적어볼게요. 문서대로만 하면 바로 될 것 같지만, 실제 AKS에서 붙일 때 자주 막히는 지점이 몇 군데 있어요.

    7-1. Pod는 떴는데 시크릿 파일이 안 생기는 경우

    • ServiceAccount 이름과 Vault Role의 bound_service_account_names가 일치하는지 확인하세요.
    • 네임스페이스가 Role 설정과 같은지 봐요.
    • Pod annotation 오타가 없는지 확인해요.
    • Injector Pod 로그를 확인합니다.
    kubectl logs -n vault deploy/vault-agent-injector

    이거 진짜 자주 나와요. 저도 처음엔 Vault 정책 문제인 줄 알았는데, 알고 보니 annotation 키 오타였던 적이 있었어요. 허무하죠. 근데 이런 게 제일 오래 갑니다.

    7-2. Vault 로그인 또는 Auth 설정이 실패하는 경우

    • Kubernetes API 접근 경로가 맞는지 봐요.
    • Vault 서버가 클러스터 내부 DNS와 API 서버에 접근 가능한지 확인하세요.
    • 서비스 계정 토큰과 CA 인증서 전달이 필요한 구성인지 점검해요.

    AKS는 관리형 Kubernetes라서 제어 플레인 세부 구현을 직접 만지지는 않지만, 그렇다고 인증 흐름이 자동으로 다 맞아떨어지지는 않아요. 특히 네트워크 제한이나 정책이 들어가면 더 꼼꼼히 봐야 합니다.

    7-3. Vault 자체의 고가용성은 올렸는데 운영 절차가 없는 경우

    이 부분도 많이 놓쳐요. HA로 배포했다고 해서 운영이 끝난 게 아니거든요.

    • 언실 절차를 누가 어떻게 수행할지
    • 루트 토큰 보관 정책을 어떻게 할지
    • 백업과 복구 테스트를 할지
    • 감사 로그 보존을 어디까지 할지

    보안 시스템은 설치보다 운영 절차가 훨씬 중요해요. 이건 정말 해보면 바로 체감됩니다.

    8. 검증 방법과 기대 결과

    구축이 끝났다면 그냥 “접속된다” 수준에서 멈추면 아쉬워요. 최소한 아래 항목은 꼭 검증해보세요.

    1. 권한이 있는 Pod만 시크릿을 읽을 수 있는지 확인하세요.
    2. 다른 ServiceAccount를 쓰는 Pod는 접근이 거부되는지 확인합니다.
    3. Vault 정책 변경 시 반영 범위를 확인해요.
    4. Pod 재기동 시 시크릿 주입이 일관되게 되는지 확인하세요.
    5. 감사 로그와 서버 로그에서 접근 기록을 추적할 수 있는지 봐요.

    예를 들어 권한 없는 Pod를 하나 띄워서 동일 경로를 읽어보는 식으로 검증할 수 있어요. 이런 부정 테스트(negative test)를 같이 해봐야 진짜 구성이 맞는지 보여요.

    kubectl run test-deny --rm -it --image=busybox --restart=Never -- sh

    운영 결과 관점에서 기대할 수 있는 건 명확합니다.

    • 애플리케이션 매니페스트에 민감 정보가 직접 들어가지 않아요.
    • 시크릿 접근 경로가 정책으로 정리돼요.
    • 누가 무엇을 읽는지 추적성이 좋아져요.
    • 향후 동적 시크릿이나 인증서 자동화로 확장하기 쉬워져요.

    특히 팀 규모가 커질수록 이점이 커져요. 처음엔 조금 번거롭지만, 나중에는 “왜 더 빨리 안 했지?” 싶을 때가 와요. 실제로 써보니까 시크릿이 여기저기 흩어져 있던 상태보다 운영 피로도가 훨씬 낮아지더라고요.

    AKS에서 Vault 시크릿 주입 검증 결과 이미지

    애플리케이션 Pod 내부 시크릿 파일 생성, 정책 기반 접근 허용/거부 검증 결과를 보여주는 이미지입니다.

    9. 정리와 다음 단계

    Vault on K8s AKS 구성의 핵심은 단순해요. Vault를 설치하는 것이 목적이 아니라, AKS에서 민감 정보를 안전하게 배포하고 통제하는 체계를 만드는 게 진짜 목표거든요. 처음엔 Kubernetes Secret만으로 충분해 보일 수 있어요. 저도 그렇게 시작했었는데, 서비스가 늘고 권한 관리가 복잡해지니까 한계가 분명히 보이더라고요.

    오늘 정리한 흐름을 다시 압축하면 이렇습니다.

    • Vault를 AKS에 전용 네임스페이스로 배치해요.
    • Raft 기반 저장소와 HA 구성을 검토해요.
    • Kubernetes Auth로 Pod 신원을 검증합니다.
    • 정책 기반으로 필요한 시크릿만 주입해요.
    • 운영 절차와 감사 체계를 같이 설계하세요.

    혹시 지금 HashiCorp Vault 도입을 고민 중이세요? 그렇다면 처음부터 모든 기능을 한 번에 붙이기보다, KV 시크릿 엔진 + Kubernetes Auth + 최소 정책부터 시작해보는 걸 추천해요. 그게 훨씬 덜 꼬여요. 드디어 됐다! 싶은 순간이 분명 옵니다.

    다음 글에서는 AKS에서 Vault와 외부 비밀 저장소를 어떻게 연계해서 운영 부담을 줄일지, 또는 Vault Agent Injector와 CSI 방식의 차이를 어떻게 판단하면 좋을지 이어서 다뤄볼 예정이에요. 이전 글에서 Kubernetes 기본 보안 설정을 정리했다면 그 내용과 함께 보셔도 흐름이 잘 맞을 거예요.

    FAQ: 자주 묻는 질문

    AKS에서 꼭 Vault가 필요할까요?

    작고 단순한 환경이라면 꼭 그렇지는 않아요. 다만 시크릿 관리 범위가 넓어지고 감사와 권한 분리가 중요해지면 검토 가치가 크답니다.

    Vault on K8s는 운영 난도가 높지 않나요?

    맞습니다. Kubernetes Secret보다 복잡해요. 대신 통제력과 확장성이 좋아져요. 그래서 작은 범위로 시작하는 게 중요합니다.

    시크릿은 환경 변수보다 파일 주입이 더 나은가요?

    상황에 따라 다르지만, 운영 노출 범위를 생각하면 파일 기반 주입이 더 다루기 편한 경우가 많아요.

    Vault on K8s AKS 도입 전후 비교 인포그래픽

    도입 전 분산된 시크릿 관리와 도입 후 중앙 통제 구조를 비교하는 요약 인포그래픽입니다.

  • [OpenStack] Kolla-Ansible vs Native Install: 배포 방식 비교 분석

    [OpenStack] Kolla-Ansible vs Native Install: 배포 방식 비교 분석

    [OpenStack] Kolla-Ansible vs Native Install 배포 비교

    Kolla-Ansible OpenStack 배포를 처음 고민하시는 분들은 거의 비슷한 지점에서 막히시더라고요. 저도 처음엔 ‘그냥 패키지 설치해서 올리면 되는 거 아닌가?’ 싶었는데, 실제로 해보니 배포 방식에 따라 운영 난이도와 장애 대응 속도가 꽤 많이 달랐습니다. 특히 홈랩과 사내 테스트베드에서 OpenStack 설치 비교를 여러 번 해보니까, 처음 설계할 때의 선택이 나중에 진짜 크게 돌아오더라고요. 이번 글에서는 Kolla-Ansible과 Native Install(네이티브 설치, 직접 패키지와 서비스 단위로 구성) 방식을 경험 기준으로 차분히 비교해보겠습니다.

    혹시 지금 이런 상황이신가요? 빠르게 PoC(개념 검증, Proof of Concept)를 띄워야 하는데 운영 표준도 챙겨야 하고, 나중에 업데이트나 재배포도 염두에 두고 계신 분들 말입니다. 여기서 중요한 포인트는 단순히 ‘설치가 되느냐’가 아니라, 어떤 방식이 내 팀의 운영 역량과 더 잘 맞느냐입니다.

    컨테이너 기반 Kolla-Ansible과 패키지 기반 Native Install의 구조 차이를 한눈에 보여주는 비교 다이어그램입니다.

    Kolla-Ansible OpenStack 배포가 왜 주목받는지

    쉽게 말해 Kolla-Ansible은 OpenStack 서비스를 컨테이너(Container, 애플리케이션 실행 단위)로 배포하고, Ansible(앤서블, 에이전트 없이 원격 설정을 자동화하는 도구)로 전체 구성을 밀어 넣는 방식입니다. 반면 Native Install은 각 노드에 필요한 패키지를 직접 설치하고, 서비스 설정 파일을 손으로 맞추거나 배포 자동화 스크립트를 따로 관리하는 흐름에 가깝습니다.

    제가 직접 해보니 두 방식은 철학 자체가 다르더라고요. Kolla-Ansible은 표준화와 재현성에 강합니다. 반대로 Native Install은 세밀한 제어와 내부 이해에 강하죠. 처음엔 이게 뭔가 싶었는데, 몇 번 재설치를 반복하다 보니 왜 운영팀마다 선호 방식이 갈리는지 바로 이해됐습니다.

    • Kolla-Ansible: 컨테이너 기반, 역할 분리 명확, 재배포와 확장이 상대적으로 편함
    • Native Install: 서비스별 설정을 세밀하게 만질 수 있음, 학습에는 좋지만 운영 표준화가 어렵기 쉬움
    • 공통점: 결국 Neutron(뉴트론, 네트워크 서비스), Nova(노바, 컴퓨트 서비스), Keystone(키스톤, 인증 서비스) 같은 핵심 컴포넌트를 이해해야 안정적으로 굴러감

    OpenStack 설치 비교: 어떤 환경에 무엇이 맞을까

    이제 본론으로 들어가 보겠습니다. OpenStack 설치 비교를 할 때는 설치 편의성만 보면 안 됩니다. 운영 중 변경 작업, 장애 복구, 로그 추적, 업그레이드 전략까지 같이 봐야 하거든요. 저도 예전엔 설치만 되면 끝이라고 생각했었는데, 그 뒤에 남는 유지보수 비용이 더 크더라고요. 삽질 좀 했습니다 ㅎㅎ

    비교 항목 Kolla-Ansible Native Install
    배포 방식 컨테이너 이미지와 Ansible 플레이북 기반 패키지 설치와 서비스별 수동 설정 중심
    초기 진입 장벽 변수 구조와 네트워크 이해가 필요 설치 흐름은 단순해 보이지만 전체 의존성 파악이 어려움
    재현성 높음 운영자 숙련도에 따라 차이 큼
    문제 분석 컨테이너 로그와 Ansible 결과를 함께 봐야 함 서비스 단위 로그 확인은 직관적이나 변경 이력 관리가 어려움
    업데이트/재배포 자동화에 유리 절차 문서화가 부족하면 리스크 큼
    추천 환경 반복 배포, 표준화, 다노드 테스트베드 학습용, 디버깅 중심, 서비스 구조 파악 목적

    제 경험상 팀 단위 운영이라면 Kolla-Ansible 쪽이 훨씬 덜 힘들었습니다. 반면 OpenStack 내부 구조를 깊게 공부하려면 Native Install도 한 번은 꼭 해볼 만합니다. 왜냐하면 서비스가 어떤 순서로 붙고, 어디서 설정 충돌이 나는지 몸으로 익히게 되거든요.

    Ansible OpenStack 구성 관점에서 보는 핵심 차이

    1. 구성 관리 방식

    Kolla-Ansible은 보통 전역 설정과 서비스별 오버라이드(override, 기본 설정 덮어쓰기)를 분리해서 관리합니다. 이게 처음엔 조금 낯설어요. 하지만 실제로 써보니까 역할(Role)과 변수(Variable)가 정리돼 있어서, 나중에 다시 볼 때 덜 헷갈리더라고요.

    2. 네트워크 설계 난이도

    OpenStack은 네트워크에서 많이 넘어집니다. 관리망, 터널망, 외부망을 어떻게 나눌지에 따라 Neutron 구성이 완전히 달라지니까요. Native Install은 서비스 설정 파일을 직접 만지는 만큼 자유도는 높지만, 실수 한 번 하면 어디서부터 틀어졌는지 찾는 데 시간이 오래 걸렸습니다.

    3. 운영 표준화

    운영 문서가 중요한 조직이라면 OpenStack 배포 자동화 측면에서 Kolla-Ansible이 확실히 유리합니다. 인벤토리(inventory, 관리 대상 호스트 목록)와 변수 파일만 정리되면 재현성이 좋거든요. 이건 새 장비 들어왔을 때 정말 체감됩니다.

    Ansible OpenStack 구성과 노드 연결 구조를 보여주는 이미지

    컨트롤 노드, 컴퓨트 노드, 네트워크 노드 사이에서 Ansible과 컨테이너 서비스가 어떻게 연결되는지 보여주는 구성도입니다.

    실전 구현: Kolla-Ansible로 OpenStack 배포 기본 흐름

    이제 실전 쪽 이야기를 해보겠습니다. 여기서는 Kolla-Ansible OpenStack 배포의 전형적인 흐름을 예시로 보겠습니다. 배포판이나 릴리스에 따라 세부 패키지 이름은 조금 달라질 수 있으니, 실제 적용 전에는 운영 중인 환경 기준으로 문서를 꼭 맞춰보셔야 합니다. 저는 이런 식으로 접근하면 시행착오가 많이 줄더라고요.

    1. 배포용 제어 노드(Control Node)를 준비합니다.
    2. Ansible과 Kolla-Ansible을 설치합니다.
    3. 인벤토리와 전역 설정 파일을 작성합니다.
    4. 네트워크 인터페이스와 VIP(Virtual IP, 가상 IP)를 정의합니다.
    5. 사전 점검(prechecks)을 실행합니다.
    6. 배포 후 초기화와 검증을 진행합니다.

    1. 기본 패키지 준비

    python3 -m venv /opt/kolla-venv
    source /opt/kolla-venv/bin/activate
    pip install -U pip
    pip install 'ansible>=6,<9' kolla-ansible
    mkdir -p /etc/kolla

    여기서 중요한 포인트! Python 가상환경(virtual environment, 격리된 파이썬 실행 환경)을 써두면 나중에 의존성 꼬임이 줄어듭니다. 별거 아닌 것 같아도 이거 진짜 편하더라고요.

    2. 인벤토리 작성 예시

    all:
      hosts:
        controller01:
          ansible_host: 192.168.10.11
        compute01:
          ansible_host: 192.168.10.21
      children:
        control:
          hosts:
            controller01:
        network:
          hosts:
            controller01:
        compute:
          hosts:
            compute01:
        monitoring:
          hosts:
            controller01:
        storage:
          hosts:
            controller01:

    홈랩에서는 올인원 또는 2노드 구성으로 시작하는 경우가 많습니다. 저도 처음엔 욕심내서 역할을 너무 쪼갔다가 오히려 디버깅 포인트만 늘어났었네요. 처음에는 단순하게 가는 게 좋습니다.

    3. globals.yml 예시

    kolla_base_distro: "ubuntu"
    kolla_install_type: "source"
    openstack_release: "2023.2"
    kolla_internal_vip_address: "192.168.10.100"
    network_interface: "eth0"
    neutron_external_interface: "eth1"
    enable_haproxy: "yes"
    enable_cinder: "yes"
    enable_horizon: "yes"

    버전이나 배포판 조합은 실제 지원 매트릭스를 확인해서 맞추셔야 합니다. 제가 예전에 여기 대충 맞췄다가 컨테이너는 떠 있는데 서비스 등록이 꼬여서 한참 봤습니다. 드디어 됐다 싶으면 다른 데서 막히고, 그런 순간이 꼭 옵니다.

    4. 배포 실행

    kolla-ansible -i ./multinode bootstrap-servers
    kolla-ansible -i ./multinode prechecks
    kolla-ansible -i ./multinode deploy
    kolla-ansible -i ./multinode post-deploy

    이 순서대로 가면 됩니다. 특히 prechecks는 꼭 보셔야 해요. DNS, 시간 동기화, 인터페이스 정의 같은 기본 조건이 여기서 많이 걸립니다.

    5. OpenStack 클라이언트 환경 적용

    source /etc/kolla/admin-openrc.sh
    openstack service list
    openstack network agent list
    openstack hypervisor list

    여기까지 오면 1차 확인은 끝입니다. 서비스 카탈로그(Service Catalog, API 엔드포인트 목록)와 하이퍼바이저(Hypervisor, 가상화 호스트) 인식 상태를 먼저 보는 습관을 들이면 좋습니다.

    Kolla-Ansible OpenStack 배포 자동화 작업 중인 홈랩 환경 이미지

    Kolla-Ansible 배포 과정에서 사전 점검과 실제 배포가 진행되는 흐름을 홈랩 분위기로 표현한 이미지입니다.

    반대로 Native Install은 언제 유리할까

    그렇다고 Native Install이 무조건 불리한 건 아닙니다. 저도 실제로 써보니까 서비스 구조를 이해하는 데는 정말 도움이 컸습니다. 예를 들어 Keystone 설정이 어디서 인증 토큰 흐름에 영향을 주는지, Neutron ML2 플러그인(ML2 Plugin, 네트워크 드라이버 프레임워크)과 브리지 설정이 어떻게 맞물리는지 직접 보게 되거든요.

    특히 이런 경우엔 Native Install도 충분히 가치 있습니다.

    • 단일 노드 학습 환경을 빠르게 만들고 싶을 때
    • 컨테이너 추상화보다 서비스 파일과 로그를 직접 보고 싶을 때
    • 특정 컴포넌트의 동작을 깊게 디버깅해야 할 때
    • 자동화보다 구조 이해가 우선일 때

    다만 운영 관점에서는 사람이 바뀌거나 시간이 지나면 설정이 점점 꼬이기 시작합니다. 정말 많이 봤거든요. 문서가 조금만 부실해도 ‘이 설정 누가 왜 넣었지?’가 반복되더라고요.

    ⚠️ 주의사항과 트러블슈팅: 제가 실제로 막혔던 포인트

    1. 시간 동기화(NTP, Network Time Protocol) 문제

    OpenStack은 인증 토큰과 서비스 통신에서 시간 차이에 민감합니다. Kolla-Ansible이든 Native Install이든 노드 간 시간이 어긋나면 묘한 인증 실패가 납니다. 겉으로는 네트워크 문제처럼 보이는데, 알고 보면 시계 문제인 경우가 있더라고요.

    2. 네트워크 인터페이스 이름 불일치

    이건 홈랩에서 특히 자주 나옵니다. 예전 문서 보고 eth0, eth1으로 적어놨는데 실제 장비는 ens18, ens19인 경우요. 별거 아닌 오타 같은데 외부 네트워크 바인딩이 안 되고 Floating IP(플로팅 IP, 외부 접근용 가상 IP)도 꼬입니다.

    3. 컨테이너는 떠 있는데 서비스가 비정상

    Kolla-Ansible에서 흔히 겪는 착시입니다. docker ps나 podman ps 기준으로는 떠 있어도, 내부 서비스가 정상 등록되지 않았을 수 있습니다. 그래서 저는 항상 컨테이너 상태만 보지 않고 OpenStack API 응답까지 같이 확인합니다.

    4. Native Install의 설정 드리프트(Configuration Drift, 설정 불일치)

    처음엔 한 대에서 잘 되는데, 두 번째 노드부터 미묘하게 설정이 다르기 시작합니다. 결국 장애가 나면 원인 추적이 어려워져요. 여기서 중요한 포인트는 자동화되지 않은 반복 작업은 결국 누락을 만든다는 점입니다.

    • ⚠️ 사전 점검 체크리스트를 문서화하세요
    • ⚠️ 네트워크 맵과 인터페이스명을 먼저 확정하세요
    • ⚠️ 배포 직후 서비스 목록, 에이전트 목록, 하이퍼바이저 목록을 반드시 확인하세요
    • 💡 장애 분석 시에는 인프라 로그와 OpenStack API 결과를 같이 보세요

    검증과 결과 확인: 배포 후 무엇을 보면 되나

    Kolla-Ansible OpenStack 배포가 끝났다고 바로 안심하면 안 됩니다. 실제 검증은 이제부터거든요. 저는 보통 아래 순서로 확인합니다.

    1. Keystone 인증 정상 여부 확인
    2. Nova 컴퓨트 서비스 등록 확인
    3. Neutron 에이전트 상태 확인
    4. Horizon 대시보드 접속 확인
    5. 테스트 네트워크와 인스턴스 생성 확인
    source /etc/kolla/admin-openrc.sh
    openstack token issue
    openstack compute service list
    openstack network agent list
    openstack image list
    openstack server list

    실제로 써보니까 이 단계에서 가장 중요한 건 ‘서비스가 보이느냐’보다 ‘실제 워크로드가 도는가’였습니다. 테스트 인스턴스 하나 띄워보고, 네트워크 붙이고, 콘솔 접속까지 해보면 훨씬 확실합니다. 🎉

    OpenStack 배포 검증 결과와 Horizon 대시보드를 보여주는 이미지

    Horizon 대시보드와 CLI 결과를 통해 배포 성공 여부를 교차 검증하는 장면입니다.

    정리: 어떤 선택이 더 현실적인가

    결론부터 말씀드리면, 반복 가능한 운영 환경이 목표라면 Kolla-Ansible 쪽이 더 현실적입니다. 특히 팀 단위로 관리하거나 테스트베드를 여러 번 재현해야 한다면 OpenStack 배포 자동화의 장점이 확실히 드러납니다. 반면 Native Install은 구조 학습과 세밀한 디버깅에 강합니다. 저도 처음엔 Native Install로 내부를 익히고, 나중엔 Kolla-Ansible 쪽으로 운영 방식을 옮겨가는 흐름이 가장 자연스러웠습니다.

    혹시 지금 둘 중 하나를 선택해야 하는 상황이라면 이렇게 보시면 됩니다.

    • 빠른 표준화와 재배포가 필요하다면 Kolla-Ansible
    • OpenStack 내부 구조 학습이 우선이라면 Native Install
    • 장기 운영까지 본다면 자동화와 문서화가 쉬운 쪽을 선택

    다음 글에서는 Kolla-Ansible 환경에서 네트워크 분리와 외부망 연결, 특히 Neutron 브리지 구성을 조금 더 깊게 다뤄볼 예정입니다. 이전 글에서 다뤘던 리눅스 브리지와 VLAN 설계 내용을 같이 보시면 훨씬 이해가 빠르실 거예요.

    Kolla-Ansible OpenStack 배포와 Native Install 장단점 요약 인포그래픽

    두 배포 방식의 선택 기준과 운영 포인트를 빠르게 복습할 수 있도록 정리한 요약 인포그래픽입니다.

    자주 묻는 질문

    Q1. 처음 배우는 입장에서는 어떤 방식이 더 나을까요?

    OpenStack 구조를 제대로 익히고 싶다면 Native Install을 한 번 경험해보는 게 도움이 됩니다. 다만 실제 운영까지 바로 생각하신다면 Kolla-Ansible이 더 덜 고생스럽습니다.

    Q2. 홈랩에서는 어떤 쪽이 더 적합한가요?

    반복 실험이 많고 초기화 후 다시 띄우는 일이 잦다면 Kolla-Ansible이 편합니다. 반대로 서비스별 설정을 직접 뜯어보고 싶은 학습형 홈랩이라면 Native Install도 괜찮습니다.

    Q3. Ansible OpenStack 구성은 운영팀에도 유리한가요?

    네, 인벤토리와 변수 파일 기준으로 변경 이력을 관리하기 쉬워서 협업에 유리합니다. 특히 사람 손을 덜 타게 만드는 점이 큽니다.

    Q4. OpenStack 설치 비교에서 가장 먼저 봐야 할 기준은 뭔가요?

    설치 성공 여부보다 재현성, 운영 문서화, 장애 대응 흐름을 먼저 보시는 게 좋습니다. 결국 오래 남는 건 운영 부담이거든요.

  • [Cloud] Flux CD 마이그레이션 경험기: Argo CD와 비교하며

    [Cloud] Flux CD 마이그레이션 경험기: Argo CD와 비교하며

    13년차 인프라 엔지니어의 GitOps 전환기: Flux CD 마이그레이션과 Argo CD 비교

    안녕하세요! 13년차 인프라 엔지니어입니다. 오늘은 많은 분들이 관심을 갖고 계신 Flux CD 마이그레이션 경험에 대해 얘기해볼까 합니다. 기존에 Argo CD를 쓰다가 Flux CD로 전환을 고민 중이신 분들이나 이제 막 GitOps를 시작하려는 분들께 제 경험이 도움이 되길 바랍니다. 저도 처음에는 두 도구 사이에서 정말 많이 고민했거든요. 😅

    쿠버네티스 환경에서 애플리케이션 배포를 자동화하는 GitOps는 이제 선택이 아닌 필수가 되어가고 있습니다. Git 저장소를 단일 진실 공급원(Single Source of Truth)으로 삼아 인프라와 애플리케이션의 상태를 관리하는 방식인데요. 이 GitOps 워크플로우를 구현하는 데 핵심적인 역할을 하는 도구가 바로 Argo CD와 Flux CD입니다. 오늘은 이 두 도구를 비교하며, 제가 Flux CD v2로 마이그레이션하면서 겪었던 실제 경험과 배운 점들을 솔직하게 공유해볼게요.

    GitOps 아키텍처 개요 다이어그램: Git 저장소, GitOps 컨트롤러, 쿠버네티스 클러스터 간의 동기화 흐름

    GitOps의 기본적인 흐름과 도구의 역할을 보여주는 아키텍처 다이어그램입니다.

    1. GitOps와 CI/CD 도구, 왜 이렇게 중요할까요?

    개발자라면 누구나 ‘배포’라는 단어에 복잡한 감정을 느낄 겁니다. 빠르고 정확하게 배포하고 싶지만, 현실은 늘 예상치 못한 문제들로 가득하죠. 수동 배포는 실수를 유발하기 쉽고, 스크립트 기반 자동화는 관리 포인트가 자꾸 늘어납니다. GitOps는 이런 고민을 해결해주는 강력한 방법론입니다. Git 저장소를 통해 인프라와 애플리케이션의 상태를 선언적으로 관리하기 때문에, 누가 언제 무엇을 바꿨는지 명확하게 추적할 수 있고, 문제가 생기면 이전 상태로 롤백하기도 쉬워요. 롤백? 네, Git 커밋 하나면 끝입니다! 🎉

    이런 GitOps 환경을 구축할 때 Argo CD와 Flux CD는 대표적인 선택지입니다. 두 도구 모두 Git 저장소의 상태와 쿠버네티스 클러스터의 실제 상태를 동기화하는 역할을 하지만, 동작 방식이나 기능, 설정 방법 등에서 확실히 달라요. 제가 Flux CD로 마이그레이션하게 된 배경도 이런 차이점들과 저희 팀의 특정 요구사항 때문이었습니다.

    2. Argo CD vs Flux CD: 핵심 개념 비교

    마이그레이션 얘기를 시작하기 전에, 두 도구의 기본적인 차이를 짚고 넘어가겠습니다. 쉽게 말해, Argo CD는 Pull 방식에 집중하고, Flux CD는 GitOps Toolkit이라는 모듈식 접근 방식을 사용합니다.

    Argo CD는 클러스터 내부에 설치되어 Git 저장소를 주기적으로 폴링(polling)하며 변경 사항을 감지합니다. 사용자는 Argo CD UI나 CLI를 통해 Git 저장소와 클러스터의 동기화 상태를 쉽게 확인하고 관리할 수 있죠. 다양한 Git provider와의 통합이 잘 되어 있고, 사용자 친화적인 웹 UI가 강점입니다.

    반면 Flux CD는 GitOps Toolkit이라는 여러 컴포넌트(Source Controller, Kustomize Controller, Helm Controller, Notification Controller 등)로 구성돼 있어요. 각 컴포넌트가 특정 역할을 수행하며, 필요한 컴포넌트만 선택적으로 구성할 수 있습니다. Flux CD는 Git 저장소를 주기적으로 폴링하기보다는 Git hook이나 내부 Controller를 통해 변경 사항을 감지하는 방식을 선호하며, 좀 더 세밀한 제어가 가능하다는 특징이 있어요. 특히 Flux CD v2부터는 이런 모듈식 아키텍처가 훨씬 강화됐습니다.

    구분 Argo CD Flux CD (v2)
    아키텍처 단일 컨트롤러 기반 모듈식 GitOps Toolkit (Source, Kustomize, Helm Controller 등)
    설정 방식 Application CRD, UI, CLI Kustomization/HelmRelease CRD, CLI
    동기화 방식 주기적 폴링 (기본), Git hook 지원 Git hook (권장), 주기적 폴링
    UI 풍부하고 사용자 친화적인 웹 UI CLI 중심, 웹 UI는 제한적 (지속 개선 중)
    확장성/유연성 높음 매우 높음 (모듈식)
    학습 곡선 비교적 완만함 초기 학습 곡선 있음 (GitOps Toolkit 이해 필요)
    Flux CD v2 GitOps Toolkit 구성 요소 다이어그램: Source, Kustomize, Helm Controller 등 모듈 설명

    Flux CD v2의 핵심 컴포넌트인 GitOps Toolkit의 구조를 나타내는 다이어그램입니다.

    3. Flux CD v2 마이그레이션 여정: 삽질과 깨달음 😅

    저희는 기존에 Argo CD를 잘 사용하고 있었어요. 하지만 몇 가지 이유로 Flux CD v2로의 전환을 결정했습니다. 첫째, 클러스터의 상태를 좀 더 세밀하게 제어하고 싶다는 생각이 들었어요. Flux CD의 모듈식 아키텍처가 이런 요구를 충족해줄 수 있다고 판단했거든요. 둘째, Helm Chart 관리를 더 효율적으로 하고 싶었는데, Flux CD의 Helm Controller가 이를 잘 지원한다는 정보를 얻었습니다.

    마이그레이션 단계는 크게 다음과 같았습니다.

    1. Flux CD 설치 및 기본 설정: 먼저 클러스터에 Flux CD v2를 설치했어요. bootstrapping 과정을 통해 Git 저장소와 연결하고, 초기 동기화 설정을 완료합니다. 이때 Git 저장소의 디렉토리 구조나 접근 권한 등을 꼼꼼히 확인해야 했습니다.
    2. 기존 Argo CD 애플리케이션 전환: Argo CD에서 관리하던 Kubernetes Manifests (YAML 파일)나 Helm Charts를 Flux CD가 인식할 수 있는 형태로 변경했습니다. 저는 주로 Kustomize를 사용하고 있었기 때문에, Flux CD의 Kustomization Controller가 참조할 수 있도록 Git 저장소 구조를 조정하는 작업이 필요했어요.
    3. Helm Chart 관리 전환: Argo CD에서 Helm Release를 사용했다면, Flux CD의 Helm Controller를 사용하도록 설정 파일을 변경합니다. Helm Chart의 `values.yaml` 파일 관리 방식이나 Release 이름, 네임스페이스 등을 Flux CD의 `HelmRelease` CRD(Custom Resource Definition)에 맞게 수정해야 했어요. 이 과정에서 몇 가지 오타와 설정 누락으로 배포가 실패하는 경험도 했습니다. ⚠️
    4. 동기화 방식 검토 및 적용: Git hook을 사용할지, 주기적인 폴링을 사용할지 결정하고 설정했어요. 보안과 효율성을 고려했을 때 Git hook이 낫다고 판단하여, Git Provider (GitHub/GitLab 등)와 Flux CD 간의 Webhook 설정을 진행했습니다.
    5. 검증 및 테스트: 모든 설정이 완료된 후, 실제 애플리케이션 배포 및 업데이트를 반복적으로 테스트했습니다. 변경 사항이 제대로 Git에 반영되고, Flux CD가 이를 감지하여 클러스터에 적용하는지, 롤백은 잘 되는지 등을 꼼꼼히 확인했어요.
    Flux CD CLI를 이용한 Git 저장소 부트스트랩 및 초기 설정 화면

    Flux CD CLI를 사용하여 Git 저장소와 클러스터를 연결하고 초기 설정을 진행하는 과정의 일부입니다.

    4. ⚠️ 주의사항 및 트러블슈팅 경험

    마이그레이션 과정에서 몇 가지 예상 밖의 문제들을 겪었어요. 여러분도 이런 상황에 마주칠 수 있으니 미리 알아두시면 좋을 겁니다.

    • Git 저장소 구조 및 권한 문제: Flux CD는 Git 저장소의 특정 경로를 바라보고 동기화합니다. 처음에는 Git 저장소 구조를 Argo CD 방식 그대로 사용하려다 보니 Flux CD가 파일을 제대로 찾지 못하더라고요. Git 저장소 구조를 Flux CD가 이해하기 쉬운 형태로 재구성하는 게 중요했습니다. 또한 Git 저장소에 대한 클러스터의 접근 권한 (SSH Key 또는 Access Token) 설정이 올바르지 않으면 동기화 자체가 실패합니다.
    • HelmRelease CRD 설정 오류: Helm Chart를 관리할 때 `HelmRelease` CRD의 필드 이름을 잘못 입력하거나, 필수 값을 누락하는 경우가 있었어요. 예를 들어, `chart.spec.version` 대신 `chart.version`으로 잘못 입력한다거나, `releaseName`을 지정하지 않아 예상치 못한 이름으로 Helm Release가 생성되는 등의 문제가 발생했습니다. Flux CD의 공식 문서를 옆에 끼고 설정하는 걸 추천합니다.
    • Controller 간의 의존성 문제: Flux CD v2는 여러 Controller가 협력하여 동작합니다. Source Controller가 Git 저장소에서 소스를 가져오면, Kustomize Controller나 Helm Controller가 이를 받아 실제 리소스를 생성/업데이트하는 식이죠. Source Controller에 문제가 생기면 후속 Controller들도 제대로 동작하지 않아요. Flux CD의 각 Controller 상태를 `flux get kustomization`, `flux get helmrelease` 같은 명령어로 자주 확인하는 습관이 중요합니다.
    • 네임스페이스 (Namespace) 관리: Argo CD에서는 Application CRD에 네임스페이스를 지정하는 방식이 Flux CD의 `HelmRelease`나 `Kustomization` CRD와 조금 달라요. 기존 Argo CD에서 여러 네임스페이스에 걸쳐 리소스를 관리하고 있었다면, Flux CD에서는 각 CRD에 네임스페이스를 명확히 지정해주거나, Git 저장소 구조를 네임스페이스별로 분리하는 전략이 필요했습니다.

    가장 큰 삽질은 아마 Helm Chart의 `values.yaml`을 GitOps 방식으로 관리하면서 발생했던 버전 충돌 문제였어요. Git 저장소에서 Helm Chart를 가져오고, 이를 Kustomize로 패치하는 과정에서 버전 관리가 꼬여버렸거든요. 결국에는 Flux CD의 **`HelmRelease` CRD 내에서 `valuesFrom` 필드를 활용하여 Git 파일 참조 방식을 명확히 지정**해주고, Kustomize를 통한 패치보다는 `HelmRelease` 자체에서 값을 관리하는 방식으로 변경했어요. 이게 가장 큰 깨달음 중 하나였습니다. 💡

    Flux CD CLI를 이용한 동기화 상태 및 리소스 정보 확인 화면

    Flux CD의 CLI 명령어로 확인한 동기화 상태 및 리소스 정보를 보여주는 화면입니다.

    5. Flux CD 마이그레이션 결과: 뭐가 달라졌나? ✅

    Flux CD v2로 성공적으로 마이그레이션한 후, 저희는 몇 가지 긍정적인 변화를 경험했어요.

    • 향상된 모듈성과 유연성: GitOps Toolkit 덕분에 필요한 기능만 선택적으로 활성화하고 설정할 수 있게 됐어요. 이건 클러스터 리소스 사용량을 최적화하는 데도 도움이 되더라고요.
    • 강력해진 Helm Chart 관리: Helm Controller를 통해 Helm Chart 버전을 관리하고, `values.yaml`을 GitOps 방식으로 선언적으로 관리하는 게 훨씬 수월해졌어요.
    • 세밀한 제어 기능: Git hook을 통한 실시간 동기화, Controller별 상태 확인 등 이전보다 클러스터 상태를 더 세밀하게 제어하고 모니터링할 수 있게 됐습니다.
    • 개발팀의 GitOps 경험 개선: Git 저장소에 대한 변경 사항이 자동으로 클러스터에 반영되는 경험은 개발팀의 만족도를 높였어요. Pull Request를 통해 변경 사항을 리뷰하고 머지하는 과정이 자연스럽게 CI/CD 파이프라인으로 통합됐거든요.

    물론, Argo CD의 풍부한 웹 UI가 제공하는 편함은 Flux CD에서는 조금 줄어들었어요. 하지만 CLI의 발전과 커뮤니티의 노력으로 많은 부분이 개선되고 있고, 저희 팀은 CLI 중심의 워크플로우에 금방 익숙해졌습니다. 오히려 **CLI의 강력한 자동화 가능성** 덕분에 더 많은 부분을 스크립트로 관리할 수 있게 된 점을 긍정적으로 보고 있어요.

    Flux CD 마이그레이션 이후 CI/CD 파이프라인의 성공률 및 배포 속도 개선 지표를 시각화한 그래프입니다.

    6. 마무리하며: Flux CD와 함께하는 GitOps 여정

    Flux CD로의 마이그레이션은 분명 쉽지 않은 과정이었어요. Argo CD와는 다른 철학과 구조를 가지고 있었기에, 새로운 학습이 필요했고 예상치 못한 문제들과도 많이 씨름했거든요. 하지만 결과적으로 저희 팀은 GitOps 환경을 더욱 견고하고 효율적으로 구축할 수 있었습니다.

    핵심은 각 도구의 철학을 이해하고, 우리 환경에 맞는 방식을 선택하는 것입니다.

    • 단순하고 직관적인 GitOps 환경을 원하고, 풍부한 웹 UI가 중요하다면 Argo CD가 좋은 선택이 될 거예요.
    • 세밀한 제어, 모듈성, 그리고 강력한 Helm/Kustomize 통합을 원한다면 Flux CD v2가 매력적인 대안이 될 겁니다.

    아직 GitOps를 도입하지 않으셨거나, CI/CD 도구 전환을 고민하고 계신다면, 오늘 제가 나눈 경험이 조금이라도 도움이 되었으면 좋겠어요. 다음 글에서는 Flux CD의 특정 기능 (예: Policy as Code, Observability)에 대해 더 깊이 파고드는 내용을 다룰 예정이니 기대해주세요!

    궁금한 점이 있다면 언제든지 댓글로 남겨주세요. 함께 성장하는 엔지니어들이 되겠습니다! 감사합니다. 😊