하나의 애플리케이션을 여러 고객의 클러스터에 배포할 때 가장 먼저 생기는 문제는 템플릿이 아니라 값의 위치입니다. EKS, AKS, GKE와 온-premises가 섞이면 ingress controller, storage class, private registry, k8s 버전 차이를 모두 한 차트에 담게 되며, 조건문이 늘어난 차트는 수정할수록 검증 범위가 커집니다.
Helm 고객별 분기를 늘리는 방식은 처음에는 빠르지만, 차트가 고객 구현의 모든 예외를 흡수하면 공통 로직과 환경 설정이 뒤섞입니다. 겹겹이 쌓인 if 구문이 늘어난 차트는 수정할수록 하나의 변경이 어느 고객 구성에 영향을 주는지 파악하기 어려워지고, 결국 아무도 템플릿을 건드리지 않게 됩니다.
차트를 늘리는 것만으로는 복잡성이 해결되지 않는다
단일 차트, 다중 차트, 고객별 fork 중 하나를 고르기 전에 관리 경계를 정해야 합니다. 단일 차트는 공통 배포 흐름을 유지하기 편하지만 값과 분기가 차트 안에 축적되기 쉽습니다. fork는 고객 변경을 분리할 수 있지만 상위 업데이트와 보안 패치의 병합, 릴리스 전파가 어려워집니다. 상위 저장소에 검증된 공통 템플릿을 두고 고객은 제한된 fork로 변경 사항을 관리하는 방식이 하나의 절충안입니다.
실무상 더 중요한 것은 차트 수를 늘리는 것이 아니라, 차트가 무엇을 결정해야 하는지를 제한하는 것입니다. 컴포넌트 설치 여부처럼 구조적으로 갈라져야 하는 조건만 템플릿에 남기고, controller 이름과 annotation 같은 환경 차이는 데이터로 이동시켜야 합니다.
기본 values와 고객 overlay로 관리 지점을 분리한다
기본 values.yaml에는 공통 기본값을 두고, 고객 overlay에는 실제로 다른 값만 기록합니다. 모든 값을 고객별로 복제하면 공통 차트 수정과 고객 설정 변경을 구분하기 어렵습니다. 차이점만 저장하면 고객 간 비교와 특정 구성 재현이 쉬워지고, 차트 변경의 영향 범위도 줄일 수 있습니다.
Helm은 여러 values 파일을 순서대로 합칠 수 있습니다. 아래 예시는 공통 기본값 뒤에 고객별 overlay를 적용합니다.
helm template./chart -f values/base.yaml -f values/customer-a.yaml
helmfile -f environments/eks.yaml apply
이 조합은 helmfile이나 Kustomize로 자동화할 수 있습니다. Kustomize는 values로 표현하기 어려운 리소스 차이를 patch로 분리한다는 장점이 있지만, 차트 유형을 바꾸거나 일부 고객만 별도 배치로 옮길 때 관리 포인트를 나누어야 합니다.
버전 분기는 Capabilities로 줄인다
Kubernetes 버전과 API 지원 여부는 고객별 플래그 대신 Helm Capabilities로 판정할 수 있습니다. 템플릿은 .Capabilities.KubeVersion과 .Capabilities.APIVersions.Has를 활용하고, CI에서는 대상 버전을 명시해 렌더링해야 합니다.
helm template./chart --kube-version 1.30 --api-versions networking.k8s.io/v1/Ingress
단, helm template은 클러스터와 직접 통신하지 않으므로 버전과 API 목록을 전달하지 않으면 기본값을 기준으로 렌더링됩니다. ingress의 className, annotations, storageClassName은 controller 이름을 분기하지 않고 values로 전달하는 편이 유지보수상 적합합니다.
중앙 저장소와 회귀 테스트로 배포를 통제한다
FluxCD나 Argo는 차트를 고치는 도구라기보다 중앙 소스의 차트와 values 조합을 각 고객 클러스터에 동기화하는 fleet 관리 도구로 사용합니다. 저장소 구조와 클러스터별 등록 정보를 분리하면 동기화 경로를 표준화할 수 있습니다. Argo를 플랫폼 차트 참조 방식으로 사용하는 구조도 운영 선택지입니다.
차트 변경은 한 고객의 화면만 보고 승인하면 안 됩니다. CI에서 대표 고객 유형을 렌더링하고 변경된 리소스와 실패 조건을 비교하는 배포 회귀 테스트가 필요합니다. 아티팩트와 마찬가지로 변형 수를 제한하고 semantic versioning을 적용하며, breaking change와 업그레이드 방법을 릴리스 노트에 남겨야 합니다. PR에는 영향을 받는 고객 유형과 아키텍처를 짧게 적어 리뷰 가능성을 확보합니다.
원문의 실무 논의는 55개 고객 클러스터에서 단일 Helm 차트를 유지하는 문제를 다룹니다. 핵심은 자동화 도구를 추가하는 것보다 차트, 값, 배포 파이프라인, 변경 관리의 책임을 분리하는 데 있습니다.
현실적인 한계와 피해야 할 안티패턴
계층형 values로 옮기는 동안 중복 값과 잘못된 override가 발견될 수 있습니다. 값이 너무 많으면 차트 대신 값 관리만 복잡해지므로, 공통 기본값으로 충분한 항목을 계속 줄여야 합니다. FluxCD로 차트 유형을 변경할 때도 일부 고객만 별도 배치로 전환하는 것은 상당한 충돌을 만들 수 있습니다.
가장 위험한 접근은 고객별 조건문을 계속 차트에 추가하거나 모든 예외를 중앙 차트가 직접 관리하는 것입니다. 반대로 고객에게 차트를 완전히 맡기는 fork만 남기면 업데이트와 패치 전파가 느려집니다. 공통 상위 저장소, 제한된 고객 overlay, 자동 렌더링 검증, 명시적인 변경 정책을 함께 운영해야 합니다.
지금 바로 해볼 것
- 현재 템플릿의 조건문을 분류하고 컴포넌트 설치 여부와 데이터 차이를 분리합니다.
- 공통
values/base.yaml과 고객별 overlay를 만들고helm template로 실제 결과를 비교합니다. - 고객별 Kubernetes 버전과 API 목록을 CI 렌더링 옵션에 반영합니다.
- ingress class, annotation, storage class를 values로 이동해 controller 이름 분기를 제거합니다.
- FluxCD 또는 Argo 저장소에서 고객 조합을 참조하고, 대표 고객군 전체의 렌더링 회귀 테스트를 추가합니다.
참고 원문
이 기사는 다음 원문을 확인해 작성했습니다: r/devops — How do you maintain one Helm chart across 50+ customer clusters you don’t control

답글 남기기