[태그:] 데이터 엔지니어링

  • Copilot이 짜주는 SQL은 검토해도 “왜 이 설계인가”에는 답이 없다 — 데이터 엔지니어링 fundamentals의 진짜 가치

    Copilot이 짜주는 SQL은 검토해도 “왜 이 설계인가”에는 답이 없다 — 데이터 엔지니어링 fundamentals의 진짜 가치

    데이터 파이프라인이 점점 더 복잡해지는 회사에서 3년 차 데이터 엔지니어가 흔히 부딪히는 장면이 있다. GitHub Copilot이나 Cursor가 Airflow DAG를 순식간에 뽑아내고, dbt 모델 코드도 한 줄씩 자동 완성해 준다. 옆자리 20년 차 시니어는 “이제 코딩은 AI가 99% 한다”고 말하면서 리뷰할 코드량을 줄여 나간다. 그런데 정작 본인이 머지하려고 손을 올리면 갑자기 막막해진다. 이 DAG가 우리 도메인의 어느 SLO를 만족하는지, 이 테이블 파티션 키 선택이 6개월 후 백필 비용 곡선을 어떻게 바꾸는지, 이 조인이 다음 분기 트래픽 3배 증가 시 어디서 터질지 — 이런 질문에는 AI 출력 어디에서도 답이 찾을 수 없다.

    화면 너머의 비슷한 고민은 시니어 개발자의 무게중심 이동을 다룬 칼럼에서도 반복적으로 다뤄진다. ‘구현 속도’와 ‘설계 판단력’은 다른 차원의 역량인데, AI 도구들이 전자를 너무 잘해 주기 때문에 후자가 오히려 가려지는 현상이 나타나고 있다. 원글의 질문자가 경험하는 답답함의 본질은 ‘AI가 정말로 무엇을 할 수 있고 무엇을 못 하는가’에 대한 경계가 흐려졌다는 데 있다.

    왜 AI 도구 도입만으로는 해결되지 않는가

    이런 혼란이 발생하는 이유는 ‘로컬 함수 단위 코딩’과 ‘데이터 시스템 설계’를 같은 평면에서 비교하기 때문이다. AI 코딩 어시스턴트가 잘하는 영역은 ‘주어진 입력에 대해 그럴듯한 코드를 빠르게 생성하는 것’으로 한정된다. 입력 프롬프트에 ‘이 파이프라인이 왜 필요한지’, ‘어떤 비즈니스 의사결정을 지원하는지’, ‘실패 시 어떤 재처리 정책이 허용되는지’가 포함되어 있지 않으면, 출력은 문법적으로 멀쩡하지만 시스템적으로는 의미 없는 코드가 된다.

    시니어의 “99% 대체 가능” 발언도 같은 함정에 빠져 있다. 20년 차가 ‘내 코딩’이라고 칭하는 범위는 실제로는 자기 자리에서 짜는 함수, SQL, 단위 테스트 정도로 좁다. 그런데 데이터 엔지니어링 fundamentals의 가치가 발생하는 지점은 그런 로컬 코드가 아니라, ‘이 모델의 파티션 전략이 1년 후 비용 곡선을 어떻게 바꾸는가’, ‘이 리니지 그래프가 깨졌을 때 어느 다운스트림 팀이 영향을 받는가’, ‘이 SLA를 30분으로 잡으면 비즈니스와 어떤 계약이 성립하는가’ 같은 시스템 차원의 결정이다. 로컬 코드 자동화가 99% 달성되어도 시스템 결정은 사람의 머리에서 나온다. 이 구조적 차이를 인식하지 못하면, AI 도구가 늘어날수록 엔지니어의 진짜 역량은 퇴화한다.

    검증 가능한 3단계 학습 프레임워크

    이 문제를 실무에서 다룰 때 효과적인 워크플로우가 정착되어 있다. 핵심은 ‘사람이 의도를 먼저 종이에 적고, AI는 번역만 맡기며, 출력은 시스템 질문으로 검증한다’는 3단계 분리다.

    첫 번째 단계는 ‘종이에 의도를 먼저 그리기’다. 데이터 컨트랙트(data contract)를 명시적으로 정의하고, 파이프라인 인텐트(intent)를 사람 사이의 합의 문서로 만든다. 다음은 실무에서 자주 쓰는 컨트랙트 스켈레톤이다.

    # data_contract.yaml
    domain: order_fulfillment
    producer: orders-api
    consumer: [revenue_dashboard, fraud_detection]
    schema:
      order_id: string
      amount_cents: bigint
      status: enum
    sla:
      freshness_minutes: 15
      availability: 99.9
    lineage_required: true
    owner: data-platform-team
    

    이런 컨트랙트가 고정되어야 그 위에 어떤 코드를 얹든 평가 기준이 생긴다. AI에게 “이 컨트랙트를 만족하는 dbt 모델 작성해줘”라고 던지면, 출력된 코드의 의미가 사람이 정의한 의도와 비교 가능해진다. 이 단계에서 AI 에이전트 권한 관리 3축 프레임워크에서 강조한 ‘스코프·정체성·로그’ 통제 원칙이 동일하게 적용된다. AI가 컨트랙트 밖의 스키마를 임의로 추가하지 못하도록 가드레일을 미리 세팅하는 것이 필수다.

    두 번째 단계는 ‘검증 가능한 게이트’다. dbt 프로젝트에 dbt-expectations 또는 Great Expectations를 얹어 모델 단위로 데이터 품질 expectation을 코드로 선언한다.

    # fct_revenue 모델에 부착할 expectation 예시 (schema.yml)
    models:
      - name: fct_revenue
        tests:
          - dbt_expectations.expect_column_values_to_not_be_null:
              column_name: order_id
          - dbt_expectations.expect_column_values_to_be_between:
              column_name: amount_cents
              min_value: 0
              max_value: 100000000
          - dbt_expectations.expect_table_row_count_to_be_between:
              min_value: 1000
              max_value: 10000000
          - dbt_expectations.expect_column_values_to_match_regex:
              column_name: status
              regex: "^(PENDING|PAID|REFUNDED|CANCELLED)$"
    

    이 expectation이 깨지면 CI 단계에서 머지를 자동으로 차단하도록 설정한다. Airflow 또는 Dagster 환경이라면 OpenLineage를 태스크에 붙여 리니지 이벤트를 발행하고, ‘이 컬럼이 어느 소스에서 와서 어떤 다운스트림 모델을 거쳐 대시보드까지 도달하는지’를 추적 가능하게 만든다. AI가 생성한 DAG가 기존 리니지와 깨지면 마찬가지로 CI에서 거부된다. 결국 ‘리뷰를 생략해도 되는가’에 대한 실무적 답은 ‘리뷰를 자동 게이트로 옮긴다’가 된다.

    세 번째 단계는 ‘왜 이 선택인가’를 묻는 훈련이다. AI가 만들어준 파티션 키, 조인 전략, 재처리 정책에 대해 ‘왜 이 옵션을 골랐는가 / 어떤 대안과 비교했는가 / 어떤 트레이드오프를 감수했는가’를 PR 리뷰에서 명시적으로 묻는 습관을 들인다. 이 질문이 평소에 잘 쌓여야 5년 차 이상으로 도약할 때 필요한 시스템 근육이 만들어진다. 학습 자원은 신기술 API 문서보다 ‘Designing Data-Intensive Applications’ 류의 시스템 설계 원서와 사내 장애 사후 분석 문서가 훨씬 ROI가 높다. 신기술 API는 한 번 익히면 끝이지만 시스템 사고는 매번 다른 사례로 반복되기 때문이다.

    도입 시 현실적 제약과 자주 깨지는 패턴

    가장 위험한 안티패턴은 AI가 생성한 SQL, PySpark, Airflow DAG를 리뷰 없이 머지하는 것이다. Copilot이 ‘문제 코드를 알아서 플래그한다’는 기대는 함수 단위 버그에는 유효하지만, 조인 폭발, 백프레셔 누락, 스키마 드리프트처럼 데이터 엔지니어링 fundamentals 영역의 특유 결함은 자동으로 잡히지 않는다.

    두 번째 안티패턴은 ‘AI가 곧 fundamentals를 다 해줄 것’이라고 학습을 보류하는 것이다. 사고 실험과 장애 대응 훈련을 건너뛰면, 시스템 근육이 약화된 상태에서 시니어 자리로 올라가게 되어 결국 같은 종류의 사고를 반복한다. 세 번째는 AI 출력물을 ‘통째로 받아쓰는 학습’이다. 표면적 문법 습득에는 효과적일 수 있지만, ‘왜 이렇게 설계하는지 묻는 힘’은 길들여지지 않는다.

    도입 비용 측면에서는 dbt-expectations, OpenLineage 같은 도구 자체는 오픈소스로 무료지만, 기존 파이프라인에 expectation과 리니지를 붙이는 초기 마이그레이션 공수가 만만치 않다. 이미 운영 중인 수십 개 모델에 expectation을 후행으로 박는 일은 통상 2~3 인월에 걸쳐 진행된다. 팀 간 협업 측면에서는 데이터 컨트랙트가 프로듀서 팀과 컨슈머 팀의 공식 합의가 되어야 효과가 있는데, 이를 조직 차원에서 제도화하지 않으면 형식적인 yaml 파일로 전락한다. 사내 데이터 거버넌스 회의에서 컨트랙트 승인을 표준 안건으로 다루는 운영 규칙이 함께 필요하다. expectation이 너무 빡빡하게 걸리면 정상 트래픽 변동에서도 머지가 자주 막혀 개발자 마찰이 커지므로, 임계치는 분포 기반의 경고 단계와 하드 차단 단계를 분리해 두는 것이 운영상 안전하다.

    지금 바로 해볼 것

    • 본인 팀이 운영하는 파이프라인에서 ‘AI가 생성했지만 리뷰가 거의 없는 PR’을 골라, ‘왜 이 파티션 키인가 / 왜 이 SLA인가’라는 시스템 질문을 코멘트로 달아 보기.
    • 가장 중요한 모델 하나를 골라 dbt-expectations로 freshness·null 비율·분포 expectation을 코드로 선언하고 CI 게이트에 연결.
    • Airflow 또는 Dagster 태스크 한두 개에 OpenLineage를 붙여 동일 모델의 리니지가 한눈에 보이는지 확인.
    • 사내 장애 사후 분석 문서 1건을 골라 ‘이 결정이 어디서 어떻게 잘못되었는가’를 30분 동안 펜으로 다시 그려 보고, 같은 결정을 피할 데이터 컨트랙트 항목을 도출.
    • 다음 분기 학습 계획을 ‘신기술 라이브러리 API 10개’에서 ‘시스템 설계 원서 1권 + 사내 postmortem 5건 정독’으로 재편.