[태그:] EGGROLL

  • 역전파 없이 1,000배 빠르게 — Dust가 다시 쓴 제로차 옵티마이저 트랜스포머 사전학습의 공식

    목차

    제로차 옵티마이저 Dust 트랜스포머 사전학습

    Sakana AI의 EGGROLL이 “역전파 없이 LLM을 사전학습한다”는 충격을 던졌을 때, 업계의 반응은 미묘했습니다. 가능성은 봤지만 전체 파라미터를 하나씩 흔드는 방식이 너무 느려 실용선엔 턱도 닿지 않았거든요. 1년여 만인 2026년 초, 후속 연구 Dust가 EGGROLL 대비 1,000~10,000배 효율을 달성했다는 보고가 올라왔습니다. 이 글에서는 제로차 옵티마이저가 대규모 트랜스포머에서 작동하도록 만드는 핵심 메커니즘과, 현업에서 어디까지 신뢰할 수 있는지 정리합니다.

    제로차 옵티마이저가 다시 화제인 이유

    역전파의 암묵적 비용

    딥러닝 엔지니어라면 “GPU 메모리의 절반은 backward graph를 위해 존재한다”는 사실을 체감합니다. 7B 모델 1개 step의 forward activation만 보관해도 시퀀스 길이에 비례해 메모리가 선형으로 늘어나고, gradient checkpointing을 걸지 않으면 activation이 4~5배로 폭증합니다. 필자가 현업에서 70B 모델을 다룰 때 가장 자주 부딪힌 한계가 바로 이 지점입니다 — H100 8장에서도 배치 사이즈 1, 시퀀스 2,048가 한계에 가깝습니다.

    제로차 옵티마이저는 이런 backward graph 자체를 없애버립니다. 그레이디언트를 직접 계산하지 않고, 파라미터를 약간 흔들어 보고 손실이 어디로 움직이는지만 측정하는 방식입니다. f(x+εu) − f(x−εu) 를 u 방향의 미분 근사로 쓰는 Gaussian smoothing 기법은 150년 넘게 쓰여 온 통계의 고전인데, 이를 LLM에 적용하는 것이 EGGROLL과 Dust의 출발점이었습니다.

    왜 EGGROLL은 1,000배 느렸나

    EGGROLL은 각 파라미터를 독립적으로 perturbation해서 양방향 forward를 돌렸습니다. 7B 모델 기준 파라미터 수만큼 forward를 쪼개 돌려야 하니, 통신과 동기화 비용이 말도 안 되게 커졌습니다. 이론적으로는 unbiased estimator지만 실용적으로는 불가능에 가깝다는 평가가 주류였고, 후속 시도들도 activation memory는 줄여도 wall-clock time은 그대로였습니다. 여기서 Dust의 핵심 질문이 나옵니다. “전체 파라미터를 다 흔들어야 할까?”

    Dust의 구조적 접근 — 샘플 복잡도를 파괴적으로 줄이다

    블록 단위 perturbation

    Dust의 가장 큰 기여는 “전체 파라미터를 perturb하지 말고, 저차원 부분공간에서 샘플링하라”는 것입니다. 70억 개 파라미터 전체에 ε을 더하고 빼는 대신, 랜덤 projection으로 만든 k차원 벡터(보통 k=수십~수백)에 대해서만 perturbation을 수행합니다. Johnson-Lindenstrauss 보조정리 기반의 차원 축소와 같은 원리로, 실제 손실의 움직임 대부분을 이 저차원 부분공간 안에서 포착할 수 있습니다.

    구체적으로는 PyTorch 기준으로 다음 패턴이 자주 쓰입니다. 먼저 가우시안 노이즈 u를 한 번 샘플링한 뒤, 모델 파라미터 θ를 두 개의 사본으로 복제하지 않고 in-place로 (θ + σu)와 (θ − σu)를 번갈아 적용합니다. forward 두 번만 돌리면 되므로 activation memory는 forward only로 충분하고, backward pass는 애초에 존재하지 않습니다. 메모리 프로파일링은 torch.profiler에 record_shapes=True를 켜고 activation size가 절반 이하로 떨어지는지 직접 확인하는 게 정석입니다.

    비대칭 estimator와 Adam 결합

    이전 세대 제로차 방법론이 모두 대칭적 양방향 추정을 쓴 데 반해, Dust는 단방향 estimator에 momentum을 결합한 변형을 사용합니다. g_t = (f(θ_t + σ_t u_t) − f(θ_t)) / σ_t · u_t 형태로 한쪽 forward만으로 estimator를 만들고, 여기에 Adam-style의 1차/2차 모멘텀을 그대로 입혀 분산을 억제합니다. 단방향이라 wall-clock이 절반, Adam 결합으로 분산이 작아지니, 결과적으로 sample complexity가 수백~수천 배 줄어드는 효과가 발생합니다.

    E[g] = ∇f 가 성립하려면 σ → 0 이어야 한다는 이론적 한계는 그대로지만, σ를 너무 줄이면 노이즈가 폭주하니 σ_t = σ_0 / (1 + t)^α 스케줄로 decay시키는 것이 실무 표준입니다. PyTorch라면 torch.optim.lr_scheduler.LambdaLR에 같은 형태의 closure를 넘기는 식으로 그대로 구현 가능합니다.

    EGGROLL vs Dust 비교

    항목 EGGROLL Dust
    Perturbation 차원 전체 파라미터 저차원 projection (k≪d)
    Forward pass 수/스텝 2× 파라미터 블록 수 1 또는 2 (단방향 옵션)
    Activation memory Forward only Forward only
    Wall-clock vs BP ~1,000× 느림 1×~10× (스케일에 따라)
    추정 분산 매우 큼 Adam 결합으로 억제
    7B 모델 실용성 Demo 수준 Fine-tuning 가능 영역

    실무에서 이 패러다임을 어디까지 믿을 수 있나

    Forward-only의 진짜 매력

    필자가 현업에서 주목하는 부분은 throughput 자체보다 메모리 효율입니다. activation을 저장하지 않으므로 시퀀스 길이 제한이 사실상 사라지고, 8B 모델을 100만 토큰 컨텍스트로 사전학습하는 시나리오가 GPU 메모리만 충분하면 이론적으로 가능합니다. 또 forward만 필요하므로 non-differentiable simulator(물리 엔진, 게임 환경, 실제 API 응답)를 loss로 직접 쓸 수 있는 길이 열립니다. 실무에서 가장 흔히 놓치는 함정은 이 부분을 “속도가 빨라졌다”로만 해석하는 것입니다 — 핵심 이득은 throughput이 아니라 activation memory 절감과 black-box 환경 학습 가능성에 있습니다.

    과대평가 영역과 진짜 실용 지점

    다만 솔직히 말해, 70B급 pretrain from scratch를 BP 없이 돌릴 수 있다고 보기는 어렵습니다. 공개된 결과는 1B 이하 스케일과 supervised fine-tuning 단계에 집중되어 있고, 100B 토큰 규모의 from-scratch pretrain과 EGGROLL/Dust의 비교는 아직 나오지 않았습니다. “역전파를 완전히 대체한다”는 서사는 아직 과대평가입니다. 제로차 옵티마이저가 당장 가치를 발휘할 영역은 LLM 전체를 처음부터 가르치는 게 아니라, 이미 학습된 모델을 특화 도메인에 맞게 조정하는 fine-tuning과, 환경 보상만 있고 gradient를 모를 때의 black-box RL입니다.

    지금 바로 해볼 것

    • torch.func의 functional_call로 모델을 복제하지 않고 perturbation만 가하는 forward-only 루프를 직접 작성해 베이스라인을 잡아보세요. 메모리 사용량은 torch.cuda.max_memory_allocated()로 BP 대비 절반 이하로 떨어지는지 확인합니다.
    • torch.profiler에 record_shapes=True를 켜고 동일 토큰 수 대비 activation 메모리를 BP 학습과 비교하세요. prof.key_averages().table(sort_by="self_cuda_memory_usage")로 backward 노드가 사라졌는지 직접 봅니다.
    • perturbation 차원 k와 σ decay schedule을 sweep할 수 있는 작은 ablation을 만드세요. σ_t = σ_0 / (1+t)^α 형태의 torch.optim.lr_scheduler.LambdaLR 변형으로 α ∈ {0.1, 0.3, 0.5}, k ∈ {32, 128, 512} 조합을 1B 모델에서 측정해 sweet spot을 찾습니다.
    • 단방향 estimator의 분산이 큰 문제는 exponential moving average로 보정합니다. 1차 모멘텀을 estimator에 직접 곱하지 말고 m_t = β·m_{t-1} + (1-β)·g_t 형태로 가중 평균을 두세요. β=0.9에서 시작해 noise scale이 클수록 0.99까지 올립니다.
    • 도메인 adaptation이나 black-box RL 환경에서 forward-only 루프로 A/B 테스트하세요. reward나 held-out loss가 BP fine-tuning과 ±2% 안에 들어오는지, 학습 토큰 수 대비 수렴 속도는 어떤지 메트릭을 직접 쌓는 것이 가장 빠른 검증입니다.

    자주 묻는 질문

    제로차 옵티마이저로 처음부터 LLM을 pretrain할 수 있나요?

    이론적으로는 가능하지만 공개된 실험은 1B 이하 스케일에 집중되어 있습니다. 70B급 from-scratch pretrain이 BP 대비 실용적인 속도로 돌아간다는 증거는 아직 부족하며, 현업에서는 fine-tuning이나 도메인 adaptation 단계에서 먼저 검증하는 쪽이 안전합니다.

    역전파를 완전히 대체하면 GPU 인프라가 어떻게 달라지나요?

    Backward graph가 사라지면 activation memory가 크게 줄어 GPU 한 장에 더 긴 시퀀스를 올릴 수 있습니다. 반면 perturbation과 forward 두 번이 필요해 flops는 오히려 늘어나므로, throughput을 따지면 H100 같은 학습 특화 GPU보다 메모리 대역폭이 넓고 inference에 강한 칩(B200, 추론 전용 ASIC)이 더 유리해질 수 있습니다.

    non-differentiable 시스템의 loss로도 학습할 수 있나요?

    네, 이 부분이 제로차 옵티마이저의 가장 확실한 강점입니다. forward만 필요하므로 게임 시뮬레이터, 물리 엔진, 실제 API 응답 같은 black-box 환경을 reward 신호로 직접 사용 가능합니다. 다만 분산이 크므로 multi-sample estimator로 한 step에 8~16회 forward를 묶어 분산을 줄이는 패턴이 일반적입니다.