핵심 요약
- Olmo-core 3는 대규모 언어모델 개발 프레임워크의 유의미한 업그레이드로, 오픈소스 혼합전문가(MoE) 학습 시스템을 재설계해 공개한 결과물이다.
- 이 시스템은 활성 파라미터 수를 토큰당 약 3.2B로 거의 고정하면서도, 전문가 풀을 8개에서 128개로 확장하는 벤치마크에서 학습 처리량 감소폭을 5% 미만으로 유지했다.
- 동일 벤치마크에서 총 파라미터 용량은 4.6B에서 47B로 증가했고, 같은 인프라가 1조(1 trillion) 파라미터 이상의 규모에서도 검증되었다.
분석
올모코어3가 공개한 숫자는 단순한 프레임워크 업데이트가 아니다. AllenAI가 내놓은 올모코어3는 활성 파라미터를 토큰당 약 3.2B로 거의 고정한 채 전문가 풀을 8개에서 128개로 16배 늘렸는데, 학습 처리량 감소폭이 5% 미만이었다. 같은 실험에서 총 파라미터 용량은 4.6B에서 47B로 10배 이상 뛰었고, 1조(1 trillion) 파라미터급 구성에서도 같은 스택이 동작하는 것이 확인됐다.
필자는 이 지점이 가장 의미 있다고 본다. 대규모 MoE 학습의 핵심 비용은 전문가 수를 늘릴 때 발생하는 라우팅·통신 오버헤드인데, 올모코어3는 그 병목을 설계 단계에서 상당 부분 해소했다는 인상을 준다.
올모코어3의 8→128 전문가 확장
처리량 5% 미만 손실은 결과만 보면 마법처럼 들린다. 하지만 MoE는 토큰당 일부 전문가만 활성화하는 스파스 모델이라, 활성 파라미터 수가 학습 연산량과 직접 연결된다. 올모코어3가 활성 파라미터를 3.2B 근처에 묶어둔 채 총 파라미터만 키운 것은 학습 FLOPs를 거의 유지하면서 모델 용량만 늘리는 트레이드오프다.
물론 활성·비활성 전문가의 메모리 상주, 그래디언트 동기화, 라우터 부하 같은 비용이 모두 사라지지는 않는다. 5% 미만 수치를 유지했다는 사실 자체가 부대 비용을 분산시키는 통신 스택과 스케줄러 개선이 일정 수준 이상이라는 뜻이다.
올모 스파스 학습 스택의 진화
올모코어3는 단독 출현이 아니다. AllenAI의 스파스 학습 계보는 OlmoE, 즉 64개 라우팅 전문가를 사용한 MoE 구조까지 거슬러 올라간다. Olmo 3가 밀집(dense) 구조로 갈라진 반면, 올모코어3는 다시 스파스 학습 스택을 이어받았다.
| 구분 | OlmoE | Olmo 3 | 올모코어3 |
|---|---|---|---|
| 구조 | MoE (64 라우팅 전문가) | 밀집(dense) | MoE (스파스 학습 스택) |
| 주요 초점 | 전문가 라우팅 검증 | 밀집 학습 최적화 | 대규모 스파스 인프라 |
| 검증 스케일 | 중형 | 중형 밀집 | 47B ~ 1조 파라미터급 |
| 공개 범위 | 모델 위주 | 모델+코드 일부 | 학습 스택 전체 |
실무자가 주목할 행은 마지막 줄이다. 올모코어3는 모델 가중치만이 아니라 학습 스택 자체를 오픈소스로 공개한 점에서 이전 세대와 결이 다르다.
MoE 딜레마 — 올모코어3 이후의 쟁점
MoE의 한계는 잘 알려져 있다. 토큰이 일부 전문가만 활성화하기 때문에 더 많은 학습 가능 요소를 담을 수 있지만, 전체 모델은 여전히 GPU 메모리에 상주하고 매 스텝마다 갱신돼야 한다. 총 파라미터가 늘면 메모리·통신 비용이 선형 이상으로 커진다.
올모코어3의 5% 미만 수치는 이 딜레마가 사라졌다는 뜻이 아니다. 라우팅·통신 비용이 효율성 이점을 잠식하기 직전까지 분산 가능하다는 것을 시연했다는 의미다. 실무자 입장에서 눈에 띄는 건, 이 균형점이 어디까지 버티느냐가 다음 1~2년의 핵심 변수라는 점이다.
올모코어3가 여는 오픈 인프라
공개 자체에도 가치가 있다. 1조 파라미터급 학습 스택이 오픈소스로 풀리면 대규모 컴퓨팅을 자체 운용하지 않는 학술 연구진이나 소규모 랩도 동일한 통신·라우팅 패턴을 자기 인프라에 이식할 수 있다. 원문에서 AllenAI 측은 올모코어3 학습 스택의 통신·라우팅 최적화에 집중했다고 밝히고 있다. (올모코어3 발표 노트)
지금 바로 해볼 것
- 올모코어3 공개 레포지토리에서 라우팅 스케줄러 코드를 내려받아 8~32 전문가 구성으로 소규모 재현 실험을 설계한다.
- 자체 MoE 학습 시 GPU 간 all-to-all 통신 로그를 수집해 5% 미만 손실 기준선과 비교한다.
- OlmoE와 올모코어3의 라우터 손실 곡선을 같은 토큰 수 기준으로 그려 전문가 수 증가가 수렴에 미치는 영향을 점검한다.
- 1조급 구성 여건이 안 되면 47B에서 활성 파라미터를 3.2B 근처로 묶는 설정을 우선 검증한다.
- 팀 위키에 올모코어3 도입 검토 페이지를 만들고 메모리 상주 비용과 통신 오버헤드를 별도 섹션으로 추적한다.
자주 묻는 질문
올모코어3는 OlmoE와 무엇이 다른가요?
OlmoE가 64개 라우팅 전문가로 구조를 검증한 세대라면, 올모코어3는 그 스파스 학습 스택을 128개 전문가, 47B~1조 파라미터 규모에서도 동작하도록 다시 설계한 결과물입니다. 공개 범위도 모델에서 학습 인프라로 확장됐습니다.
5% 미만 처리량 손실은 어떻게 달성했나요?
활성 파라미터를 토큰당 약 3.2B로 거의 고정한 채 전문가 풀만 늘려 학습 FLOPs 증가를 억제했기 때문입니다. 라우팅·all-to-all 통신 부하를 분산하는 스케줄러 개선이 뒤받춰졌다고 AllenAI 측은 설명합니다.
소규모 팀도 활용할 수 있나요?
1조 파라미터 학습을 그대로 재현하기는 어렵지만, 공개된 학습 스택의 통신·라우팅 패턴을 소규모 구성에 이식하는 것만으로도 자체 MoE 파이프라인의 병목을 진단하는 데 충분합니다.
밀집 모델을 곧 대체할까요?
단기적으로는 아닙니다. 메모리에 전체 모델을 상주시켜야 하는 MoE의 구조적 한계가 남아 학습 효율과 추론·배포 비용 사이의 트레이드오프는 계속 존재합니다.
쟁점 정리
올모코어3가 5% 미만 처리량 손실을 보여준 것은 MoE의 통신·라우팅 비용이 설계로 흡수 가능하다는 첫 신호다. 다만 이 균형점이 1조 파라미터 너머에서도 유지될지는 아직 검증되지 않았고, 총 파라미터 증가에 따른 메모리 상주 비용은 그대로 남는다. 학습 스택이 오픈소스로 풀린 만큼, 다음 1~2년은 다양한 하드웨어 구성에서 이 균형점이 어디까지 버티는지를 외부 연구진이 직접 측정해 줄 구간이다.
참고 원문
이 기사는 다음 원문을 확인해 작성했습니다: Hugging Face Blog — Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
