[태그:] TimesFM-3

  • TimesFM-3, 3.3억 파라미터로 다변량 시계열을 정조준한 구글의 다음 수

    TimesFM-3, 3.3억 파라미터로 다변량 시계열을 정조준한 구글의 다음 수

    TimesFM-3
    구글 AI의 시계열 파운데이션 모델 'TimesFM-3' 공개와 다변량 예측 전환

    핵심 요약

    • TimesFM-3는 3억 3천만 파라미터 규모의 시계열 파운데이션 모델로, 단일 forward pass로 여러 관련 시계열을 동시에 예측한다.
    • 2.5까지의 모든 TimesFM 체크포인트는 단변량(univariate) 전용이었으나, TimesFM-3는 처음부터 다변량(multivariate) 예측을 위해 사전학습되었다.
    • 1조 개 이상의 시점에서 실제 및 합성 시계열 데이터로 사전학습되었으며, 다중 타깃, 과거 공변량(past covariates), 과거-미래 공변량(past-future covariates)을 작업별 미세조정 없이 zero-shot으로 입력받는다.

    분석

    목차

    TimesFM-3가 선언한 다변량 시대

    TimesFM-3를 한 문장으로 정의하면 이렇다. 3.3억 파라미터로 다변량 시계열을 zero-shot으로 받는 구글의 새 파운데이션 모델이다. 한 forward pass로 여러 관련 시계열을 동시에 예측한다. 여기서 필자가 가장 의미 있다고 본 지점은, 2.5까지의 모든 TimesFM 체크포인트가 단변량 전용이었다는 사실이다. 기존 모델은 “온도 하나”나 “매출 하나”를 독립적으로 예측하느라, 변수 간 상관관계를 매번 손으로 모델에 알려줘야 했다. TimesFM-3는 처음부터 다변량 native로 설계된 첫 번째 버전이라는 점에서 갈라선다.

    TimesFM-3의 핵심 변화: 1조 시점 학습과 공변량 zero-shot

    핵심 수치를 먼저 보자. 3.3억 파라미터, 1조 개 이상의 시점에서 실제·합성 데이터로 사전학습, 디코더 전용 트랜스포머 유지. 모델 크기 자체는 기존 대비 큰 변화는 아니지만, 학습 데이터 규모와 입력 설계가 본질적으로 다르다. 가장 눈에 띄는 건 공변량 처리다. 다중 타깃, 과거 공변량, 과거-미래 공변량을 별도 미세조정 없이 zero-shot으로 입력받는다. 다시 말해, “내일 비가 온다”는 일기예보 정보처럼 미래에 미리 알려진 변수를 모델이 인지한 채로 예측을 수행한다.

    아키텍처 핵심 3가지

    필자가 아키텍처를 들여다보면서 실무자 입장에서 주목한 부분은 세 가지다.

    • 32스텝 패치 토크나이저: 연속된 시점을 32스텝 단위 패치로 묶어 트랜스포머 입력 길이를 줄인다. 시계열별로 정규화하기 때문에 스케일 차이(매출은 백만 단위, 전환율은 0~1 사이)가 서로 잡음을 주지 않는다.
    • 2D 그리드 어텐션: 입력 토큰이 2D 그리드(시계열 축 × 시간축)를 통과하며 두 가지 교대 어텐션 메커니즘으로 처리된다. 변수 간 의존성과 시간적 패턴을 분리해 학습한다.
    • Lookahead 방식 공변량 인코딩: 과거-미래 공변량 토큰이 현재 패치와 미래 패치를 결합해 입력된다. 예정된 이벤트를 모델이 사전에 인지하도록 설계된 부분이다.

    이 구조는 AI 칩 아키텍처 6가지에서 다룬 데이터 흐름 분리 사고방식과 닮아 있다. 시계열의 “데이터”를 어떻게 잘게 쪼개고 어디서 다시 합치느냐가 성능을 가른다.

    벤치마크: 세 곳 모두 1위

    평가는 세 곳에서 진행됐다. GIFT-Eval, fev-bench, TIME 리더보드. 세 벤치마크 모두 사전학습된 파운데이션 모델 중 point metric과 probabilistic metric 양쪽에서 최고 평균 순위를 기록했다. 흥미로운 건 probabilistic metric에서도 1위라는 점이다. 기존 파운데이션 모델들은 point prediction은 잘하지만, 불확실성 분포 추정에 약한 경우가 많았다. TimesFM-3는 다변량 입력을 처음부터 받기 때문에 공분산 구조를 더 자연스럽게 학습할 수 있었던 것으로 보인다.

    TimesFM 시리즈 비교

    항목 TimesFM-2.5 TimesFM-3
    파라미터 2억 대 3.3억
    입력 설계 단변량 다변량 native
    공변량 미지원 과거·미래 공변량 zero-shot
    벤치마크 단일 리더보드 GIFT-Eval·fev-bench·TIME 1위
    가중치 라이선스 연구용 timesfm-non-commercial-v1.0

    TimesFM-3 라이선스의 비대칭

    저장소 코드는 Apache-2.0다. 즉, 코드는 자유롭게 보고 수정할 수 있다. 문제는 가중치다. TimesFM 3.0 가중치는 timesfm-non-commercial-license-v1.0으로 배포된다. MarkTechPost 보도가 상세히 전한 내용에 따르면, 벤치마크 평가는 가능하지만 운영용 예측 API에 탑재해 서비스하는 것은 라이선스상 허용되지 않는다.

    이는 LLM 분야에서 Meta의 Llama가 취한 전략과 유사하다. 연구는 열어주되 상업적 우위는 자사가 가져가는 구조. 데이터 사이언스 팀이 “TimesFM-3를 도입하자”고 보고서를 올려도, 가중치를 그대로 서비스에 올리면 라이선스 위반이라는 점을 법무팀이 먼저 거를 가능성이 높다. 이 비대칭이 향후 한국 기업들의 도입 경로를 결정짓는 가장 큰 변수가 될 것이다.

    실무에 던지는 질문

    다변량 시계열 파운데이션 모델이 실무에서 의미 있으려면 결국 두 가지를 보여줘야 한다. 첫째, 기존 통계 모델(ARIMA, Prophet)이나 경량 ML(LightGBM) 대비 운영 비용 대비 우위가 있어야 한다. 둘째, 입력 변수 추가·삭제 시 재학습 없이도 품질이 유지돼야 한다. TimesFM-3는 두 번째 질문에 zero-shot 설계 자체가 답하려 한 것이고, 첫 번째는 “공변량을 넣어주니 정확도가 올랐다”는 사례가 쌓여야 답할 수 있다.

    다만 가중치가 닫혀 있으니, 한국 기업 입장에서 직접 fine-tuning해 내부 모델을 만들 길이 막혀 있다. 합성 데이터 추가 학습이나 distillation 같은 우회 경로가 화두가 될 가능성이 크다. 이 흐름은 가드브레이커 분석 글에서 다룬 LLM 우회 전략과 맞닿아 있다. 모델의 가중치가 닫히면, 결국 입력 설계와 데이터 가공에서 차별화가 발생한다.

    실무 적용 포인트

    • TimesFM-3 도입 검토 전, 자사 예측 파이프라인에서 “단일 변수만으로 충분한가”를 먼저 자문한다. 다변량 의존성이 실제로 존재하는지 검증 없이는 비용 대비 효과가 없다.
    • 공변량으로 쓸 수 있는 내부 데이터를 사전에 정리한다. 프로모션 일정, 가격 변경, 휴일 여부 같은 과거·미래 공변량 후보 목록을 작성해 두는 것이 향후 어떤 모델을 선택하든 도움이 된다.
    • 가중치 라이선스가 비상업용이라는 점에 유의한다. 운영 환경 적용은 Google Cloud의 TimesFM API 경로를 확인하고, 자체 호스팅이 필요하면 별도 라이선스 협상 가능성을 열어 둔다.
    • 벤치마크 점수보다 자기 데이터셋에서의 backtest 결과를 우선시한다. GIFT-Eval 1위라도 도매·소매·제조 같은 도메인별 패턴이 다르면 우위가 사라질 수 있다.

    지금 바로 해볼 것

    • GitHub 저장소에서 TimesFM 코드를 clone해 Apache-2.0 범위 내에서 아키텍처와 입력 인터페이스를 확인한다.
    • 자사가 가진 시계열 5~10개로 다변량 입력 형태(다중 타깃 + 공변량)를 구성해 본다.
    • 기존 단변량 모델과 동일 기간 backtest를 돌려 MAPE·CRPS를 비교 표로 만든다.
    • Google Cloud Vertex AI에서 TimesFM API가 노출돼 있는지 가격·SLA·쿼터와 함께 확인한다.
    • 법무팀에 “비상업용 가중치로 내부 PoC 진행해도 되는지”를 사전에 문의한다.

    자주 묻는 질문

    TimesFM-3는 기존 TimesFM-2.5와 무엇이 다른가요?

    가장 큰 차이는 입력 설계다. 2.5까지는 단변량만 받았지만, TimesFM-3는 다변량을 처음부터 받는다. 다중 타깃과 과거·미래 공변량을 zero-shot으로 처리한다.

    가중치를 다운로드해 상업 서비스에 써도 되나요?

    아니다. 가중치는 timesfm-non-commercial-license-v1.0으로 배포되어 상업적·프로덕션 사용이 제한된다. 코드만 Apache-2.0이다.

    벤치마크 1위는 어느 평가에서인가요?

    GIFT-Eval, fev-bench, TIME 리더보드 세 곳 모두에서 사전학습된 파운데이션 모델 중 point metric과 probabilistic metric 양쪽 1위다.

    한국 기업도 바로 쓸 수 있나요?

    가중치 직접 호스팅은 라이선스 제한이 있다. 코드와 인터페이스는 공개돼 있어 PoC와 연구 목적으로는 활용 가능하고, 상업 운영은 Google Cloud API 경로를 확인해야 한다.