[태그:] 시계열 파운데이션 모델

  • TimesFM-3, 3.3억 파라미터로 다변량 시계열을 정조준한 구글의 다음 수

    TimesFM-3
    구글 AI의 시계열 파운데이션 모델 'TimesFM-3' 공개와 다변량 예측 전환

    핵심 요약

    • TimesFM-3는 3억 3천만 파라미터 규모의 시계열 파운데이션 모델로, 단일 forward pass로 여러 관련 시계열을 동시에 예측한다.
    • 2.5까지의 모든 TimesFM 체크포인트는 단변량(univariate) 전용이었으나, TimesFM-3는 처음부터 다변량(multivariate) 예측을 위해 사전학습되었다.
    • 1조 개 이상의 시점에서 실제 및 합성 시계열 데이터로 사전학습되었으며, 다중 타깃, 과거 공변량(past covariates), 과거-미래 공변량(past-future covariates)을 작업별 미세조정 없이 zero-shot으로 입력받는다.

    분석

    목차

    TimesFM-3가 선언한 다변량 시대

    TimesFM-3를 한 문장으로 정의하면 이렇다. 3.3억 파라미터로 다변량 시계열을 zero-shot으로 받는 구글의 새 파운데이션 모델이다. 한 forward pass로 여러 관련 시계열을 동시에 예측한다. 여기서 필자가 가장 의미 있다고 본 지점은, 2.5까지의 모든 TimesFM 체크포인트가 단변량 전용이었다는 사실이다. 기존 모델은 “온도 하나”나 “매출 하나”를 독립적으로 예측하느라, 변수 간 상관관계를 매번 손으로 모델에 알려줘야 했다. TimesFM-3는 처음부터 다변량 native로 설계된 첫 번째 버전이라는 점에서 갈라선다.

    TimesFM-3의 핵심 변화: 1조 시점 학습과 공변량 zero-shot

    핵심 수치를 먼저 보자. 3.3억 파라미터, 1조 개 이상의 시점에서 실제·합성 데이터로 사전학습, 디코더 전용 트랜스포머 유지. 모델 크기 자체는 기존 대비 큰 변화는 아니지만, 학습 데이터 규모와 입력 설계가 본질적으로 다르다. 가장 눈에 띄는 건 공변량 처리다. 다중 타깃, 과거 공변량, 과거-미래 공변량을 별도 미세조정 없이 zero-shot으로 입력받는다. 다시 말해, “내일 비가 온다”는 일기예보 정보처럼 미래에 미리 알려진 변수를 모델이 인지한 채로 예측을 수행한다.

    아키텍처 핵심 3가지

    필자가 아키텍처를 들여다보면서 실무자 입장에서 주목한 부분은 세 가지다.

    • 32스텝 패치 토크나이저: 연속된 시점을 32스텝 단위 패치로 묶어 트랜스포머 입력 길이를 줄인다. 시계열별로 정규화하기 때문에 스케일 차이(매출은 백만 단위, 전환율은 0~1 사이)가 서로 잡음을 주지 않는다.
    • 2D 그리드 어텐션: 입력 토큰이 2D 그리드(시계열 축 × 시간축)를 통과하며 두 가지 교대 어텐션 메커니즘으로 처리된다. 변수 간 의존성과 시간적 패턴을 분리해 학습한다.
    • Lookahead 방식 공변량 인코딩: 과거-미래 공변량 토큰이 현재 패치와 미래 패치를 결합해 입력된다. 예정된 이벤트를 모델이 사전에 인지하도록 설계된 부분이다.

    이 구조는 AI 칩 아키텍처 6가지에서 다룬 데이터 흐름 분리 사고방식과 닮아 있다. 시계열의 “데이터”를 어떻게 잘게 쪼개고 어디서 다시 합치느냐가 성능을 가른다.

    벤치마크: 세 곳 모두 1위

    평가는 세 곳에서 진행됐다. GIFT-Eval, fev-bench, TIME 리더보드. 세 벤치마크 모두 사전학습된 파운데이션 모델 중 point metric과 probabilistic metric 양쪽에서 최고 평균 순위를 기록했다. 흥미로운 건 probabilistic metric에서도 1위라는 점이다. 기존 파운데이션 모델들은 point prediction은 잘하지만, 불확실성 분포 추정에 약한 경우가 많았다. TimesFM-3는 다변량 입력을 처음부터 받기 때문에 공분산 구조를 더 자연스럽게 학습할 수 있었던 것으로 보인다.

    TimesFM 시리즈 비교

    항목 TimesFM-2.5 TimesFM-3
    파라미터 2억 대 3.3억
    입력 설계 단변량 다변량 native
    공변량 미지원 과거·미래 공변량 zero-shot
    벤치마크 단일 리더보드 GIFT-Eval·fev-bench·TIME 1위
    가중치 라이선스 연구용 timesfm-non-commercial-v1.0

    TimesFM-3 라이선스의 비대칭

    저장소 코드는 Apache-2.0다. 즉, 코드는 자유롭게 보고 수정할 수 있다. 문제는 가중치다. TimesFM 3.0 가중치는 timesfm-non-commercial-license-v1.0으로 배포된다. MarkTechPost 보도가 상세히 전한 내용에 따르면, 벤치마크 평가는 가능하지만 운영용 예측 API에 탑재해 서비스하는 것은 라이선스상 허용되지 않는다.

    이는 LLM 분야에서 Meta의 Llama가 취한 전략과 유사하다. 연구는 열어주되 상업적 우위는 자사가 가져가는 구조. 데이터 사이언스 팀이 “TimesFM-3를 도입하자”고 보고서를 올려도, 가중치를 그대로 서비스에 올리면 라이선스 위반이라는 점을 법무팀이 먼저 거를 가능성이 높다. 이 비대칭이 향후 한국 기업들의 도입 경로를 결정짓는 가장 큰 변수가 될 것이다.

    실무에 던지는 질문

    다변량 시계열 파운데이션 모델이 실무에서 의미 있으려면 결국 두 가지를 보여줘야 한다. 첫째, 기존 통계 모델(ARIMA, Prophet)이나 경량 ML(LightGBM) 대비 운영 비용 대비 우위가 있어야 한다. 둘째, 입력 변수 추가·삭제 시 재학습 없이도 품질이 유지돼야 한다. TimesFM-3는 두 번째 질문에 zero-shot 설계 자체가 답하려 한 것이고, 첫 번째는 “공변량을 넣어주니 정확도가 올랐다”는 사례가 쌓여야 답할 수 있다.

    다만 가중치가 닫혀 있으니, 한국 기업 입장에서 직접 fine-tuning해 내부 모델을 만들 길이 막혀 있다. 합성 데이터 추가 학습이나 distillation 같은 우회 경로가 화두가 될 가능성이 크다. 이 흐름은 가드브레이커 분석 글에서 다룬 LLM 우회 전략과 맞닿아 있다. 모델의 가중치가 닫히면, 결국 입력 설계와 데이터 가공에서 차별화가 발생한다.

    실무 적용 포인트

    • TimesFM-3 도입 검토 전, 자사 예측 파이프라인에서 “단일 변수만으로 충분한가”를 먼저 자문한다. 다변량 의존성이 실제로 존재하는지 검증 없이는 비용 대비 효과가 없다.
    • 공변량으로 쓸 수 있는 내부 데이터를 사전에 정리한다. 프로모션 일정, 가격 변경, 휴일 여부 같은 과거·미래 공변량 후보 목록을 작성해 두는 것이 향후 어떤 모델을 선택하든 도움이 된다.
    • 가중치 라이선스가 비상업용이라는 점에 유의한다. 운영 환경 적용은 Google Cloud의 TimesFM API 경로를 확인하고, 자체 호스팅이 필요하면 별도 라이선스 협상 가능성을 열어 둔다.
    • 벤치마크 점수보다 자기 데이터셋에서의 backtest 결과를 우선시한다. GIFT-Eval 1위라도 도매·소매·제조 같은 도메인별 패턴이 다르면 우위가 사라질 수 있다.

    지금 바로 해볼 것

    • GitHub 저장소에서 TimesFM 코드를 clone해 Apache-2.0 범위 내에서 아키텍처와 입력 인터페이스를 확인한다.
    • 자사가 가진 시계열 5~10개로 다변량 입력 형태(다중 타깃 + 공변량)를 구성해 본다.
    • 기존 단변량 모델과 동일 기간 backtest를 돌려 MAPE·CRPS를 비교 표로 만든다.
    • Google Cloud Vertex AI에서 TimesFM API가 노출돼 있는지 가격·SLA·쿼터와 함께 확인한다.
    • 법무팀에 “비상업용 가중치로 내부 PoC 진행해도 되는지”를 사전에 문의한다.

    자주 묻는 질문

    TimesFM-3는 기존 TimesFM-2.5와 무엇이 다른가요?

    가장 큰 차이는 입력 설계다. 2.5까지는 단변량만 받았지만, TimesFM-3는 다변량을 처음부터 받는다. 다중 타깃과 과거·미래 공변량을 zero-shot으로 처리한다.

    가중치를 다운로드해 상업 서비스에 써도 되나요?

    아니다. 가중치는 timesfm-non-commercial-license-v1.0으로 배포되어 상업적·프로덕션 사용이 제한된다. 코드만 Apache-2.0이다.

    벤치마크 1위는 어느 평가에서인가요?

    GIFT-Eval, fev-bench, TIME 리더보드 세 곳 모두에서 사전학습된 파운데이션 모델 중 point metric과 probabilistic metric 양쪽 1위다.

    한국 기업도 바로 쓸 수 있나요?

    가중치 직접 호스팅은 라이선스 제한이 있다. 코드와 인터페이스는 공개돼 있어 PoC와 연구 목적으로는 활용 가능하고, 상업 운영은 Google Cloud API 경로를 확인해야 한다.

    전문가 코멘트(AI)

    시계열ML엔지니어

    다변량 native 전환과 공변량 zero-shot은 실무 병목을 정확히 겨냥한 진보, 소형 모델의 표현력과 도메인 일반화가 남은 숙제

    330M 규모를 유지하면서 입력 설계를 다변량 native로 바꾼 방향은, 시계열 예측 품질이 단일 변수의 장기 패턴보다 변수 간 의존성에서 갈리는 실무 현실에 부합하는 합리적 선택이다. 32스텝 패치 토크나이저에 시계열별 정규화를 결합해 매출 같은 백만 단위 변수와 전환율 같은 0~1 변수를 한 번에 넣어도 스케일 충돌이 없게 한 점, 2D 그리드 어텐션으로 변수축과 시간축을 분리 학습하게 한 점은 파라미터 대비 효율이 좋은 설계다. 특히 과거-미래 공변량을 lookahead 방식으로 인코딩해 프로모션 일정·휴일·가격 변경처럼 미리 알려진 변수를 zero-shot으로 반영하는 것은 ARIMA나 LightGBM 파이프라인이 손으로 처리해온 강점을 흡수한 것으로, 재학습 없는 변수 추가·삭제가 실제로 동작한다면 운영 비용 측면에서 확실한 차별화다. probabilistic metric에서도 상위라는 점은 CRPS 기반 재고·용량 의사결정에 중요한데, 다변량 입력이 공분산 구조 학습에 유리하다는 논리는 타당하다. 다만 3.3억 파라미터로 복잡한 다중 변수 상호작용을 어디까지 담을 수 있을지, 그리고 리더보드 1위가 도매·소매·제조 같은 도메인 특이 패턴에서 재현될지는 자사 데이터 backtest 없이는 판단할 수 없다.

    평점: 8/10 – 다변량 native 설계와 공변량 zero-shot은 실무 문제를 정면으로 겨냥한 견실한 기술 전환이지만, 소형 모델의 표현력 한계와 도메인별 검증 부재, fine-tuning 경로 제약이 해소되지 않은 단계

    AI라이선스·데이터거버넌스전문가

    코드 개방·가중치 비상업의 비대칭 구도는 생태계 장악과 클라우드 수익화를 동시에 노린 정석 전략, 상업 경로의 불투명성이 최대 리스크

    저장소 코드는 Apache-2.0으로 열고 330M 가중치는 비상업 라이선스로 묶는 조합은 Llama 이후 검증된 패턴으로, 연구 커뮤니티의 검증과 인용을 무료로 확보하면서 상업 활용 수요는 자사 클라우드 API로 귀속시키는 정교한 구조다. 기업 입장에서는 PoC와 내부 연구는 가능하지만 프로덕션 적용 순간 법무 검토가 개입되고, 도입 의사결정 전체가 Google Cloud 측 API 제공 여부·가격·SLA·쿼터에 종속되는 구조적 종속이 발생한다. 가중치 기반 fine-tuning이 막혀 있어 합성 데이터 재학습이나 distillation 같은 우회 경로가 거론되지만, 이런 방식은 라이선스 생성물 해석을 둘러싼 컴플라이언스 불확실성을 키우므로 법무 리스크 관리 관점에서 권장하기 어렵다. 아쉬운 점은 상업 라이선스의 명시적 가격표, 파트너 프로그램, 온프레 호스팅 옵션이 병행 공개되지 않아 법무와 조달 검토가 병목이 된다는 것이며, 시계열 도메인은 금융·제조 특성상 데이터 주권과 온프레 요구가 LLM보다 강해 비상업 가중치의 실질 효용이 더 제한적일 수 있다. 경쟁 오픈 가중치 시계열 모델이 상용 허용으로 대체재를 제시하면 이 비대칭 전략은 빠르게 마모될 것이다.

    평점: 7/10 – 개방과 수익화의 균형은 정교하게 설계됐으나 상업 이용 경로의 가격·라이선스 불투명성이 기업 도입 의사결정의 최대 변수로 남아 있음

    비판적 분석가

    오픈의 포장, 폐쇄의 실체 — 3관왕 발표와 비상업 가중치는 상업 수요를 클라우드로 흘려보내는 세트 상품으로 읽힌다

    Cui bono는 명확하다. 벤치마크 3관왕으로 화제성을 최대치로 끌어올린 직후 가중치를 비상업 라이선스로 묶는 타이밍은, 연구자들의 무료 검증과 홍보를 받아낸 뒤 상업 수요만 Vertex AI 결제 페이지로 보내는 설계로 읽힌다. 공식 서사는 커뮤니티 기여지만, Apache-2.0으로 공개된 것이 코드와 인터페이스뿐이라는 점에 주목해야 한다. 1조 시점 사전학습 비용을 감당할 수 있는 외부 주체는 사실상 없으므로, 개방의 실질 범위는 아키텍처 감상 수준이고 재현 가능성은 문서상 존재할 뿐이다. probabilistic metric까지 석권했다는 서사는 다변량 전환의 정당성을 부여하지만, 다변량·공변량 입력을 본격 채점하기 시작한 리더보드 개편 시점과 신모델 공개 시점이 겹친다는 사실은 축하 분위기 속에서 잘 다뤄지지 않는다. 우리가 진짜 주목해야 할 점은 기술 우위가 아니라 기본값 쟁탈전이다. 시계열 파운데이션 모델에서 ‘당연한 기본 선택’ 지위를 선점하면 기업의 예측 데이터와 파이프라인이 클라우드 쪽으로 흘러들고, 락인은 모델 성능보다 오래 지속된다. 다음 버전에서 라이선스가 갑자기 완화된다면, 그것은 호의가 아니라 오픈 가중치 경쟁 모델의 추격이 감지된 신호일 가능성이 높다.

    물밑 시나리오

    • 리더보드 선택 자체가 유리한 판이었을 가능성이 있다. 다변량·공변량 입력을 채점하도록 최근 확장된 벤치마크를 세 곳 모두 채택한 구성은, 해당 입력 형식에 맞춰 학습된 신모델에 구조적 이득을 주는 평가 설계와 겹친다는 정황이 있다.
    • 비상업 가중치는 의도적 여과망일 수 있다. PoC 수준의 내부 사용은 허용해 기업이 자사 데이터로 검증 비용을 부담하게 만든 뒤, 프로덕션 전환 시점에 Cloud API 계약으로 수렴시키는 클라우드 퍼널 설계로 읽히며, 법무 검토가 자연스러운 관문 역할을 하게 된다.
    • distillation 같은 우회 경로가 묵인될 여지가 있다. 생태계 사용이 넓어질수록 비상업 사용자는 사실상 후속 상용 라이선스 협상의 잠재 고객 풀이 되기 때문에, 즉각적인 단속보다 방치가 이득인 단계일 가능성이 있다.

    공식 설명 설득력: 5/10 – 벤치마크 수치와 아키텍처 설명은 내부적으로 정합적이지만, 비상업 가중치와 Cloud API 수익 경로의 연결 관계, 공개 시점과 리더보드 개편 시점의 겹침에 대한 설명은 어디에도 제공되지 않음