Mistral AI가 Lean 4 기반 코드 에이전트 모델 Leanstral 1.5를 Apache-2.0 라이선스로 공개했다. 해당 모델은 수학 정형 증명 벤치마크 PutnamBench에서 672문제 중 587문제를 해결한 것으로 보고되며, 오픈소스 정형 증명 에이전트 영역에서 의미 있는 지점을 제시하고 있다. 본문에서는 성능 수치, 오픈소스 공개의 효과, 실제 활용 시 주의점을 실무형 해설 톤으로 정리한다.
- 모델 개요: Mistral AI가 2026년 7월 3일 공개한 Leanstral 1.5는 Lean 4 기반 정형 증명 코드 에이전트 모델이며 가중치는 Apache-2.0로 배포된다.
- 벤치마크 수치: PutnamBench 672문제 중 587문제를 해결해 약 87.35%의 해결률을 기록한 것으로 보고되었다.
- 의미: 오픈 가중치 LLM이 정형 증명 기반 수학 추론 벤치마크에서 상용 폐쇄형 모델과 비교 가능한 지표를 제시한 사례로 해석된다.
Leanstral 1.5는 오픈 가중치와 정형 증명 성능을 동시에 제공함으로써 자동정형화 연구의 진입 장벽을 낮출 잠재력이 있는 모델로 평가된다.
Leanstral 1.5 개요: Mistral AI의 정형 증명 에이전트
Leanstral 1.5는 Mistral AI가 2026년 7월 3일자로 공개한 정형 증명(Formal Proof) 특화 코드 에이전트 모델이다. 모델은 Lean 4 인터랙티브 정형 증명 시스템 위에서 동작하며, 자연어로 제시된 수학적 명제를 Lean 4 코드로 변환하고 그 정당성을 스스로 검증하는 흐름을 갖추고 있다. 가장 주목할 점은 Apache-2.0 라이선스로 가중치가 공개되었다는 사실이며, 연구자와 기업이 별도의 상용 계약 없이 모델을 내려받아 fine-tuning 및 재배포할 수 있도록 허용된다.
Lean 4는 Microsoft Research가 중심이 되어 개발한 오픈소스 정형 증명 어시스턴트로, 수학 명제뿐 아니라 프로그램 정확성 증명, 하드웨어 검증, 보안 프로토콜 분석 등 다양한 영역에서 활용된다. Leanstral 1.5가 Lean 4를 표적으로 삼았다는 것은 단순한 수학 풀이 모델이 아니라 정형 증명 워크플로에 직접 결합 가능한 에이전트 형태로 설계되었음을 의미한다.
PutnamBench 성능 분석: 587/672의 의미
벤치마크 구성과 평가 방식
PutnamBench는 미국 Putnam 수학경시대회의 문제를 정형 증명 형태로 변환한 벤치마크 데이터셋으로 알려진다. 본문 출처인 MarkTechPost 기사에 따르면 Leanstral 1.5는 PutnamBench가 제공하는 672개 문제 중 587개를 해결한 것으로 보고되었다. 평가의 일반적 절차는 모델이 생성한 Lean 4 증명을 Lean 4 컴파일러가 받아들여 타입 체크에 통과하는지 여부를 기준으로 한다. 즉, 단순히 정답 후보를 제시하는 것이 아니라 정형 증명 그 자체를 완결해야 통과로 인정되는 엄격한 방식이다.
해결률 환산과 다른 수학 추론 모델과의 비교 프레임
587/672는 분율로 환산하면 약 87.35%에 해당한다. 자연어 수학 추론 벤치마크에서는 높은 점수가 나와도 정형 증명 단계에서 실패하는 사례가 보고되어 있으며, Leanstral 1.5는 정형 증명 환경에서 이 같은 수치를 기록했다는 점에서 의미가 있다. 다만 본문 범위에서는 다른 모델과의 직접 비교 표가 제공되지 않으므로, 본 결과는 Mistral AI 자체 보도와 MarkTechPost 기사에서 인용된 수치를 기준으로 한 단일 지표로 해석해야 한다.
| 항목 | 값 | 비고 |
|---|---|---|
| 모델명 | Leanstral 1.5 | Mistral AI 공개 |
| 라이선스 | Apache-2.0 | 가중치 오픈 공개 |
| 기반 시스템 | Lean 4 | 정형 증명 어시스턴트 |
| 벤치마크 | PutnamBench | Putnam 문제 기반 |
| 전체 문제 수 | 672 | MarkTechPost 기사 기준 |
| 해결 문제 수 | 587 | MarkTechPost 기사 기준 |
| 해결률 환산치 | 약 87.35% | 587 ÷ 672 계산값 |
오픈소스 AI와 정형 증명의 결합
자동정형화 연구 동향
자동정형화(Automated Formalization)는 자연어 수학을 정형 언어로 옮기고 증명을 자동 생성하는 연구 영역이다. Leanstral 1.5의 등장은 LLM을 Lean 4 워크플로에 직접 결합하는 흐름의 하나로 볼 수 있다. 즉, 모델이 Lean 4 코드와 tactic 호출 시퀀스를 생성하고, Lean 4 컴파일러가 그 결과를 검증하는 분업 구조가 강화되고 있다. 이러한 구조는 모델이 거짓 논증을 만들어내더라도 컴파일 단계에서 차단될 수 있다는 점에서 정형 증명 기반 시스템의 신뢰성 이점을 살리는 방식이다.
오픈소스 가중치 공개가 연구 커뮤니티에 주는 영향
Apache-2.0 라이선스 기반 공개는 학술 기관과 소규모 연구팀이 상용 API 의존 없이 자체 실험을 수행할 수 있도록 한다. 또한 fine-tuning 데이터나 추론 전략을 공개 모델 위에 재구성해 학회 논문과 오픈 리포트로 축적할 수 있게 하여, 자동정형화 분야의 재현성 논의를 촉진할 잠재력이 있는 것으로 해석된다다. 다만 본문은 MarkTechPost 기사에서 발췌한 내용을 근거로 하므로, 실제 가중치 호스팅 경로와 재현 환경 세부 사항은 Lean 4 공식 채널과 Mistral AI의 공식 안내를 별도로 확인해야 한다.
활용 시나리오와 한계
수학 연구 보조 및 Lean 4 학습용 활용 가능성
Leanstral 1.5는 수학 연구자가 새로운 명제의 증명 초안을 작성하거나, Lean 4 학습자가 tactic 사용법을 익히는 과정에서 보조 도구로 활용될 가능성이 있다. 특히 Apache-2.0로 배포되므로 교육기관 내부 시스템에 통합해 학생용 튜터 형태로 배치하는 구성도 가능하다. 다만 본문 출처만으로는 모델 응답의 평균 응답 시간이나 실패 사례 분포 등 세부 지표는 확인되지 않는다.atency, hallucination 비율, tactic 실패 시 복구 전략과 같은 운영 지표가 명시되지 않으므로, 도입 전 자체 평가가 권장된다.
벤치마크 성능과 실제 난제 해결 사이의 격차
PutnamBench는 역사적 시험 문제 기반이지만, 이는 신규 미해결 문제나 산업 현장의 형식적 명제를 자동으로 풀어준다는 보장은 아니다. MarkTechPost 기사가 전달한 587/672 수치는 PutnamBench라는 특정 데이터셋에 대한 결과이므로, 이를 일반화해 모든 수학 문제에서 비슷한 해결률을 기대하기는 어렵다. 실제 연구 현장에서는 모델이 생성한 증명의 가독성, tactic 선택의 효율성, 그리고 실패한 증명에 대한 진단 정보 품질이 추가로 중요해질 수 있다.
결론: 오픈소스 AI가 열어가는 수학 추론의 다음 단계
Leanstral 1.5는 Apache-2.0 라이선스라는 개방성과 PutnamBench 587/672(약 87.35%)라는 정형 증명 환경 수치를 동시에 제시한 점에서 의미 있는 이정표로 평가된다. 본문에서 확인 가능한 사실은 Mistral AI의 공개, 가중치 라이선스, PutnamBench 결과 수치이며, 그 외 연구 영향과 실무 활용 효과는 ‘~로 해석된다’, ‘~수 있다’와 같은 단서 표현으로 구분했다. 후속 검증으로는 Mistral AI 공식 릴리스 노트, Lean 4 공식 사이트의 모델 등록 정보, 그리고 PutnamBench 공식 리더보드를 함께 교차 확인하는 것이 바람직하다.
핵심 포인트 정리
- Leanstral 1.5는 Mistral AI가 Apache-2.0로 공개한 Lean 4 코드 에이전트 모델이다.
- PutnamBench 672문제 중 587문제를 해결해 약 87.35%의 해결률을 기록했다.
- 오픈 가중치 공개로 자동정형화 연구의 재현성과 진입성이 확대될 것으로 해석된다.
- 벤치마크 성능과 실제 미해결 문제 해결 사이에는 격차가 있을 수 있으므로 단정적 일반화는 지양해야 한다.
- 운영 도입 전 latency, hallucination 비율, tactic 복구 전략 등 운영 지표의 별도 평가가 권장된다.
참고 자료: MarkTechPost 기사, Lean 4 공식 사이트