Sakana AI와 NVIDIA, LLM 추론 및 학습 최대 21.9% 가속화한 TwELL 희소 커널 공개

서론: AI 대형언어모델의 성능 한계와 새로운 기술 혁신 필요성

최근 AI 대형언어모델(LLM) 발전에 따라 모델 크기와 연산 요구사항은 폭발적으로 증가하고 있습니다. 수십억에서 수조 개 파라미터를 처리하는 LLM의 실시간 실행을 위해서는 하드웨어 자원 극대화와 연산 최적화가 핵심 과제가 되었습니다. 이 가운데, 희소화(sparsification) 기술은 모델의 크기는 줄이지 않으면서도 효율을 높일 수 있는 접근법으로 주목받고 있습니다.

TwELL 기술 개요: 희소화와 CUDA 커널의 결합

2026년 5월 11일, Sakana AI와 NVIDIA 연구팀은 혁신적인 희소화 기술 TwELL(Twisted Embedding Language Learning)을 공식 발표했습니다. TwELL은 L1 정규화 기반 피드포워드 계층 희소화 방식을 적용해 기존 기술과 차별화된 성과를 입증합니다.

• L1 정규화 기반 희소화: 피드포워드 계층의 99% 이상 연산을 효율적으로 희소화해도 모델 표현력 유지
• 전용 CUDA 커널 개발: NVIDIA가 최적화한 신규 커널로 희소 연산의 효율성 극대화
• 신규 데이터 포맷 적용: 희소화 연산 효율을 위한 새로운 데이터 구조로, 메모리 대역폭 효율 향상

핵심 수치 및 실험적 근거: 20.5% 추론 & 21.9% 학습 속도 향상

실험 결과 TwELL 적용 시 다음과 같은 실제적 성능 향상을 확인할 수 있습니다:

추론(Inference) 성능

• LLM 추론 속도 20.5% 향상으로 응답 시간 단축
• 동일 하드웨어에서 더 많은 요청 처리 가능, 실시간 상호작용 환경에서 유리

학습(Training) 성능

• 학습 속도 21.9% 가속화로 시간 및 비용 감소
• 반복 실험과 하이퍼파라미터 튜닝 주기도 단축 가능

특히, 모델 정확도 저하 없이 이러한 효율이 구현되었다는 점은 실제 상용 서비스 적용성 측면에서 큰 강점입니다. 이는 희소화에서 자주 지적되었던 손실 문제를 성공적으로 극복했음을 의미합니다.

기존 접근법 대비 TwELL의 차별점과 한계

• 기존 희소화 기술은 적용 시 정확도 저하 및 실제 성능 개선 한계가 존재했고, 다양한 모델 범용성이 부족했습니다.
• TwELL은 CUDA 커널 레벨에서 NVIDIA 하드웨어에 특화된 소프트웨어-하드웨어 통합 최적화를 구현, 피드포워드 계층의 99% 이상 희소화에도 모델 성능을 유지했습니다.

커널 수준 최적화와 희소화 알고리즘의 결합으로 실제 체감할 수 있는 GPU 사용 효율 증대를 이끌어냈습니다.

업계 및 연구적 파장: 신뢰성과 적용 기대효과

실험 결과는 연구 환경에서 측정되었으나, 구체적인 수치와 기술 세부(추론 20.5%, 학습 21.9% 등) 공개로 검증 가능성이 높게 평가됩니다.

• 클라우드 AI 서비스: 동일한 GPU 자원으로 더 많은 LLM 요청 처리 가능
• 에지 디바이스: 제한된 컴퓨팅 환경에서의 실시간 LLM 성능 개선
• 기업 전용 AI 시스템: GPU 인프라 활용 극대화, 운영비 절감

결론: LLM 혁신에서 희소화-하드웨어 최적화 트렌드의 중요성

TwELL은 소프트웨어와 하드웨어의 긴밀한 협업이 LLM 운영의 효율성과 실용성을 크게 높일 수 있음을 입증한 사례입니다. 희소화 기술은 모델 경량화, 양자화와 함께 LLM 서비스 상용화의 핵심 트렌드로 부각되고 있으며, NVIDIA CUDA 에코시스템과 결합할 때, 실제 배포까지 연결되는 팬더멘털 변화가 기대됩니다.

향후 더 다양한 실 배포 환경에서의 검증과, 오픈소스화 동향에도 연구 커뮤니티의 이목이 집중되고 있습니다.