[태그:] 비공개 추론

  • ChatGPT·Claude 없이 일하기: 오픈웨이트 LLM과 보안 인클레이브로 추론 스택을 다시 짜는 법

    ChatGPT·Claude 없이 일하기: 오픈웨이트 LLM과 보안 인클레이브로 추론 스택을 다시 짜는 법

    오픈AI와 앤스로픽이 제공하는 폐쇄형 프런티어 모델이 LLM 시장의 표준으로 군림해 왔지만, 두 회사가 학습 사용 거부 설정만으로는 대화 데이터에 대한 접근을 사실상 포기하지 않는다는 점, 그리고 일부 미국 사이버보안 기업과 군수 계약업체에 가드레일이 느슨한 모델 접근 권한이 부여됐을 가능성이 있다는 점 때문에, 실무 환경에서 의존을 끊는 대안을 검토하는 움직임이 커지고 있다. 그 대안의 핵심축은 오픈웨이트 모델과 보안 인클레이브 기반 비공개 추론 서비스다.

    학습 거부 설정은 프라이버시 보장이 아니다

    오픈AI와 앤스로픽은 강력한 모델을 폐쇄형 서비스로만 제공하며, 사용자는 채팅이나 API 접근 비용을 지불한다. 학습 사용 거부 토글을 켜더라도 두 회사는 대화 전체에 접근할 수 있고, 이를 열람하거나 정부 및 기업과 공유할 수 있다는 점에서 학습 거부와 비공개 대화는 본질적으로 다르다. 현재 시점에서는 학습 거부를 존중할 가능성이 높더라도, 그것만으로 장기적인 데이터 처리 신뢰를 확보할 수는 없다는 평가다.

    특히 사이버보안 영역에서는 엄격한 가드레일이 적용되며, 대화를 감시하는 에이전트가 해킹 가능성을 판단하면 세션 진행을 차단하는 식으로 운영되지만 오탐도 빈번하다는 비판을 받는다. 반면 일부 사용자에게는 제한이 느슨하거나 없는 모델 접근이 허용되며, 다수의 미국 사이버보안 기업, 거의 확실한 미국 군수 계약업체, 그리고 원하는 미국 정부 부처까지도 접근할 수 있을 것으로 추정된다. 강력한 모델의 제한 자체에는 일부 타당성이 있지만, 최종 접근 결정권을 샘 알트먼과 다리오 아모데이에게 맡기고 행정부와 협의하게 하는 방식은 비민주적이라는 비판이 제기된다.

    오픈웨이트 모델은 어디까지 왔나

    오픈웨이트 모델은 오픈AI와 앤스로픽의 고급 독점 모델보다 약 4개월 뒤처지는 것으로 분석되며, 이 정도 격차는 크지 않다고 본다. GLM-5.3은 소프트웨어 엔지니어링 영역에서 Claude Opus 5.5와 대체로 비슷한 수준으로 보고됐고, 더 작은 GLM-5.3-Flash는 Claude Opus 4.8과 비슷한 수준으로 평가된다. 512GB RAM을 탑재한 Mac Studio를 구할 수 있다면 GLM-5.3을 개인이 직접 실행하는 것도 현실적으로 가능한 옵션이다.

    다만 모델의 유용성과 개발사를 데이터 수탁자로 신뢰할지는 구분해야 하며, GLM 개발사 Z.ai에 직접 계정을 만들거나 데이터를 보내는 것은 권장되지 않는다. Claude Code에 대응하는 코딩 하네스 ZCode가 사용자 동의 없이 로컬 소스 코드 저장소를 Alibaba Cloud에 업로드한 사실이 최근 드러난 만큼, 중국 기업에 제공한 데이터는 중국 정부와 공유될 수 있다고 가정하는 편이 안전하다. DeepSeek, Qwen, Kimi 계열도 인상적인 오픈웨이트 모델로 꼽히지만, 마찬가지로 개발사에 대화 데이터를 맡기는 일과는 구분해야 한다.

    프랑스 기업 Mistral은 미국이나 중국 기업이 아닌 유일한 주요 LLM 개발사로 분류되며, 새 프런티어 모델 Mistral Large 4의 별칭은 Le Chonk이다. 미국이나 중국 기업보다 Mistral에 데이터를 맡기는 편이 상당히 더 합리적이라는 평가가 나온다.

    보안 인클레이브가 바꾸는 비공개 추론의 모양

    보안 인클레이브 기반 추론은 로컬 호스팅 없이도 비공개 AI 사용을 가능하게 한다. 완벽하지는 않지만, 제공업체가 모든 데이터에 제한 없이 접근하는 방식보다 프라이버시 측면에서 의미 있는 차이가 있다는 설명이다. 이 분야에서 가장 활발하게 작업하는 기업으로 Tinfoil이 꼽히며, 보안 인클레이브와 원격 증명 문서에서 기술적 세부사항을 확인할 수 있다. Maple AI도 대안이며 내부적으로 Tinfoil의 추론 서비스를 사용한다.

    용도별로 보면, Tinfoil은 소프트웨어 엔지니어링, 역공학, 악성코드 분석, CTF, 침투 테스트 등 본격적인 에이전트 코딩 작업에 권장되며, 월정액 없이 토큰 사용량에 따라 비공개 추론 비용을 청구한다. Maple은 챗봇 대화, 인터넷 검색, 문서 접근 및 처리, 모바일 앱 등 ChatGPT와 비슷한 경험을 원하는 일반 소비자용으로 포지셔닝되며, 소규모 무료 요금제와 월 20달러 Pro 요금제가 있다.

    비공개 추론의 추가 비용을 지불하고 싶지 않다면 OpenCode Go 같은 추론 라우터를 고려할 수 있다. OpenCode Go는 월 10달러에 10달러를 초과하는 크레딧을 제공하며, 요청은 사용자 컴퓨터에서 OpenCode Go API를 거쳐 실제 추론 제공업체로 전달된다. 다만 OpenCode Go와 백엔드 제공업체 모두 세션 데이터에 접근할 수 있고, GLM·Qwen·Kimi·DeepSeek 모델이 0일 보존 대상이라고 명시돼 있지만 이는 정책상 약속일 뿐 기술적으로 보장되지는 않는다는 점이 함께 고려돼야 한다.

    비교로 보는 비공개·저가 추론 옵션

    항목 Tinfoil Maple AI OpenCode Go
    핵심 방식 보안 인클레이브 기반 비공개 추론 Tinfoil 추론을 내부적으로 사용 추론 라우터, 다양한 백엔드 연결
    추천 용도 에이전트 코딩, 역공학, 침투 테스트 챗봇, 검색, 문서 처리, 모바일 공개 작업 위주 저가 라우팅
    요금 체계 월정액 없음, 토큰 사용량 기반 무료 요금제 + 월 20달러 Pro 월 10달러 + 10달러 초과분 크레딧
    프라이버시 보장 보안 인클레이브로 기술적 강화 Tinfoil 백엔드 기반 비공개 0일 보존 정책 약속(기술적 보장 아님)
    GLM-5.3 단가 입력 1.80달러 / 캐시 0.80달러 / 출력 5.75달러(100만 토큰) 동일 추론 백엔드 사용 라우터 경유 동일 단가 적용

    실무 워크플로우: OpenCode + Tinfoil + GLM-5.3

    코딩 하네스 OpenCode에 Tinfoil과 OpenCode Go를 동시에 연결하고, 주로 GLM-5.3을 low 추론 수준으로 사용하는 방식이 실제 업무에 적용된 사례로 소개됐다. 작업의 공개 여부에 따라 추론 제공업체를 구분하는데, 이미 오픈소스인 코드의 기능 구현처럼 완전히 공개된 작업에는 OpenCode Go를, 그 밖의 모든 작업에는 Tinfoil을 사용한다.

    GLM-5.3의 토큰 가격은 100만 토큰당 입력 1.80달러, 캐시된 토큰 0.80달러, 출력 5.75달러이며, low 추론 수준 설정으로 토큰 사용량을 크게 줄이면서도 인상적인 결과를 얻을 수 있었다는 보고가 있다. 사용 경험상 비용은 비슷하거나 더 저렴하고, 프라이버시는 더 높으며 가드레일은 훨씬 적다는 평가다. 다만 모델 변화가 빨라 6개월 뒤 최선의 선택이 무엇일지는 알 수 없다는 점도 함께 고려해야 한다.

    초기 사용 범위에서는 오픈웨이트 모델이 ChatGPT와 Claude를 완전히 대체할 수 있어 보이며, 실행 환경과 제공업체를 선택할 수 있다는 점 자체가 단일 벤더 종속을 피하는 실질적 보험 역할을 한다. ZCode의 무동의 업로드 사례가 보여주듯, 코딩 하네스 선택에서도 데이터 수탁자 신뢰 문제는 모델 선택과 별개로 따져봐야 할 영역으로 남아 있다.

    참고 원문

    이 기사는 다음 원문을 확인해 작성했습니다: geeknews — OpenAI와 Anthropic을 단호히 거부하자