메타 AI 챗봇 해킹 사건이 보여주는 LLM 기반 고객지원의 구조적 위험성

서론: 챗봇 한 번의 대화가 계정 탈취로 이어진 사건

2026년 초, 보안 커뮤니티를 충격에 빠뜨린 사건이 공개됐다. 메타의 AI 지원 챗봇을 악용해 인스타그램 계정을 탈취한 공격이 X에 동영상으로 게시된 것이다. 공식 지원 채널 자체가 공격 벡터로 둔갑한 이 사건은 LLM 기반 고객지원 시스템이 본질적으로 안고 있는 신뢰성 결함을 적나라하게 드러냈다. 브루스 슈나이어는 이를 “개별 버그가 아닌 구조적 문제”라 진단하며 신원 인증 패러다임의 재설계를 촉구하고 있다.

1. 사건의 기술적 재현

보안 연구자 Wong의 시연에 따르면, 공격자는 VPN으로 피해자 위치를 스푸핑해 인스타그램의 위치 기반 보호 트리거를 우회했다. 이후 공식 Meta AI Support Assistant와 대화하며 “계정 접근 불가”, “이메일 변경” 등 합법적 요청을 가장해 가드레일을 회피했다. 챗봇은 공격자가 지정한 새 이메일을 추가하고 인증 코드를 전송, 그 코드를 다시 챗봇에 전달하는 단순 왕복 과정에서 비밀번호 재설정 권한까지 부여했다. 이메일 인증이라는 2차 보안 장치가 챗봇의 자발적 협조로 무력화된 것이다.

2. 메타 측 대응의 한계

인스타그램 대변인 앤디 스톤은 “해당 취약점이 이미 수정됐다”고 발표했다. 그러나 정확한 피해 계정 수와 영향 범위는 공개되지 않았고, 패치 범위도 모호하다. 특정 프롬프트만 차단한 것인지, 민감 작업 권한 자체를 재설계한 것인지에 따라 유사 공격의 재발 가능성이 크게 달라진다. 슈나이어가 지적했듯 일회성 차단만으로는 구조적 문제 해결에 한참 미치지 못한다.

3. LLM의 비결정성과 무한한 공격 표면

이 사건의 본질은 LLM의 비결정성에 있다. 전통적 결정론적 소프트웨어는 동일 입력에 동일 출력을 보장하지만, LLM은 확률적으로 응답을 생성해 미세하게 변형된 무한한 자연어 표현으로 정책을 우회할 여지를 남긴다. 또한 계정 복구용 챗봇이 대화 과정에서 사실상 신원 인증 체계로 변질, 명시적 2단계 인증 없이도 권한 상승이 일어나는 새로운 공격 표면이 나타났다.

4. 업계 전반의 함의

마이크로소프트, 구글, 아마존, 애플 등도 LLM 기반 고객지원 어시스턴트를 도입 중이며 동일한 구조적 위험을 안고 있다. 자연어 자체가 무한한 표현 공간을 가지기 때문에 악의적 의도 판별은 본질적으로 불완전하다. 업계는 더 빠르고 자율적인 AI로 향하고 있어 보안과 자동화 사이의 트레이드오프는 위험해지고 있으며, 메타 사건은 그 첫 번째 경고등이다.

5. 슈나이어의 진단

슈나이어는 “LLM 챗봇은 본질적으로 보안 민감 업무에 부적합하다”며 “유사 공격 벡터가 다수 존재하며 클래스 차원 차단은 거의 불가능하다”고 지적했다. 하나의 우회 경로를 막으면 열 개의 새 경로가 발견되며, 단편적 패치가 아닌 패러다임 전환이 필요하다고 역설했다.

결론: AI 시대 신원 인증 패러다임의 재설계

기술적 패치로 일회성 위협을 잠시 막을 수 있을 뿐, LLM의 비결정성 때문에 동일 패턴 공격은 계속 재현될 가능성이 높다. 세 가지 방향이 제안된다. 첫째, 계정 복구, 이메일 변경, 비밀번호 재설정 등 핵심 보안 작업에서 사람 검토 단계를 필수로 둬야 한다. 둘째, 멀티팩터 인증을 강화해 챗봇 인증만으로는 권한 상승이 불가하도록 해야 한다. 셋째, 계정 정보 변경 시 실시간 알림 체계를 갖춰 사용자가 즉시 인지하고 이의 제기를 할 수 있어야 한다. 메타 사건은 AI 시대 보안을 어떻게 재설계할 것인가에 대한 첫 번째 경종이다.