11바이트로 OpenSSL 서버를 무너뜨리는 HollowByte 취약점, 침묵 패치의 그림자까지 추적한다

11바이트면 텍스트 문장 한 줄보다 짧다. 그러나 이 미세한 크기의 네트워크 패킷이 OpenSSL 기반 서버의 메모리를 수십 분에 걸쳐 부풀려 사실상 DoS(Denial of Service, 서비스 거부) 상태로 몰아갈 수 있다는 보도가 2026년 7월 17일 Bleeping Computer를 통해 공개됐다. HollowByte라 명명된 이 결함은 기존 DDoS 완화 장비가 탐지하기 어려운 애플리케이션 레벨의 자원 고갈 공격이라는 점에서 운영자들 사이에서 파급력이 커질 것으로 전망된다.

들어가며: 11바이트가 인터넷 서버를 멎게 할 수 있다면

초소형 페이로드 기반 메모리 고갈 공격의 등장 배경

전통적 DDoS 공격은 대역폭 포화나 초대형 패킷 전송으로 정상 트래픽을 몰아내는 방식이 주류였다. 그러나 HollowByte는 인증 절차 없이 11바이트 크기의 페이로드를 반복 전송하는 방식으로 서버의 자원 할당 경로를 반복 호출하도록 유도한다. 공격자 입장에서는 전송량을 거의 쓰지 않으면서도 서버 자원을 서서히 잠식할 수 있어 차세대 저비용·고효율 공격 도구로 확산될 가능성이 높다.

전통적 DDoS 방어 패러다임의 균열

대부분의 CDN(Content Delivery Network, 콘텐츠 전송 네트워크)·WAF(Web Application Firewall, 웹 애플리케이션 방화벽)·DDoS 클린존은 패킷 크기와 트래픽 양을 주요 지표로 차단 정책을 수립한다. HollowByte 류 공격은 정상 크기의 TLS 핸드셰이크 메시지에 위장되어 침투하므로 기존 시그니처 기반 탐지에서는 사실상 보이지 않는다는 평가가 나온다.

HollowByte 취약점 개요

11바이트 페이로드로 OpenSSL 서버 메모리 비대화 유발

Bleeping Computer는 HollowByte가 인증 없이 원격으로 트리거 가능한 결함이라고 보도했다. 공격자는 11바이트 크기의 페이로드를 OpenSSL 서버로 보내 메모리 할당 경로를 반복 호출하도록 유도하고, 이 과정에서 힙(heap) 영역의 사용량이 누적된다. 이로 인해 서버는 정상 요청을 처리하지 못하는 DoS 상태에 이를 수 있다.

미인증 원격 트리거가 가능한 공격 조건

가장 위협적인 요소는 별도의 인증이나 세션 협상 없이 공격이 시작된다는 점이다. 공개된 TLS 포트를 사용하는 OpenSSL 서버가 잠재적 노출 대상에 포함될 수 있으며, 내부 관리 인터페이스가 아니라 외향형 서비스에서 직접 트리거될 수 있다.

공격 표면이 갖는 실전적 위험도

11바이트 페이로드라는 특성상 단일 요청의 피해는 미미할 수 있으나, 이를 다중 소스에서 병렬로 보내면 자원 누적 속도가 기하급수적으로 증가한다. 특히 OpenSSL을 내장한 IoT(Internet of Things, 사물인터넷) 게이트웨이나 임베디드 장비는 메모리 여유가 제한적이라 더 빠르게 장애 상태에 이를 수 있다.

기술적 동작 방식

OpenSSL 자원 할당 경로의 비정상 호출 흐름

공격은 정상적인 TLS 핸드셰이크 흐름을 가장한 채, 입력 파싱 단계에서 분기 조건을 일부러 회피하도록 설계된 페이로드 시퀀스를 전송한다. 이 과정에서 OpenSSL의 내부 버퍼 재할당이 반복적으로 발생하면서 결과적으로 사용되지 않는 메모리 객체가 힙에 쌓이게 된다. 이러한 시퀀스는 정상 클라이언트의 일반적인 트래픽 패턴에서는 거의 나타나지 않는 것으로 보고된다.

메모리 증가 패턴과 서비스 중단 시나리오 재현

재현 환경에서는 동일 클라이언트가 짧은 간격으로 요청을 보내는 동안 RSS(Resident Set Size, 상주 메모리 크기)가 선형적으로 증가하는 양상이 관측된다. 임계점을 넘으면 응답 지연이 발생하고, 이후 신규 연결이 거부되는 단계로 진행될 수 있다.

정상 트래픽과 악성 트리거 요청을 구분하는 결정적 신호

결정적 차이는 핸드셰이크 중 버퍼 재할당 횟수와 핸드셰이크 완료 시점의 비정상적 지연이다. 정상 클라이언트는 핸드셰이크를 빠르게 완료하는 반면, HollowByte 공격 페이로드는 핸드셰이크를 완료하지 않고 자원 할당만 반복하도록 만든다. 이 비율을 모니터링하면 트래픽 양과 무관하게 공격 신호를 포착할 수 있다.

OpenSSL의 침묵 패치와 영향 범위

사일런트 패치 방식의 이점과 이해관계자 리스크

OpenSSL 프로젝트는 공개된 보안 권고 없이 내부적으로 패치를 적용한 것으로 알려졌다. 침묵 패치는 공개 시점까지 공격자에게 구현 단서를 제공하지 않는다는 점에서 즉각적 악용 위험 완화에 유리할 수 있다. 그러나 패치 사실이 공개되지 않으면 운영자가 업데이트를 적용할 동기가 줄어들 수 있으며, 이로 인해 장기적으로 보안 업데이트가 지연될 수 있다는 우려가 제기된다.

서버 운영자가 인지해야 할 패치 적용 시점과 우선순위

노출 표면이 있는 OpenSSL 서버 운영자는 공식 OpenSSL 배포 채널의 커밋 로그와 릴리스 노트를 정기적으로 확인해야 한다. 특히 인터넷에 개방된 TLS 엔드포인트가 있는 시스템은 패치 우선순위를 내부적으로 상향 조정할 필요가 있다.

오픈소스 보안 거버넌스 측면의 논쟁점

침묵 패치는 오픈소스 거버넌스 차원에서 지속적 논쟁거리다. 투명성·재현 가능성·신뢰 확보 측면에서는 공개가 원칙이지만, 메모리 고갈 공격처럼 패치 즉시 익스플로잇이 가능한 결함에서는 공개 시점 전략이 예민한 변수가 된다. 이는 단순한 기술 이슈가 아니라 오픈소스 재단의 정책 의사결정과도 연결되는 사안이다.

기존 DDoS 방어 체계의 사각지대

트래픽·패킷 크기 기반 탐지의 구조적 한계

대부분의 L3·L4(네트워크·전송 계층) DDoS 방어 장비는 초당 패킷 수(pps)·대역폭(bps)을 차단 임계값으로 사용한다. HollowByte는 이 지표들을 거의 변화시키지 않으므로 기존 정책으로는 차단이 사실상 불가능하다. 결과적으로 애플리케이션 레벨에서의 별도 가시성이 요구된다.

애플리케이션 레벨 메모리 고갈 공격 대응 방안

대응의 핵심은 핸드셰이크 단계별 자원 사용량과 비정상적 지연 비율을 관제 대시보드에 추가하는 것이다. 클라이언트별 핸드셰이크 시도 횟수, 할당된 임시 버퍼 평균 크기, 핸드셰이크 완료율 같은 지표를 결합하면 HollowByte 류 공격을 조기 식별할 수 있다.

관제 시스템에서 HollowByte 류 공격을 가시화하는 방법

관제 시스템에서는 정상 클라이언트의 핸드셰이크 완료 분포를 기준으로 이상 점수(scoring)를 산출하고, 임계치 초과 시 자동으로 속도 제한(rate limit)을 적용하는 정책이 효과적이다. 또한 동일 소스에서 핸드셰이크를 완료하지 않은 채 반복 요청하는 패턴을 시그니처로 등록하면 사일런트 공격까지 포착할 수 있다.

한국 기업·기관에 미치는 영향과 대응 권고

노출된 OpenSSL 서버 점검 핵심 포인트

한국의 금융·공공·전자상거래 서비스는 대부분 OpenSSL 기반 TLS 엔드포인트를 외부에 개방하고 있다. 우선 점검해야 할 항목은 다음과 같다.

• OpenSSL 라이브러리 버전 및 패치 레벨 확인
• 외부 노출 TLS 포트의 핸드셰이크 성공률 및 지연 분포 모니터링
• 동일 클라이언트 IP의 비완료 핸드셰이크 비율 임계치 설정
• WAF·DDoS 장비의 애플리케이션 레벨 가시성 활성화 여부

단기 완화 체크리스트와 중장기 거버냇스 제안

단기적으로는 ① OpenSSL 라이브러리 최신화, ② 핸드셰이크 단계별 자원 사용량 모니터링, ③ 비정상 클라이언트에 대한 임시 차단 정책 적용이 필요하다. 중장기적으로는 SBOM(Software Bill Of Materials, 소프트웨어 구성 명세) 기반의 의존성 관리와 침묵 패치 여부를 감지할 수 있는 자동화된 업데이트 검증 체계를 마련해야 한다는 시각이 지배적이다.

취약점 정보 공개와 패치 적용의 균형점

침묵 패치의 가장 큰 부작용은 운영자가 패치 사실을 인지하지 못해 업데이트가 지연되는 것이다. 한국 기업은 공식 OpenSSL 릴리스 노트와 주요 보안 배포판의 공지 채널을 동시에 구독하고, 내부적으로 CVE(Common Vulnerabilities and Exposures, 공통 취약점 식별자) 후보가 등장하면 사전 점검 프로세스를 가동하는 것이 권고된다.

마무리: 초소형 공격 시대의 보안 운영

운영자 관점의 핵심 시사점 요약

① HollowByte는 11바이트라는 극소 페이로드로도 서비스 중단을 유발할 수 있음을 입증했다. ② 전통적 DDoS 방어 체계는 트래픽·패킷 크기 중심에서 애플리케이션 자원 사용량 중심으로 재설계되어야 한다. ③ OpenSSL의 침묵 패치 사례는 오픈소스 보안 거버넌스에서 투명성과 속도 사이의 균형이 여전히 풀어야 할 과제임을 보여준다.

다음 단계로 모니터링해야 할 후속 지표

향후 모니터링해야 할 핵심 지표는 ① OpenSSL 라이브러리 신규 릴리스 빈도, ② 동일 클라이언트의 비완료 핸드셰이크 비율, ③ TLS 엔드포인트의 RSS 변화 추이, ④ 메모리 회수 정책 변경 이력이다. 이 지표들이 한꺼번에 비정상으로 움직인다면 HollowByte 류 공격이 진행 중일 가능성이 높다고 판단된다.

참고 자료: Bleeping Computer – HollowByte DDoS flaw bloats OpenSSL server memory with 11-byte payload, OpenSSL Official Site