핵심 요약
- 단기 RSI는 모델 가중치 수정보다 하네스(사고·도구·맥락·기억·평가) 자체 개선에 더 가까움
- 하네스는 프롬프트를 넘어 워크플로 자동화, 영속 메모리, 병렬 서브에이전트, 권한 제어를 아우르는 런타임 시스템으로 진화
- ACE·MCE·Meta-Harness는 컨텍스트 최적화, ADAS·AFlow·STOP·Self-Harness·AHE는 실행 결과 기반 워크플로 개선, DGM은 진화적 탐색을 대표함
자가 개선 에이전트의 품질은 모델이 아니라 하네스 설계에서 갈린다.
들어가며: 왜 하네스 엔지니어링인가
AI 에이전트의 자율성을 높이기 위한 논의는 그동안 모델 크기, 학습 데이터, 파인튜닝 같은 모델 스케일링 축에 집중되어 왔다. 그러나 2026년 자기 개선 에이전트 논의는 시선을 돌린다. 모델이 아니라 에이전트를 감싸는 하네스 레이어를 어떻게 설계하느냐가 실제 성능과 안정성을 가른다는 것이다. 원문 제시 내용에 따르면 단기 RSI(재귀적 자기 개선)는 가중치를 직접 수정하는 방향보다, 사고·도구·맥락·기억·평가를 조율하는 하네스 자체를 개선하는 쪽에 가깝다.
핵심 개념: 하네스의 정의와 구성 요소
단기 RSI 경로의 재해석: 가중치에서 하네스로
전통적인 RSI 논의는 에이전트가 자신의 가중치를 다시 작성해 더 똑똑해지는 시나리오를 가정한다. 그러나 실제 프로덕션 환경에서는 그런 자기 수정이 검증·롤백·안전성 측면에서 비용이 매우 크다. 따라서 단기적으로는 가중치 손을 대지 않고, 외부에서 에이전트를 감싸는 오케스트레이션 코드를 반복적으로 개선하는 것이 현실적 경로로 부상한다. 제시된 설명에 따르면 이 선택지가야말로 단기 RSI의 주류가 될 가능성이 높다.
프롬프트를 넘어선 런타임 시스템으로의 진화
하네스는 단순한 시스템 프롬프트가 아니다. 워크플로 자동화, 파일 기반 영속 메모리, 병렬 서브에이전트 호출, 도구 권한 통제, 평가와 상태 관리까지 통합하는 일종의 소프트웨어 런타임이다. 다시 말해 하네스는 모델을 호출하는 호출자가 아니라, 모델의 행동을 결정하는 운영체제에 가까운 층위로 격상되었다.
파일 기반 영속 메모리와 병렬 서브에이전트 패턴
장기 작업에서 하네스가 갖는 핵심 두 축은 영속 메모리와 병렬 실행이다. 파일 기반 영속 메모리는 컨텍스트 창이 닫혀도 지식과 진행 상태가 사라지지 않도록 하며, 병렬 서브에이전트 패턴은 거대한 작업을 작은 단위로 분해해 동시에 처리하게 만든다. 이 두 패턴이 결합될 때 에이전트는 단순 응답기를 넘어 진짜 작업자로 기능한다.
주요 접근법 분류 1: 컨텍스트 최적화형 하네스
ACE·MCE·Meta-Harness가 제시한 컨텍스트 중심 설계
컨텍스트 최적화형 접근법은 하네스가 다루는 정보를 더 정제해 모델에 공급하는 데 초점을 둔다. ACE와 MCE는 프롬프트나 컨텍스트 자체를 체계적으로 다듬어 성능을 끌어올리고, Meta-Harness는 이 관념을 한 단계 더 밀어 최적화 대상을 컨텍스트에서 하네스 코드 자체로 확장한다. 즉 무엇을 말할지뿐 아니라 어떤 하네스 코드가 그것을 말할지를 함께 조정하는 방향으로 나아간다.
| 구분 | 대표 시스템 | 최적화 대상 |
|---|---|---|
| 컨텍스트 최적화형 | ACE, MCE, Meta-Harness | 프롬프트, 컨텍스트, 하네스 코드 |
| 실행 결과 기반 개선형 | ADAS, AFlow, STOP, Self-Harness, AHE | 워크플로, 평가 점수, 도구 호출 경로 |
| 진화적 탐색형 | DGM | 후보 하네스 풀과 변이 연산 |
주요 접근법 분류 2: 실행 결과 기반 워크플로 개선형
ADAS·AFLOW·STOP·Self-Harness·AHE의 반복 개선 메커니즘
이 범주의 접근법은 정해진 정답 데이터 없이, 실제 실행에서 얻은 결과와 점수를 신호로 삼아 워크플로를 점진적으로 고친다. ADAS와 AFlow는 작업 분해와 그래프 구조를 자동으로 재구성하고, STOP과 Self-Harness는 자기 자신의 실행 궤적을 평가해 다음 시도의 정책을 조정한다. AHE는 평가 지표 자체를 하네스 차원에서 다듬는 시도로 볼 수 있다. 결과적으로 하네스는 정적인 설정 파일이 아니라, 매 실행 후 자신을 갱신하는 살아있는 구성 요소가 된다.
진화적 탐색과 DGM 사례
DGM의 Claude 3.5 Sonnet 기반 진화적 자기 개선
Darwin 괴델 Machine(DGM)은 하네스 개선 문제를 유전 알고리즘 프레임으로 끌어온 사례다. 후보 하네스 풀을 두고 변이와 선택을 반복하며 성능을 끌어올린다.리는 구조이며, 그 구성에 Claude 3.5 Sonnet이 활용된다. 즉 모델을 평가자로, 하네스 후보를 개체로 두는 형태의 진화적 탐색이 자기 개선 에이전트의 새로운 실험대로 작동하는 것이다.
실무 시사점과 한계
평가지향 하네스 설계가 자율성의 품질을 결정한다
하네스 엔지니어링이 성과를 내려면 무엇보다 신뢰할 수 있는 평가 신호가 필수다. 평가가 흔들리면 하네스는 자기 편향에 맞춰 과적합되며, 결과적으로 자율성은 좋아지기보다 불안정해질 가능성이 커진다. 따라서 평가 데이터셋 설계, 휴먼 인 더 루프 개입 지점, 실패 케이스 분석 파이프라인을 하네스 자체 안에 내장하는 것이 실질적인 품질 결정 요인으로 보인다.
하네스 엔지니어링이 개발자 워크플로에 주는 실질 함의
실무 관점에서 하네스 엔지니어링은 모델 선택만큼이나 중요한 의사 결정 지점이 되고 있다. 프롬프트 관리자, 도구 카탈로그 운영자, 평가 리드, 권한 설계자 같은 역할이 전통적인 ML 엔지니어와 나란히 요구되며, 변경 이력 관리와 롤백 절차도 소프트웨어 공학 수준으로 갖춰야 한다. 다만 각각의 시스템이 어떤 환경에서 우월한지에 대한 공개된 정량 비교는 아직 충분하지 않으며, 도입 결정은 워크로드와 안전 요건에 따라 신중하게 내려야 할 것으로 분석된다.
핵심 정리
- 단기 RSI의 현실적 경로는 가중치 수정이 아니라 하네스 자체 개선이다.
- 하네스는 프롬프트를 넘어 워크플로, 메모리, 평가, 권한을 통합하는 런타임 시스템이다.
- ACE·MCE·Meta-Harness는 컨텍스트와 하네스 코드 최적화, ADAS·AFLOW·STOP·Self-Harness·AHE는 실행 결과 기반 개선에 집중한다.
- DGM은 후보 하네스 풀을 진화시키는 새로운 자기 개선 실험대를 제시한다.
- 평가지향 설계와 운영 안전장치가 갖춰질 때 하네스 엔지니어링은 자율성 품질을 끌어올린다.
참고 소스: GeekNews 원문 토픽, Lilian Weng 블로그 원문