인공지능 에이전트의 성능을 좌우하는 요소를 한 문장으로 줄이면, 모델보다 현재 목표에 필요한 정보를 골라 전달하는 컨텍스트 엔지니어링에 가깝습니다. 결정론적 코드와 확률적 모델의 역할을 나누고, 오래된 상태를 주기적으로 버리는 방식이 긴 컨텍스트의 한계를 보완하는 대안으로 부상하고 있습니다.
긴 컨텍스트가 만드는 네 가지 실패
긴 컨텍스트 창은 정보량뿐 아니라 환각, 잘못된 사실과 상충하는 사례까지 함께 수용합니다. 잘못된 정보에 고착되는 컨텍스트 오염, 컨텍스트에 지나치게 집중하는 주의 분산, 현재 문제와 무관한 사실이 답에 영향을 주는 혼동, 도구와 스킬이 예기치 않게 충돌하는 컨텍스트 충돌이 그 결과로 나타납니다.
Gemini 2.5의 Pokémon 플레이 실험에서는 구버전의 게임 규칙과 새버전의 과제가 함께 주어지자 모델이 오래된 목표를 여러 시간 추구했습니다. 기술 보고서의 부록에 따르면 컨텍스트가 10만 토큰을 상당히 넘은 구간에서는 새 계획을 세우기보다 과거 행동을 반복하기 시작했습니다.
Carolina Camassa와 Derek Shiller의 ‘Do as I Say, Not as I Do’ 실험에서도 새 지시와 상충하는 대화 사례가 늘어날수록 모든 시험 모델의 원래 지시 준수율이 낮아졌습니다. Gemma 3 12B는 소수의 상충 사례만으로 준수율이 절반 아래로 내려갔고, Opus 4.6도 사례가 누적될수록 같은 문제가 나타났습니다.
정보 보강부터 요약까지 여섯 가지 관리 기법
컨텍스트 관리에는 RAG와 스킬로 필요한 정보를 보강하고, 요청에 적합한 도구만 노출해 과부하를 막는 도구 구성 선별이 포함됩니다. 한 기업에서는 소프트웨어 시작마다 엔지니어별로 600개 스킬을 로드해 성능 저하가 갑자기 발생했고, 도구 필터링이 필요했습니다. 하위 에이전트와 동료 에이전트를 빈 대화 이력으로 시작시키는 컨텍스트 격리는 다른 작업의 정보와 목표를 분리합니다.
오래된 이력을 제거하는 가지치기, Markdown 파일이나 데이터베이스에 정보를 보관하는 외부 저장, 오래된 대화를 요약해 새 컨텍스트를 시작하는 요약까지 이어집니다. Claude Code와 Codex는 컨텍스트 압축의 초기 단계에서 불필요해진 도구 결과도 제거했습니다. 실무에서는 관련성을 먼저 평가해 이력을 줄인 뒤 요약하면 더 유용한 압축 결과를 얻을 수 있습니다.
하네스로 옮겨 가는 컨텍스트 구성
컨텍스트 엔지니어링은 프롬프트에서 시스템이 동적으로 컨텍스트를 조립하는 방식으로 발전했고, 처리를 컨텍스트 밖의 코드로 옮기는 하네스 엔지니어링으로 확산됐습니다. DSPy 시연은 ReAct 모듈과 Python 함수 도구를 while 루프에 결합해 대화 이력을 누적하는 방식으로 구성됐습니다.
도구 선별에는 큰 모델 Claude Sonnet 4.5와 작은 판단 모델 Jev를 함께 사용했습니다. Jev는 요청과 도구를 평가해 필요한 도구 집합을 고르고, 하위 에이전트를 격리하며, 각 대화 차례를 검토해 불필요한 이력을 삭제합니다. 네 가지 개선을 하나의 루프에 넣는 변경은 약 16줄로 소개됐습니다.
장기 실행의 실패와 전략적 망각
장기 작업 모델에는 학습된 행동과 현재 지시가 충돌하는 ‘가중치와의 싸움’, 중단할 가설과 하위 작업을 계속 추구하는 ‘컨텍스트 관성’이 새로 나타났다. Claude Code의 시스템 프롬프트와 도구 지시에는 독립적인 도구 호출을 병렬 실행하라는 요청이 여러 차례 반복돼 Learning 환경의 행동 편향이 드러났다.
Anthropic의 자기 복제 연구에 사용된 Memento 하네스는 90분마다 짧은 메모를 작성하고 컨텍스트를 비우는 방식으로 고착 문제를 완화했다. 환경과 작업 결과는 유지하면서 진행 중인 대화를 없애 새 관점에서 다시 시작하는 방식이다. Microsoft Research의 Fork-and-Flush는 큰 개선 이후 탐색이 정체되는 문제를 다뤘고, UC Berkeley의 Shangyin Tan이 주도한 Scaling Discovery Requires Forgetting는 산출물을 유지한 채 주기적으로 컨텍스트를 지워 성능이 다시 상승하는 양상을 보고했다.
개인 에이전트에서는 기억과 스킬이 누적되며 지시 충돌이 새로운 운영 과제가 될 것으로 보인다. Hermes를 6개월 운용한 경험에서는 스킬에 특이한 수정이 쌓이면서 문제 해결 방식이 나빠질 수 있었고, 범용 에이전트가 같은 문제를 서로 다른 방식으로 해결하면서 기억과 지시가 충돌했다. 이에 대응하는 수단은 격리, 외부 저장, 누적 이력 삭제 같은 기존 기법으로 남아 있다. 에이전트 하네스의 품질은 컨텍스트 창의 크기보다 목표 중심의 정보 선별과 전략적 망각을 얼마나 정교하게 자동화하는가에 달렸다.
이 변화는 컨텍스트 엔지니어링의 현주소를 다룬 자료에서 확인할 수 있다. 장기 에이전트를 설계하는 팀은 프롬프트 길이보다 무엇을 컨텍스트에 남기고 언제 비울지를 함께 다뤄야 한다.
참고 원문
이 기사는 다음 원문을 확인해 작성했습니다: geeknews — 컨텍스트 엔지니어링의 현주소
