[태그:] 에이전트 하네스

  • 컨텍스트 엔지니어링의 현주소: 긴 컨텍스트 넘어 전략적 망각으로 설계하는 에이전트

    컨텍스트 엔지니어링의 현주소: 긴 컨텍스트 넘어 전략적 망각으로 설계하는 에이전트

    인공지능 에이전트의 성능을 좌우하는 요소를 한 문장으로 줄이면, 모델보다 현재 목표에 필요한 정보를 골라 전달하는 컨텍스트 엔지니어링에 가깝습니다. 결정론적 코드와 확률적 모델의 역할을 나누고, 오래된 상태를 주기적으로 버리는 방식이 긴 컨텍스트의 한계를 보완하는 대안으로 부상하고 있습니다.

    긴 컨텍스트가 만드는 네 가지 실패

    긴 컨텍스트 창은 정보량뿐 아니라 환각, 잘못된 사실과 상충하는 사례까지 함께 수용합니다. 잘못된 정보에 고착되는 컨텍스트 오염, 컨텍스트에 지나치게 집중하는 주의 분산, 현재 문제와 무관한 사실이 답에 영향을 주는 혼동, 도구와 스킬이 예기치 않게 충돌하는 컨텍스트 충돌이 그 결과로 나타납니다.

    Gemini 2.5의 Pokémon 플레이 실험에서는 구버전의 게임 규칙과 새버전의 과제가 함께 주어지자 모델이 오래된 목표를 여러 시간 추구했습니다. 기술 보고서의 부록에 따르면 컨텍스트가 10만 토큰을 상당히 넘은 구간에서는 새 계획을 세우기보다 과거 행동을 반복하기 시작했습니다.

    Carolina Camassa와 Derek Shiller의 ‘Do as I Say, Not as I Do’ 실험에서도 새 지시와 상충하는 대화 사례가 늘어날수록 모든 시험 모델의 원래 지시 준수율이 낮아졌습니다. Gemma 3 12B는 소수의 상충 사례만으로 준수율이 절반 아래로 내려갔고, Opus 4.6도 사례가 누적될수록 같은 문제가 나타났습니다.

    정보 보강부터 요약까지 여섯 가지 관리 기법

    컨텍스트 관리에는 RAG와 스킬로 필요한 정보를 보강하고, 요청에 적합한 도구만 노출해 과부하를 막는 도구 구성 선별이 포함됩니다. 한 기업에서는 소프트웨어 시작마다 엔지니어별로 600개 스킬을 로드해 성능 저하가 갑자기 발생했고, 도구 필터링이 필요했습니다. 하위 에이전트와 동료 에이전트를 빈 대화 이력으로 시작시키는 컨텍스트 격리는 다른 작업의 정보와 목표를 분리합니다.

    오래된 이력을 제거하는 가지치기, Markdown 파일이나 데이터베이스에 정보를 보관하는 외부 저장, 오래된 대화를 요약해 새 컨텍스트를 시작하는 요약까지 이어집니다. Claude Code와 Codex는 컨텍스트 압축의 초기 단계에서 불필요해진 도구 결과도 제거했습니다. 실무에서는 관련성을 먼저 평가해 이력을 줄인 뒤 요약하면 더 유용한 압축 결과를 얻을 수 있습니다.

    하네스로 옮겨 가는 컨텍스트 구성

    컨텍스트 엔지니어링은 프롬프트에서 시스템이 동적으로 컨텍스트를 조립하는 방식으로 발전했고, 처리를 컨텍스트 밖의 코드로 옮기는 하네스 엔지니어링으로 확산됐습니다. DSPy 시연은 ReAct 모듈과 Python 함수 도구를 while 루프에 결합해 대화 이력을 누적하는 방식으로 구성됐습니다.

    도구 선별에는 큰 모델 Claude Sonnet 4.5와 작은 판단 모델 Jev를 함께 사용했습니다. Jev는 요청과 도구를 평가해 필요한 도구 집합을 고르고, 하위 에이전트를 격리하며, 각 대화 차례를 검토해 불필요한 이력을 삭제합니다. 네 가지 개선을 하나의 루프에 넣는 변경은 약 16줄로 소개됐습니다.

    장기 실행의 실패와 전략적 망각

    장기 작업 모델에는 학습된 행동과 현재 지시가 충돌하는 ‘가중치와의 싸움’, 중단할 가설과 하위 작업을 계속 추구하는 ‘컨텍스트 관성’이 새로 나타났다. Claude Code의 시스템 프롬프트와 도구 지시에는 독립적인 도구 호출을 병렬 실행하라는 요청이 여러 차례 반복돼 Learning 환경의 행동 편향이 드러났다.

    Anthropic의 자기 복제 연구에 사용된 Memento 하네스는 90분마다 짧은 메모를 작성하고 컨텍스트를 비우는 방식으로 고착 문제를 완화했다. 환경과 작업 결과는 유지하면서 진행 중인 대화를 없애 새 관점에서 다시 시작하는 방식이다. Microsoft Research의 Fork-and-Flush는 큰 개선 이후 탐색이 정체되는 문제를 다뤘고, UC Berkeley의 Shangyin Tan이 주도한 Scaling Discovery Requires Forgetting는 산출물을 유지한 채 주기적으로 컨텍스트를 지워 성능이 다시 상승하는 양상을 보고했다.

    개인 에이전트에서는 기억과 스킬이 누적되며 지시 충돌이 새로운 운영 과제가 될 것으로 보인다. Hermes를 6개월 운용한 경험에서는 스킬에 특이한 수정이 쌓이면서 문제 해결 방식이 나빠질 수 있었고, 범용 에이전트가 같은 문제를 서로 다른 방식으로 해결하면서 기억과 지시가 충돌했다. 이에 대응하는 수단은 격리, 외부 저장, 누적 이력 삭제 같은 기존 기법으로 남아 있다. 에이전트 하네스의 품질은 컨텍스트 창의 크기보다 목표 중심의 정보 선별과 전략적 망각을 얼마나 정교하게 자동화하는가에 달렸다.

    이 변화는 컨텍스트 엔지니어링의 현주소를 다룬 자료에서 확인할 수 있다. 장기 에이전트를 설계하는 팀은 프롬프트 길이보다 무엇을 컨텍스트에 남기고 언제 비울지를 함께 다뤄야 한다.

    참고 원문

    이 기사는 다음 원문을 확인해 작성했습니다: geeknews — 컨텍스트 엔지니어링의 현주소

  • Liquid AI, 토큰당 2B만 활성화하는 24B MoE 온디바이스AI 추론 모델 공개

    Liquid AI, 토큰당 2B만 활성화하는 24B MoE 온디바이스AI 추론 모델 공개

    Liquid AI가 24B 파라미터 중 토큰당 2B만 활성화하는 Mixture-of-Experts(MoE) 추론 모델 LFM2.5-24B-A2B를 공개했다. 2026년 10월 13일자로 Hugging Face 블로그에 게시된 발표에 따르면, 모델은 답변 전에 명시적인 사고 과정을 거치며, 도구를 호출하고 OpenClaw·Hermes Agent·Pi·OpenCode 같은 에이전트 하네스 안에서 다단계 작업을 수행하도록 설계됐다. 활성 파라미터가 토큰당 2B에 그치기 때문에 추론 토큰 한 개당 비용이 낮아, 자체 하드웨어에서 에이전트를 지속적으로 운영할 수 있는 온디바이스AI 옵션으로 포지셔닝된다.

    아키텍처: 40 레이어·64 expert·하이브리드 어텐션

    LFM2.5-24B-A2B는 LFM2-24B-A2B의 설계를 계승해 40개 레이어, MoE 블록당 64 expert, top-4 라우팅을 유지하며 게이티드 단기 컨볼루션과 GQA(Grouped Query Attention)의 하이브리드 어텐션을 그대로 사용한다. 컨텍스트 윈도우는 32K에서 131K 토큰으로 확장됐고, 토크나이저는 65K에서 128K로 어휘를 늘려 비라틴어 토큰화가 개선됐다. LFM2-24B-A2B와 달리 추론 전용 모델로 동작하며, 최종 답변 전에 명시적인 연쇄적 사고(Chain of Thought)를 생성한다.

    학습 파이프라인: 33T 프리트레이닝과 5단계 포스트트레이닝

    프리트레이닝 토큰 수는 약 17T에서 약 33T로 확대됐다. 미드트레이닝은 32K 컨텍스트에서 추론·수학·코드·지시 따름·다국어 텍스트에 가중을 둔 2T 토큰, 131K 컨텍스트에서 장문맥 데이터에 가중을 둔 300B 토큰으로 구성되며 도구 호출과 다회화 궤적이 양 단계 전반에 등장한다. 포스트트레이닝은 ① 지도 미세조정(SFT), ② 다중 도메인 온폴리시 증류(MOPD) 비에이전트 단계에서 전문가 모델을 비에이전트 과제에 증류, ③ MOPD 에이전트 단계에서 에이전틱 과제 증류, ④ 에이전틱 강화학습(에이전트 하네스 내부 학습), ⑤ 후속 미세조정의 다섯 단계로 진행된다.

    에이전트 성능: 도구 사용 5종·지시 따름 3종 1위

    평가는 vLLM으로 진행됐으며, 비교 대상은 Qwen3.6-35B-A3B·Gemma-4-26B-A4B-it·Nemotron-3.5-Lightning이고 도구 사용·에이전틱 워크플로·지식·지시 따름·수학·코딩을 아우르는 16개 벤치마크가 사용됐다. LFM2.5-24B-A2B는 그룹에서 가장 작은 모델임에도, 총·활성 파라미터가 약 50% 더 많은 MoE들과 경쟁 가능한 성능을 보였다. 도구 사용·에이전틱 8개 벤치마크 중 AutomationBench·BFCLv4·ToolSandbox·LiveClaw·τ³-Bench Banking 5개에서 1위 또는 동률을 기록했고, AutomationBench는 차순위 모델 대비 3배 이상의 점수를 냈다. LiveClaw에서는 48.09로 Qwen3.6-35B-A3B의 38.19을 앞섰으며, 지시 따름 벤치마크 3종에서도 모두 1위였다. 반면 GPQA Diamond·HLE·AA-Omniscience 등 지식 중심 벤치마크와 SWE-Bench Verified(OpenCode)·SciCode 등 코딩 벤치마크에서는 더 큰 모델이 우위를 유지했다.

    추론 속도: M5 Max 184 tok/s, B300 단일 GPU 21K tok/s

    모델은 llama.cpp·MLX·vLLM·SGLang·ONNX에서 출시 즉시 지원된다. 엣지 추론에서 Apple M5 Max로 184 tokens/s, Ryzen AI Max+ 395로 114 tokens/s의 디코딩 속도를 기록했으며, 차순위 모델 대비 최대 1.7배 빠르면서 메모리 사용량은 가장 적었다. GPU 추론에서는 단일 NVIDIA B300에서 고동시성 시 21K 출력 토큰/s를 돌파해 동일 크기급에서 가장 빠른 속도를 보였다.

    벤치마크 / 환경 LFM2.5-24B-A2B 비교 대상
    LiveClaw(에이전틱 종합) 48.09 Qwen3.6-35B-A3B 38.19
    엣지 디코딩(Apple M5 Max) 184 tokens/s 차순위 대비 최대 1.7배
    엣지 디코딩(Ryzen AI Max+ 395) 114 tokens/s 차순위 대비 최대 1.7배
    데이터센터 GPU(단일 B300) 21K tokens/s(고동시성) 동급 최고 수준

    실무 적용 절차와 에이전트 하네스 연동

    모델은 OpenAI 호환 백엔드로 로컬 서빙한 뒤 에이전트 하네스에서 가리키는 방식으로 연결된다. transformers 5.0.0 이상에서 AutoModelForCausalLM으로 로딩하며, device_map=auto, dtype=bfloat16, 호환 GPU에서는 flash_attention_2 옵션을 함께 사용한다. Hermes Agent에는 model.provider를 custom으로, model.base_url을 로컬 OpenAI 호환 엔드포인트로 지정하고 model.context_length를 131072로 설정해 도구 사용을 강제한다. 서빙 백엔드별 기본 포트는 llama.cpp·MLX 8080, vLLM 8000, SGLang 30000, LM Studio 1234다. 같은 OpenAI 호환 인터페이스로 동작하기 때문에 M5 Max 같은 노트북 클래스 엣지 디바이스에서도 동일한 절차로 에이전트를 띄울 수 있어, 온디바이스AI 적용 범위가 데이터센터에서 개인 디바이스까지 확장된다.

    한계와 시사점

    지식·코딩 워크플로에서는 여전히 더 큰 모델이 우위를 점해, RAG나 웹 검색 결합이 권장된다. 131K 컨텍스트와 토큰당 2B 활성 구조의 조합은 외부 API 의존 없이 도구 호출과 다단계 추론을 로컬에서 처리하는 온디바이스AI 시나리오에 초점을 맞추고 있으며, LFM2.5-24B-A2B와 LFM2.5-24B-A2B-Base 모두 오픈웨이트로 Hugging Face에 공개된 만큼 자체 하드웨어에서 사적 에이전트를 운영하려는 팀이 즉시 검토해볼 만한 모델로 평가된다.

    참고 원문

    이 기사는 다음 원문을 확인해 작성했습니다: Hugging Face Blog — Run fast, private agents on-device with LFM2.5-24B-A2B