하네스 엔지니어링

• 하네스(harness): 말에 채우는 마구. 말의 힘을 수레에 전달하면서 방향을 잡고 멈추게 하는 장치.
• AI에서는 모델 밖의 모든 것: 지침, 도구와 권한, 실행 환경, 상태 추적, 검증 피드백, 로그.
• 하네스 엔지니어링(harness engineering): 에이전트가 안정적으로 일하도록 이 실행 구조를 설계하는 일.
• 프롬프트 → 컨텍스트 → 하네스의 흐름은 컨텍스트 엔지니어링 참고. 컨텍스트 관리도 하네스의 일부.

같은 모델, 다른 하네스

• Anthropic의 실험: Claude Opus 4.5에 2D 레트로 게임 제작 도구를 만들게 함.
  • 에이전트 하나: 20분, 9달러. 화면은 그럴듯하지만 입력에 반응하지 않아 동작하지 않음.
  • 계획자·생성자·평가자 하네스: 6시간, 200달러. 실제로 플레이 가능.
  • 차이를 만든 것은 구조, 특히 앱을 직접 눌러 보고 되돌려 보내는 평가자.
• 출처: Rajasekaran(2026), Harness design for long-running application development.
• METR의 작업 시간 지표도 하네스를 붙여 측정한 값. 모델 + 하네스의 능력.

하네스의 구성 요소

• AI 코딩 도구의 하네스 설정: 하네스 엔지니어링(AI 에이전트와 일하기).

말로 시키기와 시스템으로 막기

• 왼쪽은 확률적이라 가끔 어김. 오른쪽은 모델이 어겨도 막힘. 틀렸을 때 비용이 큰 곳부터.
• 가중치와의 싸움(fighting the weights): 학습 때 익힌 습관과 다른 방식은 잘 따르지 않음. 프롬프트에 같은 말을 반복하거나 대문자로 강조하고 있다면 그 신호. 말을 세게 하기보다 하네스로 옮김. 출처: Breunig(2025), Don't Fight the Weights.

세션 연속성과 완료 증거

• 새 세션이 이전 대화 없이 이어받도록 진행 파일·결정 기록·커밋을 남김(기억과 망각).
• 에이전트가 접근할 수 없는 지식은 없는 것과 같음(Lopopolo 2026, Harness engineering).
• 에이전트는 끝나지 않은 일을 끝났다고 보고하는 경향. "다 했다"는 말 대신 테스트 통과를 완료 조건으로.

자동화 수준과 승인 게이트

Sheridan의 자동화 수준(10단계 중 일부)

• 기능 영역마다 수준을 따로 정함. 예: 조회는 수준 7 이상, 환불·삭제처럼 상태를 바꾸는 행동은 수준 5.
• 인간 감독의 평가 기준 중 설계에 직접 쓰이는 것
  • 정신적 작업 부하: 모든 단계마다 승인을 물으면 사람이 지침.
  • 무사안일(complacency): 믿을 만하지만 완벽하지 않을 때 감시를 멈춤. 승인 버튼을 읽지 않고 누르는 "승인 피로".
  • 결과의 비용: 위험 = 오류 확률 × 오류 비용. 되돌릴 수 없는 행동일수록 실행 직전에 사람 확인.
• 출처: Parasuraman·Sheridan·Wickens(2000), A model for types and levels of human interaction with automation.

하네스의 비용과 유지

• 무거운 하네스는 속도를 늦추고, 모델이 바뀌면 필요 없어지는 장치도 생김. 위험도에 맞춰 조절.
• 실수가 생기면 결과만 고치지 말고 같은 실수를 잡는 테스트·규칙을 추가.
• 다음 문서 에이전트에 하네스 달기에서 최대 단계, 승인, 궤적 로그를 코드로 붙여 봄.