프롬프트의 설계
프롬프트의 구성 요소를 이용해 모호한 요청을 확인 가능한 작업으로 바꾼다.
프롬프트의 구성 요소
프롬프트에는 수행할 작업뿐 아니라 판단에 필요한 정보와 원하는 답변의 조건을 담을 수 있음.
| 요소 | 정할 내용 | 예시 |
|---|---|---|
| 작업 | 무엇을 수행할지 | “다음 기사를 세 문장으로 요약해라.” |
| 맥락·추가 정보 | 작업에 필요한 배경이나 자료 | “이 안내문은 도서관을 처음 이용하는 학생에게 배포할 예정이다.” |
| 제약 | 지켜야 할 조건이나 제외할 내용 | “제공한 자료에 없는 수치는 추측하지 마라.” |
| 출력 형식 | 결과를 어떤 구조로 제시할지 | “제품별 가격과 장단점을 표로 정리해라.” |
| 역할 | 어떤 관점에서 작업할지 | “편집자의 관점에서 문장의 흐름을 검토해라.” |
| 청중 | 누가 결과를 읽을지 | “경제 용어를 모르는 중학생에게 설명해라.” |
| 스타일 | 어떤 문체와 어조로 표현할지 | “친근한 존댓말로 작성해라.” |
| 예시 | 원하는 처리 방식이나 결과의 견본 | “감정 분류 예: ‘정말 마음에 들어요’ → 긍정” |
자세한 프롬프트 ≠ 더 좋은 프롬프트
AGENTS.md 연구: 지침을 늘렸을 때의 성공률과 비용
- Gloaguen 등의 Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?(2026년 2월): 코딩 에이전트에 프로젝트 지침 파일을 제공하는 효과를 평가한 연구
AGENTS.md: 작업 규칙·프로젝트 구조·테스트 방법 등을 적어 에이전트가 참고하게 하는 파일- 실험 과제: SWE-bench와, 개발자가 작성한 지침 파일이 있는 저장소 12개의 과제 138개로 구성한 CTXbench
- 비교 조건: 지침 파일 없음, 모델이 생성한 지침 파일, 개발자가 작성한 지침 파일
- 평가 항목: 문제 해결 성공률, 도구 호출 등 작업 단계 수, 모델 호출 비용
- 성공률: 지침 파일을 추가했을 때 전반적으로 유의한 개선이 관찰되지 않음. 개발자 작성 지침은 모델 생성 지침보다 나은 결과
- 비용: 모델 생성 지침을 추가하면 평균 호출 비용이 SWE-bench에서 20%, CTXbench에서 23% 증가
- 행동 변화: 에이전트는 지침을 따라 테스트·파일 탐색·읽기 등을 더 많이 수행. 프로젝트 구조 설명을 추가해도 관련 파일을 더 빨리 찾지는 못함
연구진은 기존 README의 내용을 되풀이하기보다, 프로젝트 고유의 코딩 관행이나 별도 요구사항을 지침에 담도록 제안. 지시를 따르는 활동이 늘어나는 것과 실제 문제 해결이 개선되는 것은 별개의 결과.
Anthropic: 시스템 프롬프트를 80% 이상 줄인 사례
Anthropic의 The new rules of context engineering for Claude 5 generation models(2026년 7월)는 Claude Code의 시스템 프롬프트를 정리한 개발 사례. 일부 최신 모델에서 시스템 프롬프트를 80% 이상 줄인 뒤에도 내부 코딩 평가의 측정 가능한 성능 저하가 없었다고 보고.
정리의 대상은 모델이 스스로 판단할 수 있는 세부 규칙, 여러 곳에 반복된 설명, 모든 요청에 미리 넣어 두었던 절차.
| 기존 방식 | 변경한 방식 |
|---|---|
| 주석은 쓰지 말고, 꼭 필요해도 한 줄만 쓰도록 세부 제한 | 주변 코드의 주석 밀도·이름·작성 관례를 따르도록 안내 |
| 도구를 언제 어떻게 쓰는지 긴 목록과 예제로 설명 | 도구의 목적·입력값·필수 규칙을 간단히 설명 |
| 코드 리뷰·검증 절차를 시스템 프롬프트에 상시 포함 | 필요한 때 불러오는 별도 지침으로 분리 |
| 시스템 프롬프트와 도구 설명에 같은 사용법 반복 | 도구 설명에 사용법을 모아 중복 제거 |
프로젝트 지침에는 파일을 보면 알 수 있는 구조 설명보다 고유한 주의사항을 남기고, 상세 자료는 필요할 때 참조하도록 구성. 모델의 판단을 세부 규칙으로 모두 대체하기보다, 작업에 필요한 정보와 도구를 제공하는 방향으로 전환한 사례.
성공 조건을 기준으로 반복 개선하기
프롬프트는 초안을 실행하고 결과를 확인하면서 다듬어 가는 것. 먼저 성공 조건을 정하고, 그 조건을 충족할 때까지 지시 → 실행 → 확인 → 수정을 반복.
- 성공 조건 정의: 어떤 결과를 얻으면 작업이 잘된 것인지 먼저 결정
- 내용: 반드시 포함해야 할 정보와 정확성을 판단할 기준
- 형식: 결과의 구조와 필요한 항목
- 예외 처리: 입력에 정보가 없거나 판단하기 어려울 때의 처리 방식
- 첫 지시 작성과 실행: 작업·입력 자료·원하는 결과를 명확하게 전달하고 모델의 답변 확인
- 앞의 구성 요소 중 작업에 필요한 것을 선택해 초안 작성
- 성공 조건에 따라 평가: 답변을 기준과 대조해 충족한 부분과 부족한 부분을 구체적으로 확인
- 빠진 정보, 잘못된 내용, 요구한 형식에서 벗어난 부분 등을 구분
- 언어 모델의 생성은 확률적이므로 같은 입력에서도 결과가 달라질 수 있음. 한 번의 성공이나 실패만으로 프롬프트의 효과를 판단하지 않기
- 같은 입력을 여러 번 실행해 성공 조건을 충족하는 비율과 반복되는 오류를 확인. 수정 전후를 비교할 때는 모델과 생성 설정을 동일하게 유지
- 부족한 지시 보완과 재실행: 확인한 문제에 맞춰 판단 기준·제약·예시 등을 추가하거나 모호한 표현 수정
- 수정 전후의 결과를 같은 성공 조건으로 비교
- 여러 입력에서도 원하는 결과가 나오는지 확인하고, 남은 문제에 대해 다시 수정
평가에서 발견한 문제를 다음 지시에 반영하는 것이 반복 개선의 핵심. 처음부터 모든 규칙을 나열하기보다 결과를 보며 필요한 지시를 구체화.
- 모델 버전이 바뀌면 다시 평가
- 새 버전에서는 추론 능력과 지시를 따르는 방식이 달라져, 효과적인 프롬프트도 달라질 수 있음
- 같은 입력과 성공 조건으로 기존 프롬프트를 새 버전에서 여러 번 실행해 결과 확인
- 필요한 지시를 보완하거나 불필요해진 지시를 줄이며 해당 버전에 맞게 개선
퀴즈
AGENTS.md 연구에서 코딩 에이전트에 지침 파일을 추가했을 때의 결과는?
퀴즈를 풀려면 대화형 기능을 불러와야 합니다.