RAG와 다른 접근법 비교

RAG와 긴 컨텍스트

• 긴 컨텍스트 활용: 컨텍스트 창이 큰 모형에 자료 전체를 넣어 답변을 생성하는 접근.
• RAG: 질문과 관련된 부분을 먼저 검색해 모형에 전달하는 접근.
• 비교 기준: 답변할 때 자료 전체를 넣을지, 필요한 부분을 검색해 넣을지.
• 두 접근 모두 입력에 자료를 제공하는 방식. 자료를 넣는 것만으로 모형의 파라미터가 바뀌지는 않음.

• 전체 자료가 창에 들어가고 여러 부분을 함께 비교해야 한다면 통째로 넣는 방법부터 검토.
• 자료가 많거나 질문마다 필요한 부분이 다르면 검색으로 입력 범위를 좁히는 방법을 검토.

Lost in the Middle

• Liu 외(2023)의 실험: 질문과 문서 20개를 주고, 정답이 든 문서의 위치를 맨 앞부터 맨 뒤까지 바꿔 가며 정확도를 측정.

• 결과: U자형 곡선. 정답 문서가 맨 앞이나 맨 뒤에 있을 때 정확도가 가장 높고, 중간에 있을 때 크게 떨어짐.
  • GPT-3.5-Turbo는 정답 문서가 중간에 있을 때의 정확도가 문서를 하나도 주지 않았을 때(56.1%)보다 낮았음.
• 최근 경향: Veseli 외(2025)는 Llama, Mistral 등 공개 모형에서 입력 길이를 바꿔 가며 다시 실험.
  • 입력이 컨텍스트 창의 50% 이하일 때 이 효과가 가장 뚜렷함.
  • 입력이 더 길어지면 U자형이 사라지고, 입력의 끝에 가까운 정보일수록 잘 활용.
  • 위치의 영향은 입력 길이와 모형에 따라 달라짐. 완화 기법의 효과도 모형과 과제에 따라 다름(Gupte 외(2025)).
• 자료를 많이 넣는다고 항상 좋아지지는 않음. 관련성이 낮은 검색 결과까지 넣으면 필요한 정보를 활용하기 어려워질 수 있음.
• rerank로 프롬프트에 넣을 청크 수를 줄이는 것이 효과적인 이유.

RAG와 미세조정

• 미세조정(fine-tuning): 학습 사례를 이용해 이미 학습한 모형의 파라미터를 추가로 갱신하는 방법.
• 비교 기준: 응답 시점에 참고할 자료를 제공할지, 학습으로 모형의 응답 방식을 바꿀지.
• RAG와 긴 컨텍스트의 비교는 입력 자료의 범위에 관한 문제. 미세조정 여부는 별도로 판단 가능.

• RAG에서도 검색이 틀리거나 모형이 근거를 잘못 읽으면 잘못된 답변이 나올 수 있음.
• 미세조정한 모형도 변경된 사내 규정이나 현재 가격을 답하려면 최신 자료가 필요.
• 미세조정한 모형에 RAG를 붙여 사용 가능. 답변 형식은 학습하고, 답변에 필요한 최신 규정은 검색하는 구성.

상황별 선택

• 선택 순서: 필요한 자료의 범위와 갱신 방식을 정하고, 응답 방식의 학습이 필요한지 별도로 판단.
• 긴 컨텍스트와 RAG도 함께 활용 가능. 검색으로 관련 문서를 좁힌 뒤, 선택한 문서 전체를 긴 컨텍스트에 넣어 비교하는 방식.