LLM 평가자(LLM-as-a-Judge)
- LLM 평가자: 한 언어 모형이 다른 모형의 응답을 평가하는 방법
- 장점
- 인간 평가보다 빠른 대규모 평가
- 단어 겹침 지표보다 폭넓은 내용과 맥락 평가
- 평가 기준표에 따른 품질 차원별 채점
- 주의점
- 평가 모형 자체의 오류와 편향
- 프롬프트와 응답 순서에 따른 결과 변화
- 점수 조작을 노리는 적대적 입력에 대한 취약성
메타 평가
- 메타 평가(meta-evaluation): 평가자로 사용하는 LLM 자체의 신뢰도 평가
- 주요 기준
- 인간 심사위원과의 일치도
- 반복 평가의 일관성
- 위치 교환과 표현 변화에 대한 강건성
- 적대적 입력에 대한 저항성
LLM 평가자의 편향
- 위치 편향: 먼저 또는 나중에 제시된 응답을 선호
- 길이 편향: 더 길고 장황한 응답을 선호
- 스타일 편향: 보기 좋은 형식과 이모티콘 등에 영향
- 구체성 편향: 수치, 전문용어, 참고문헌이 있는 응답을 선호
- 자기고양 편향: 자신과 같은 계열의 모형이 만든 응답을 선호
- 문화적 편향: 특정 문화와 관점에 더 높은 점수
- 친숙성 편향: 평가 모형이 잘 아는 지식에 유리한 판단
- 지시 반복 편향: 평가 지시를 그대로 되풀이한 응답을 선호
출처: A Survey on LLM-as-a-Judge
