검색의 평가

검색의 평가

검색의 평가 지표

• MRR@K
• MAP@K
• NDCG@K
• @K: 상위 K개의 검색 결과 중(at K)에서 평가한다는 뜻
• 검색 결과는 매우 많지만 실제로 사용자가 고려하는 검색 결과는 상위 일부

MRR@K

• Mean Reciprocal Rank
• 관련 문서가 처음 나온 순위(rank)의 역수(reciprocal)의 평균(mean)
• 예) 3개의 검색 결과 중, 2위와 3위가 관련 문서이면 RR=1/2

MAP@K

• Precision@K: 검색 결과 상위 K개 중에 관련 문서의 비율
• Recall@K: 관련 문서 중 검색 결과 상위 K개에 포함된 비율
• Average Precision@K: 한 번의 검색에서 Precision@1부터 Precision@K까지 평균 $$\frac{1}{r}\sum _{k=1}^K\text{Precision@k}\cdot \text{rel}(k)$$
  • $r$: 검색 결과 중 관련된 문서의 개수
  • $\text{rel}(k)$: k번째 검색 결과의 관련 여부(관련되어 있으면 1, 아니면 0)
  • 관련된 문서가 검색 결과 상위에 나올 수록 AP@K는 올라감

• Mean Average Precision@K: 여러 번의 검색에서 AP@K의 평균

NDCG@K

• Precision은 관련도를 있음(1)/없음(0)으로 이진분류
• 여러 수준(예: 1~5점)으로 나눠진 관련도 점수($\text{rel}$)를 사용
• Cumulative Gain@K: 관련도 점수의 합계
• Discounted CG@K: 상위 K개의 검색 문서에서 관련도를 검색 결과의 위치에 따라 할인하여 더함
• Ideal DCG@K: 관련도가 높은 순서대로 검색 결과 상위에 나타나는 가장 이상적인 검색결과의 DCG
• Normalized DCG@K : DCG/IDCG → 0.0 ~ 1.0의 범위를 가짐