캐싱·평가·운영

!pip install -q openai numpy

from pathlib import Path
import numpy as np
from openai import OpenAI
from mindmall_guide import guide

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key=Path("openrouter-key.txt").read_text().strip(),  # 키 파일에서 읽기
)
model = "openai/gpt-4.1-mini"

def embed(texts: list[str]) -> np.ndarray:
    response = client.embeddings.create(model="openai/text-embedding-3-small", input=texts)
    return np.array([d.embedding for d in response.data])

chunks = [f"[{s.splitlines()[0]}] {p}"  # 문단마다 절 제목을 붙임
          for s in guide.split("\n## ")[1:] for p in s.split("\n\n")[1:]]
chunk_vectors = embed(chunks)

def rag_answer(question: str, k: int) -> str:
    top = np.argsort(-(chunk_vectors @ embed([question])[0]))[:k]
    sources = "\n\n".join(chunks[i] for i in top)
    prompt = f"다음 자료만 근거로 답하세요. 자료에 없으면 '안내서에서 찾을 수 없습니다'라고 답하세요.\n\n{sources}\n\n질문: {question}"
    response = client.chat.completions.create(
        model=model, messages=[{"role": "user", "content": prompt}], temperature=0)
    return response.choices[0].message.content

from pydantic import BaseModel

golden = [
    ("단순 변심으로 반품하면 배송비는 얼마인가요?", "왕복 배송비 6,000원을 고객이 낸다."),
    ("골드 회원이 3만 원어치를 주문하면 배송비가 있나요?", "없다. 골드 회원은 모든 주문이 무료 배송이다."),
    ("해외로도 배송해 주나요?", "안내서에 내용이 없다. 모른다고 답해야 한다."),
    ("마인드키 키보드를 산 지 1년 반인데 고장 났어요. 무상 수리되나요?", "된다. 마인드키 제품은 2년 무상 수리."),
]

class Verdict(BaseModel):
    reason: str
    passed: bool

def judge(question: str, reference: str, answer: str) -> Verdict:
    prompt = (f"기대 답의 핵심 사실(금액, 기간, 조건)이 실제 답에 맞게 들어 있으면 합격, 빠졌거나 모순되거나 지어냈으면 불합격.\n"
              f"[질문] {question}\n[기대 답] {reference}\n[실제 답] {answer}")
    response = client.chat.completions.parse(
        model=model, messages=[{"role": "user", "content": prompt}],
        response_format=Verdict, temperature=0)
    return response.choices[0].message.parsed

for i, (q, ref) in enumerate(golden, start=1):
    marks = []
    for k in [1, 3]:
        verdict = judge(q, ref, rag_answer(q, k))
        marks.append("O" if verdict.passed else "X")
        if not verdict.passed:
            print(f"   (Q{i}, k={k} 불합격 이유: {verdict.reason[:70]})")
    print(f"Q{i} v1={marks[0]} v2={marks[1]}  {q[:25]}")