AI 프로덕트 디자인

• AI는 확률적이라 언젠가 틀림. 설계의 출발점은 "틀리지 않게"가 아니라 "틀려도 괜찮게".
• 재료: Google PAIR 가이드북, Microsoft 인간-AI 상호작용 가이드라인, 이를 LLM에 적용한 방어적 UX.

Google PAIR 가이드북

• PAIR(People + AI Research)의 People + AI Guidebook. 2019년 공개, 2025년 3판. 원칙과 패턴으로 구성.
• AI가 가치를 더하는지 먼저 확인:
  • AI가 맞는 경우: 개인화 추천, 예측, 자연어 이해, 이미지 인식.
  • 규칙이 나은 경우: 예측 가능성과 완전한 투명성이 필요할 때, 사람들이 자동화를 원하지 않을 때.
  • 예: 마인드몰 배송비 계산은 규칙으로 충분. 자유 질문에 안내서로 답하는 일은 AI가 맞음.
• 올바른 기대치: "안내서를 근거로 답하는 AI 상담원입니다. 주문 조회·결제는 할 수 없습니다"가 "무엇이든 물어보세요!"보다 나음.
• 정밀도와 재현도의 균형: 위험이 큰 의료는 확신하는 결과만(정밀도), 위험이 낮은 음악 추천은 넉넉하게(재현도).
• 탐색하기 안전하게, 피드백 받기: 되돌릴 수 있는 시험, 좋아요/싫어요(캐싱·평가·운영).

출처: Google PAIR(2019, 3판 2025), People + AI Guidebook: Patterns.

자동화 수준

• 얼마나 맡길지는 0/1이 아니라 단계. Sheridan의 10단계: 1(사람이 모두 결정) → 5(사람이 승인하면 실행) → 7(실행하고 알림) → 10(사람을 무시).
• 높은 자동화의 비용: 상황 인식 저하, 무사안일(complacency: 거의 맞으니 감시를 멈추고 가끔의 실패를 놓침), 기술 저하.
• 위험이 큰 행동은 실행 직전에 사람이 확인. 에이전트의 승인 정책이나 가드레일의 사람 확인이 이 원리.

출처: Parasuraman, Sheridan, Wickens(2000), A model for types and levels of human interaction with automation.

Microsoft 인간-AI 상호작용 가이드라인

• 18개 가이드라인을 20개 AI 제품에 적용해 검증. LLM 제품에 특히 중요한 것:

출처: Amershi 외(2019), Guidelines for Human-AI Interaction, CHI 2019.

방어적 UX

• 방어적 UX(defensive UX): LLM이 틀릴 수 있다는 전제에서 사용자가 오해하거나 피해를 입지 않게 하는 설계.
• 확신도 표현: "안내서 기준으로는 …", 확신이 낮으면 되묻기(G10). LLM이 말로 하는 확신은 정답률과 어긋날 수 있어 검색 점수나 판단 모델의 확률처럼 측정 가능한 신호가 나음.
• 출처 표시(G11): RAG 파이프라인 만들기의 [1] 번호. 단, 번호가 엉뚱한 문서를 가리키면 신뢰를 잘못 높임. 출처가 답을 실제로 뒷받침해야 함.
• 쉬운 수정·무시·되돌리기. 되돌릴 수 없는 행동(결제, 발송)은 실행 전 확인.

flowchart TD
    A["시작 화면: 안내서 기반 AI 상담원, 주문 조회·결제 불가 (G1·G2)"] --> B[사용자 질문]
    B --> C{검색 점수가 충분한가?}
    C -- 예 --> D["답변 + 출처 절 표시 (G11)"]
    C -- 아니오 --> E["되묻기 또는 상담원 연결 제안 (G10)"]
    D --> F["좋아요/싫어요, 상담원 연결 버튼 (G8·G15)"]
    F --> G[피드백을 평가 세트에 반영]