AI 비즈니스의 쓰라린 교훈

모델이 좋아질수록 사라지는 가치

• AI 제품의 출발점: 모델만으로 해결하기 어려운 일을 추가 소프트웨어로 보완
  • 예시:
    • 긴 문서를 한 번에 읽지 못하면 여러 조각으로 나누어 입력하고 결과를 결합
    • 복잡한 작업을 스스로 계획하지 못하면 개발자가 실행 순서와 도구 사용을 지정
    • 특정 단계에서 오류가 반복되면 검증 규칙과 재시도 절차 추가
• 당장의 고객 가치: 모델을 직접 사용하는 것보다 정확하고 편리하게 업무 처리
  • 고객은 모델 사용료 외에 보완 기능을 제공하는 서비스에도 비용 지불
  • 개발자는 이런 기능을 정교하게 만들며 제품의 성능과 신뢰성 개선
• 모델 발전의 영향: 기존 보완 기능의 일부를 모델이나 범용 제품이 직접 제공
  • 긴 입력 처리와 작업 계획 능력이 향상되면 별도 처리 절차의 필요성 감소
  • 같은 모델을 사용하는 경쟁 제품도 성능이 개선되어 기존 제품과의 격차 축소 가능
• 제품 성능과 경쟁우위의 차이
  • 제품 성능: 고객의 업무를 얼마나 잘 처리하는가?
  • 경쟁우위: 다른 선택지가 있어도 고객이 우리 제품을 선택할 이유가 있는가?
  • 모델을 교체해 제품 성능이 좋아져도 고객이 별도 서비스를 구매할 이유는 감소 가능
• 긴 문서 요약 서비스의 예
  • 초기: 입력 길이 제한 때문에 문서 분할·부분 요약·결과 통합 기능이 유용
  • 이후: 범용 제품이 문서 전체를 직접 읽고 충분한 품질로 요약하면 해당 기능의 차별성 감소
  • 결과: 요약 품질이 개선되어도 별도 서비스의 이용료를 정당화하기는 더 어려워질 수 있음
• 쓰라린 교훈: 현재 모델로 고객 문제를 해결해도, 다음 모델 이후의 사업 가치는 보장되지 않음

먼저 해결한 문제를 계속 소유할 수 있는가?

• 특화형 AI(vertical AI): 특정 산업이나 업무에 집중하여 정확도 확보
• 범용 AI(horizontal AI): 여러 산업과 업무를 하나의 제품으로 처리
• 경쟁 조건의 변화: 범용 제품이 같은 업무를 충분히 잘하면 특화 제품의 선점 효과 약화 가능
• 고객이 계속 비용을 지불할 이유 확인
  • 독자 데이터: 경쟁자의 확보 가능성과 데이터 없이도 유사한 결과를 낼 수 있는지 검토
  • 연동과 사용 경험: 범용 에이전트가 기존 소프트웨어를 직접 사용해도 강점이 남는지 검토
• 고객의 구매 기준: 기업이 이미 지출한 개발 비용보다 앞으로 얻을 결과와 지불할 비용

특화의 목적을 업무의 개선에 두기

• 특화의 목적: 반복해서 수행하고 평가할 업무의 범위를 정하고, 개선 근거를 축적
• 오류 방지 규칙 중심의 제품: 모델 발전으로 규칙의 필요성 감소 가능
• 업무 결과 평가 중심의 제품: 좋은 결과의 기준과 고객의 수정 이유 축적 가능
• 특화 범위와 실행 방식: 특정 분야에 집중하면서도 절차와 도구 사용은 유연하게 결정 가능
• 학습의 범위: 모델 추가 훈련뿐 아니라 도구·문맥·평가 기준·실행 절차의 개선까지 포함

기록을 넘어 업무가 끝나는 지점까지

• 고객 업무의 범위: 여러 소프트웨어·팀·외부 기업에 걸쳐 진행
• 계약 검토의 예: 계약서 외에도 거래 조건, 내부 기준, 상대방과의 협의, 승인 과정 필요
• 기록 관리 시스템(system of record): 문서를 보관해도 업무 전체의 맥락은 부족할 수 있음
• 특화 제품의 기회: 시스템 접근에서 최종 결과까지 업무 수행
  • 시스템마다 다른 정보의 의미 조정
  • 외부 당사자와 협의
  • 고객 조직의 판단 기준 적용
• 가치 검증: 연결한 시스템 수보다 업무 완료율, 수정 시간, 결과 품질로 평가

사용할수록 무엇이 나아지는가?

• 기록의 한계: 완성된 문서만으로는 버린 대안과 전문가의 수정 이유를 파악하기 어려움
• 개선의 조건: 작업 과정·수정 이유·최종 결과를 연결
• 계약 검토 서비스의 개선 과정 예시
  • 제안: AI가 조항별 위험과 수정안 작성
  • 피드백: 검토자가 수용·수정 여부와 이유 기록
  • 평가: 수정 이유를 평가 항목으로 전환
  • 비교: 모델이나 실행 절차를 바꾼 뒤 같은 과제로 평가
  • 검증: 실제 업무의 오류와 수정 시간 감소 확인
• 데이터가 경쟁우위가 되기 위한 조건
  • 사용할 권리 확보
  • 결과 개선에 기여
  • 경쟁자가 쉽게 확보하기 어려운 정보
• 검증 대상: 데이터의 양보다 실제 개선 효과와 확보 조건

모델 발전에 투자할 시간을 맞추기

• 사업 기회의 시간: 범용 제품이 같은 업무를 해결하기까지 남은 기간
  • 수년이 남은 경우: 비용 회수와 역량 축적의 기회
  • 몇 달 안에 대체되는 경우: 핵심 기능에 대한 투자 회수 위험
• 전환 시점의 변수: 모델 성능, 추론 비용, 신뢰, 규제, 실제 도입 속도
• 사업 계획: 모델 발전이 빠른 경우와 느린 경우를 모두 검토
• 축적할 자산: 변화 속도와 관계없이 가치가 남는 고객 관계, 평가 역량, 업무 접근 권한
• 사업 위치의 확장: 모델을 사용하는 제품 외에 자원 공급이나 에이전트용 도구 제공도 검토

다음 모델이 나와도 남는 구매 이유

• 모델 출시 후 재평가: 불필요해진 우회 절차를 줄이고 업무 수행에 도움이 되는 개선 수용
• 사업 검토 질문
  • 다음 모델이 현재의 오류를 해결하면 어떤 기능의 가치가 사라지는가?
  • 고객이 같은 모델을 직접 사용해도 우리 제품을 구매할 이유가 있는가?
  • 업무 한 건을 끝낼 때마다 다음 수행을 개선할 근거가 쌓이는가?
  • 그 개선을 결과의 품질과 비용으로 측정할 수 있는가?
  • 경쟁자가 같은 모델을 사용해도 쉽게 따라오기 어려운 조건은 무엇인가?
• 지속 가능한 가치: 모델 발전을 활용하면서 고객 업무를 더 잘 끝내는 능력 축적