쓰라린 교훈 — The Bitter Lesson

에세이 소개

• 저자: 리처드 서튼(Richard Sutton)
• 발표: 2019년 3월 13일
• 원문: The Bitter Lesson

인공지능 연구의 역사를 돌아보며, 인간의 전문 지식을 직접 넣는 접근과 계산을 활용하는 범용 방법을 비교한 에세이. 아래는 주요 논지의 한국어 요약.

핵심 주장

장기적으로 큰 성과를 낸 것은 늘어나는 계산 자원을 활용할 수 있는 범용 방법.

• 배경: 계산 단위당 비용이 지속해서 하락하면서 사용 가능한 계산량 증가
• 단기적 접근: 사람이 아는 규칙과 특징을 넣어 당장의 성능 개선
• 장기적 문제: 수작업 설계가 복잡해지면 추가 계산을 활용하기 어려워지고 성능 정체
• 대안: 계산량 증가를 성능 개선으로 연결하는 탐색과 학습

원문이 제시한 사례

다음은 서튼이 자신의 주장을 뒷받침하기 위해 제시한 역사적 사례.

탐색과 학습

• 탐색(search): 가능한 행동과 결과를 조사해 좋은 선택을 발견
• 학습(learning): 데이터와 경험에서 유용한 패턴과 판단 기준을 획득
• 공통점: 사람이 답을 일일이 지정하지 않고, 계산을 통해 해법을 발견하는 절차

서튼이 강조하는 두 교훈은 계산 규모를 키울 수 있는 범용 방법의 힘, 그리고 복잡한 세계의 지식을 직접 넣기보다 이를 발견하는 방법을 만드는 일.

왜 ‘쓰라린’ 교훈인가?

• 전문 지식의 직접 구현은 단기 성과와 연구자의 만족으로 연결
• 이후 범용 방법이 더 큰 성과를 내면, 오랫동안 투자한 접근을 포기하기 어려움
• 인간이 생각한다고 여기는 방식을 구현하려는 집착이 새로운 발견 과정을 만드는 데 걸림돌

생성형 AI를 공부하며 적용할 관점

다음은 에세이의 관점을 생성형 AI에 적용한 해석.

• 연구 질문: 규칙을 더 추가하는 개선과 데이터·계산이 늘 때 계속 좋아지는 개선을 구분
• 설계 질문: 사람이 모든 언어 규칙을 나열하는 대신, 다양한 자료에서 패턴을 배울 수 있는 학습 절차를 마련했는지 점검
• 평가 질문: 현재 자원에서의 성능과 더 큰 자원에서의 확장 가능성을 함께 비교

‘계산을 늘리면 모든 문제가 해결된다’는 보장으로 읽어서는 곤란. 핵심은 추가 계산을 유용하게 쓰는 방법의 설계. 제한된 예산에서의 효율, 데이터 품질, 평가 기준은 실제 적용에서 별도로 검토할 문제.

이 에세이는 연구 방향에 관한 역사적 논증. 모형·데이터·계산량과 성능의 관계를 정량화하는 규모의 법칙 자체를 제시한 글은 아님.