LLM 시뮬레이션의 한계
실리콘 샘플과 에이전트 기반 시뮬레이션에서 LLM이 사람 집단을 왜곡하는 방식, 행동 다양성의 부족, 구현 선택에 대한 민감성을 여론 조사, 죄수의 딜레마, 에코 체임버 사례로 살펴보고 결과를 검증하는 방법을 정리한다.
그럴듯함과 타당함
- 그럴듯함과 타당함은 다름: LLM이 사람처럼 보이게 답하고 행동해도 실제 사람 집단의 응답이나 행동과 같다는 보장은 없음.
- 결과가 실제 데이터와 맞아도 그 결과를 만든 사회적 과정까지 같다는 뜻은 아님.
- 실제 데이터와 비교하는 검증이 필요하지만, 검증 방법이 연구마다 제각각.
- 시뮬레이션의 목적: 현실의 정밀한 재현이나 예측이 아니라 사회 패턴의 설명, 이론 구성, 가설 생성.
- 예측처럼 보이는 결과가 이미 일어난 일의 사후 재현이거나, 학습 데이터에 들어 있던 정보의 누출일 수 있음.
- 모델이 이미 아는 역사나 이론을 그대로 꺼내면 창발이 아니라 암기. WarAgent의 국가명 익명화가 이를 줄이려는 장치.
- 두 종류의 문제
- 사용 문제(usage problem): 부정확한 프롬프트, 지나치게 넓은 행동 공간, 연구자 가정의 과잉 등 설계 선택에서 생기는 문제. 더 나은 설계로 줄일 수 있음.
- 경계 문제(boundary problem): 현재 LLM 기술 자체의 한계에서 생기는 문제. 설계만으로는 해결 불가. 따라서 LLM 시뮬레이션을 버릴 필요는 없지만, 믿을 수 있는 주장의 범위, 즉 경계(boundary)를 정해 두고 써야 함.
- 학습 데이터의 치우침
- 대표성 부족: 학습 데이터가 서구권·고학력층에 치우침. 다른 집단의 목소리가 왜곡되거나 빠짐.
- 사회적 바람직성 편향(social desirability bias): 정렬(alignment)을 거친 모델일수록 극단을 피하고 "올바른" 답을 냄. 사회적으로 바람직한 응답이 실제보다 많아짐.
출처: Wu 외(2025), LLM-Based Social Simulations Require a Boundary
행동 다양성의 부족
집단 표현의 왜곡
- 사람 3,200명과 비교한 연구에서 확인. 프롬프트 기법으로 줄일 수는 있지만 없앨 수는 없음.
- 오묘사(misportrayal): 모델은 "그 집단이 쓴 글"보다 "그 집단에 대해 남이 쓴 글"로 배움. 바깥의 고정관념으로 답함.
- 평탄화(flattening): 집단 안의 다양한 의견을 전형적인 답 하나로 뭉갬. 응답 분포가 실제보다 좁아짐(분산 붕괴, variance collapse).
- 본질화(essentialization): 정체성 하나(나이, 성별 등)가 의견을 결정하는 것처럼 다룸.
출처: Wang, Morgenstern, Dickerson(2024), Large language models that replace human participants can harmfully misportray and flatten identity groups
평균적 페르소나
- 평균적 페르소나(average persona): LLM이 모집단의 전형적인 행동을 내놓고 실제 사람 사이의 차이는 억누르는 경향. 평탄화를 시뮬레이션 전체로 넓힌 개념.
- 원인: 가능도를 최대화하는 학습은 자주 나오는 주류 표현에 보상을 주고 드문 표현을 억제.
- 입력 이질성(페르소나 설정의 다양성)이 출력 이질성(실제 행동의 다양성)을 보장하지 않음.
- 하위 집단의 차이와 긴 꼬리(long-tail) 패턴이 사라짐.
- 행위자의 이질성이 핵심인 ABM에는 큰 약점. 모든 행위자가 똑같이 행동하면 결과를 수식으로 풀 수 있어 시뮬레이션의 존재 이유가 약해짐.
- 분산이 작은 경향은 페르소나 종류, 모델, 온도, 에이전트 수(2명에서 약 100만 명)를 바꿔도 나타남. 설계 문제가 아니라 현재 LLM의 근본적 특성일 가능성.
평균과 분산으로 진단
- 행동의 중심이 사람과 맞는지(평균), 행동이 사람만큼 퍼져 있는지(분산)를 함께 확인.
| 경우 | 의미 | 예 |
|---|---|---|
| 분산 작음, 평균 일치 | 집단 수준의 정성적 패턴은 쓸 만함. 개별 에이전트의 행동 궤적은 과잉 해석 위험 | 케인스 미인대회(평균의 2/3 맞히기)에서 GPT-4는 사람과 같은 봉우리(33, 50, 66)를 재현하지만 그 밖의 값은 사람보다 훨씬 드묾 |
| 분산 작음, 평균 어긋남 | 더 심각한 경우. 집단 행동부터 대상 모집단과 달라 시뮬레이션이 부적절할 수 있음 | 여론 조사에서 LLM의 응답이 진보적이고 양극화된 쪽으로 치우치며, 역할 연기로도 잘 교정되지 않음 |
- 기존 LLM 사회 시뮬레이션 연구 21편 점검
- 실제 데이터와 비교한 연구는 14편(67%), 비교 대상이 없는 연구는 7편.
- 비교한 14편은 모두 평균을 확인했지만 분산까지 확인한 연구는 9편. 그중 7편에서 LLM 에이전트의 분산이 사람보다 작음.
- 판단 질문: "모든 에이전트를 모집단 평균으로 바꿔도 연구 질문에 답할 수 있는가?"
- 예: 균형의 존재, 평균적 경향처럼 이질성 요구가 낮은 질문. LLM 시뮬레이션 적용 가능.
- 아니요: 분포, 티핑 포인트, 경로 의존성, 소수 집단의 영향처럼 이질성 요구가 높은 질문. 현재 LLM 시뮬레이션은 부적절할 수 있음.
- 연구 질문의 이질성 요구에 맞춰 검증의 깊이를 정할 것.
- 평균 일치와 함께 분산을 명시적으로 보고할 것.
- 분산이 부족하면 주장을 집단 수준의 정성적 패턴으로 제한할 것.
출처: Wu 외(2025), LLM-Based Social Simulations Require a Boundary
구현에 대한 민감성
- 시뮬레이션에서 끌어낸 과학적 주장은 그 주장을 뒷받침하는 강건성 감사(robustness audit)보다 강해서는 안 됨.
- LLM 에이전트에는 페르소나 서술, 기억 표현, 상호작용 규칙, 환경 설계 등 구현 선택이 많음.
- 작은 차이가 반복 상호작용을 거치며 거시적인 결과로 번지는 나비 효과. 결과가 모형화한 사회 메커니즘이 아니라 구현의 부산물일 수 있음.
- 현실감은 필요조건일 뿐 충분조건이 아님. 강건성은 주장마다, 모델마다 측정해야 함.
- 재현성 부족: 상용 모델이 업데이트되면 같은 프롬프트에도 결과가 달라짐. 연구 결과를 다시 확인하기 어려움.
- 섭동(perturbation): 강건성을 확인하려고 일부러 바꿔 보는 구현 선택.
- 설계 수준: 모델, 네트워크 구조, 상호작용 규칙처럼 실질적인 설정을 바꿈.
- 표현 수준: 설정은 그대로 두고 제시 방식만 바꿈. 서술문과 글머리표, 순서 바꾸기, 동의어 라벨, 기억 기록의 형식 등.
- 설정을 바꿔도 결과가 유지되는지 확인할 것. 시험한 범위에서 민감성을 찾지 못한 것은 강건성의 증명이 아님. 시험하지 않은 설정도 함께 보고할 것.
- 같은 질문을 다룬 연구끼리 결과가 어긋나면 모델 버전, 과제 프레이밍, 시점 등 차이의 원인을 밝혀 특정 행동 패턴이 성립하는 조건을 정할 것.
출처: Wu 외(2025), LLM-Based Social Simulations Require a Boundary, Ye 외(2026), Stop Drawing Scientific Claims from LLM Social Simulations Without Robustness Audits
사례: 여론 조사
- 알고리즘 충실도: 실리콘 샘플의 GPT-3이 미국 선거 연구(ANES)의 하위 집단별 평균 응답을 잘 재현(Argyle 외 2023).
- 충실도의 역설: 같은 ANES와 비교했더니 ChatGPT의 응답 분산은 실제보다 훨씬 작고, 회귀 분석의 결론이 뒤집히기도 함. 같은 프롬프트에도 시점에 따라 다른 분포가 나옴(Bisbee 외 2024).
- 하위 집단의 평균이 맞아도 분포까지 맞는다는 보장은 없음.
- 정치 성향의 치우침: LLM의 여론 조사 응답은 진보적이고 양극화된 쪽으로 치우치며, 역할 연기로도 잘 교정되지 않음.
- 여론 조사 기관의 검증: Pew 리서치 센터가 패널 응답자 각각의 프로필로 AI 트윈을 만들어 2026년 실제 조사 세 차례와 비교.
- 약 300개 문항에서 평균 오차 약 12%p. 문항의 약 28%는 15%p 이상 차이.
- 트럼프 국정 지지율: 실제 34%, 합성 표본 46%.
- 평탄화: 집단 안의 의견을 거의 만장일치처럼 만듦. 예: 공화당 성향 응답자의 이스라엘 호감도 실제 58%, 합성 95%.
- 모름(not sure)을 고르는 비율이 사람이 약 4배 높음. 지식 문항 정답률은 합성 표본이 지나치게 높음(NATO 문항 실제 56%, 합성 99%). 실제 사람보다 지나치게 확신에 찬 응답.
- 같은 방법이라도 쓰는 모델(Claude Opus 4.6, GPT-5.1)에 따라 결과가 크게 달라짐.
출처: Wu 외(2025), LLM-Based Social Simulations Require a Boundary, Pew Research Center(2026), Can AI Stand In for Human Survey-Takers? Not Really
사례: 죄수의 딜레마
- 서로 모순되는 결과(협력의 역설)
- 반복 죄수의 딜레마에서 Llama 2·GPT-3.5는 사람보다 협력적이고, 상대의 배신율이 30% 정도까지는 보복하지 않음(Fontana 외).
- 반대로 한 번 배신당하면 계속 배신한다는 결과도 있음(Akata 외).
- 여러 에이전트가 자원을 나누는 공유 자원 게임에서는 대부분의 LLM이 협력을 유지하지 못하고 자원을 탐욕스럽게 소진(Piatti 외).
- 게임 구조(두 명 대 여럿), 자원 프레이밍, 모델 버전, 프롬프트에 따라 결론이 달라짐.
- 모델 버전: Llama 3은 Llama 2보다 착취적. 모델이 바뀌면 이전 연구의 결론이 더 이상 맞지 않을 수 있음.
- 페르소나 형식의 영향: gpt-5.2로 10라운드 게임을 조건마다 서로 다른 난수 시드로 30회 실행.
- 페르소나의 의미는 그대로 두고 형식만 서술문, 글머리표, 표로 바꿈.
- 두 LLM 에이전트끼리 대결하면 글머리표 페르소나의 협력률이 서술문보다 76%p, 표보다 73%p 낮음.
- 같은 섭동의 효과가 모델마다 다름: claude-haiku-4-5 약 77%p, gemini-2.5-flash 약 36%p, deepseek-v3.2 약 1%p.
- 게임 설명을 도덕적인 표현으로 바꾸면 협력이 증가. 기억 기록의 형식은 영향이 작음.
- 해석: "LLM 에이전트는 협력적이다" 같은 주장은 한 가지 모델, 한 가지 게임, 한 가지 프롬프트 형식으로 일반화할 수 없음.
출처: Wu 외(2025), LLM-Based Social Simulations Require a Boundary, Ye 외(2026), Stop Drawing Scientific Claims from LLM Social Simulations Without Robustness Audits
사례: 소셜 미디어 에코 체임버
- 설정: 에이전트 100명이 15라운드 동안 게시, 공유, 답글, 무반응 중 하나를 선택. 각 에이전트의 입장은 고정.
- 초기 네트워크의 동질성(homophily)을 높이면 같은 입장끼리의 연결 경향(입장 동류성)이 0.142에서 0.247, 0.287로 증가.
- 동질성이 가장 낮은 네트워크에서는 같은 입장 간 연결 비율이 0.462로 절반에 못 미침. 에코 체임버라는 결론 자체가 성립하지 않음.
- 추천 피드 크기를 5개에서 10개로 늘리면 입장 동류성이 0.247에서 0.277로 증가.
- 영향력 큰 허브 계정의 입장 배정, 활성화 확률, 기억 범위는 입장 동류성에 유의한 영향 없음.
- 해석: "에코 체임버가 나타난다"는 결론은 특정한 초기 네트워크 조건 안에서만 성립.
출처: Ye 외(2026), Stop Drawing Scientific Claims from LLM Social Simulations Without Robustness Audits
퀴즈
실제 조사에서는 공화당 성향 응답자의 58%만 이스라엘에 호감을 보여 의견이 갈렸지만, 같은 응답자들의 AI 트윈은 95%가 호감을 보여 거의 한쪽으로 쏠렸다. 집단 안 의견의 다양성이 줄어든 이 현상을 가리키는 한계는?
퀴즈를 풀려면 대화형 기능을 불러와야 합니다.