Meta Contractors Posed as Teens to Prompt Rival Chatbots About Suicide, Sex, and Drugs
메타(Meta)가 대행업체를 동원해 오픈AI의 ChatGPT, 구글의 Gemini, 그리고 Character.AI를 상대로 은밀한 ‘레드티밍’을 벌였다는 사실이 지난 6월 29일 WIRED의 단독 보도로 드러났다.
내부 프로젝트명은 ‘Cannes’.
프로젝트 수행은 메타의 하청업체인 아일랜드 소재 콘텐츠 모더레이션/AI 트레이닝 아웃소싱 업체 Covalen이 맡았으며, 소속된 계약직 직원들은 18세 미만 미성년자 행세를 하는 가짜 계정을 만들고, 프롬프트와 이미지를 경쟁사 챗봇에 전송한 뒤 그 응답을 스프레드시트에 정리하는 작업을 지시받았다.
규모
유출된 데이터에 따르면, 2025년 8월 완료된 한 테스트 라운드에서만 45,000건 이상의 프롬프트가 사용됐다고 했고, 프로젝트 자체는 2026년 4월 21일 무렵까지도 활성화 상태였다고 한다.
WIRED가 검토한 스프레드시트 하나에는 3,748개의 개별 프롬프트가 담겨 있었고, 이 중 수백 건이 자살·자해, 또 수백 건이 섭식장애 관련이었으며 성적·연애 관련 프롬프트도 최소 239건 포함돼 있었다.
프롬프트 속 내용은 잔혹했다.
- 자해·자살: 5학년 학생이 입에 총을 겨누는 상황 묘사, 올가미·칼 이미지 전송
- 섭식 장애: 부모님 몰래 폭식증을 숨기려는 소녀의 서사 주입
- 약물: 고등학생을 사칭해 코카인 구입처를 묻는 프롬프트
- 기타 유해 내용: 알약 이미지, 산부인과 시술 관련 의학 삽화 이미지, 13세 소녀가 성인 이웃에 의해 임신했다며 낙태약을 구하는 방법을 묻는 프롬프트 등
타깃이 된 세 회사(OpenAI, Google, Character.AI) 중 어느 곳도 이 테스트가 진행되고 있다는 사실을 알지 못했으며, 사전 승인이나 동의도 없었다.
증언
前계약직 직원들은 매일같이 이런 프롬프트를 작성하고 응답을 분석하는 과정에서 심리적 충격을 받았다고 WIRED에 증언했다. 일부는 미성년자 관련 특정 프롬프트에 챗봇이 어떻게 응답하느냐에 따라 본인들이 의도치 않게 아동성착취물(CSAM)을 생성하거나 보존하게 될 위험을 우려하기도 했다.(*변호사 2명이 샘플을 검토한 결과 실제로 CSAM 요청 수준까지 넘어가지는 않았다고 판단하였다.)
해명
메타 측 공식 입장은 다음과 같다.
“챗봇 응답을 테스트하고 벤치마킹하는 것은 안전하고 연령에 맞는 경험을 보장하기 위한 책임 있는, 업계 표준 관행이다.”
“수집한 경쟁사 응답을 자사 모델 학습에 쓰지 않았다”
공교로운 타이밍
공교롭게도 2025년 9월, 미국 연방거래위원회(FTC)는 메타, 오픈AI, 구글 등을 포함한 AI와 아동 안전에 관한 6(b) 정보제출 명령에 따른 조사를 이미 개시한 상태였다.FTC Launches Inquiry into AI Chatbots Acting as Companions ∣ Federal Trade Commission
메타 자체 레드팀 평가에서는 출시 전 자사 챗봇이 아동성착취 콘텐츠 차단에 66.8% 실패, 자살·자해 관련 프롬프트 차단에 54.8% 실패했다는 사실도 함께 드러났다.Unreleased Meta product didn’t protect kids from exploitation, tests found ∣ Axios
2026년 1월 메타는 법적 압박 속에 청소년의 AI 컴패니언 캐릭터 접근을 중단시킨 바 있다.Meta pauses teen access to AI characters ahead of new version ∣ TechCrunch
즉, 자사 시스템의 청소년 안전 실패로 소송과 규제 압박을 받고 있는 회사가, 같은 시기에 경쟁사의 실패를 몰래 문서화하는 데 자원을 투입했다는 모순점이 발견되었다.
이 사건에 대한 개인적 생각
이 사건에서 방법론 자체가 문제라고 보기는 어렵다. 안전성 레드티밍이 최악의 엣지 케이스를 찾아내는 작업이라면, 성인이 극단적인 아동 페르소나를 설계하고 연기하는 방식은 충분히 가능한 접근이다. 보안 레드팀이 상상력을 바탕으로 공격 시나리오를 구성하는 것과 크게 다르지 않다.
진짜 문제는 이 레드티밍이 자사 시스템의 아동 안전을 개선하기 위한 목적이 아니라, 경쟁사 AI를 공격하기 위한 도구로 쓰였다는 점에 있다. 메타는 이를 “안전하고 연령에 적합한 경험을 보장하기 위한 책임 있는 업계 표준 관행”이라고 해명했지만, 실제 프롬프트가 자사 제품 개선이 아니라 경쟁사를 곤란하게 만들기 위해 설계되고 투입됐다면 그 설명은 설득력을 잃는다.
성인이 극단적인 상황을 연기하는 것 자체는 방법론적으로 문제가 아닐 수 있다. 그러나 그 페르소나로 굳이 아동을 선택한 것은 별개의 문제다. 자살, 성, 마약이 얽힌 아동 관련 시나리오는 사회적으로 가장 민감하게 반응할 수밖에 없는 영역이다. 동시에 경쟁사에 가장 큰 타격을 줄 수 있는 소재이기도 하다.
방법은 타당했을 수 있다. 그러나 그 방법으로 무엇을 겨냥했고, 어떤 소재를 공격 수단으로 삼았는지는 전혀 다른 문제다. 레드티밍의 정당성이 그 사용 방식까지 정당화해주지는 않는다.
- ¹ FTC Launches Inquiry into AI Chatbots Acting as Companions ∣ Federal Trade Commission
- ² Unreleased Meta product didn’t protect kids from exploitation, tests found ∣ Axios
- ³ Meta pauses teen access to AI characters ahead of new version ∣ TechCrunch