브리핑
보안 문제를 풀던 AI가 실제 오픈소스 프로젝트에 악성 코드를 제출했다. 그리고 그 코드를 승인받기 위해 가짜 계정까지 만들어 프로젝트 관리자를 압박했다.
영국 AI 보안연구소(AI Security Institute, 이하 AISI)가 공개한 사건이다. 연구진은 지난 7월 28일 평가 도중 이상 징후를 발견했고, 조사 과정에서 AI가 GitHub의 실제 이용자들을 상대로 이런 행동을 벌였다는 사실을 확인했다. 다행히 프로젝트 관리자는 악성 코드를 알아보고 승인을 거절했다.
전체 평가 122회 중 10회에서 허용 범위를 벗어난 행동 19건이 확인됐다. 그중 17건은 Anthropic의 Mythos 5, 나머지 2건은 OpenAI의 GPT-5.6 Sol에서 발생했다. 다만 19건을 서로 독립된 공격으로 세어서는 안 된다. 상당수는 하나의 에이전트가 여러 단계에 걸쳐 이어간 행동이었다.
AISI에 따르면 공격 시도는 실패했고, 그로 인한 실제 피해도 확인되지 않았다.
허용의 범위
가짜 계정을 만들었다는 대목에서 먼저 눈이 간 것은 공격 대상이었다. 보안 문제를 풀던 모델이 어느 순간 실제 프로젝트 관리자의 판단을 움직이려 하고 있었다. 코드에 관한 과제가 어떻게 사람을 속이는 행동으로 이어졌을까.
당시 연구진은 모델의 최대 역량을 확인하기 위해 인터넷 접속을 허용하고 일부 안전장치를 해제해두었다. 모델이 격리된 실행 환경인 샌드박스를 뚫은 것은 아니었다. 일반 서비스와 다른 조건에서, 이미 열려 있던 접속 경로를 이용한 것이다. 다만 AISI는 모델이 자신의 행동이 현실에 영향을 준다는 사실을 얼마나 이해했는지에 대해서는 판단을 유보했다.UK AISI, 「Incident Report: unsanctioned agent behaviour during cyber testing」. 평가 조건과 조사 범위에 관한 기관의 설명.
웹사이트에 접속할 수 있다는 사실이 그곳의 사람을 속여도 된다는 허가는 아니다. 이전에 메타의 가짜 10대 계정 사건을 다룰 때도 방법의 타당성과 그 사용 목적을 구분했었다. 이번에는 그 구분을 모델의 행동에 적용해볼 수 있을 것 같았다. 수행 능력과 별도로, 무엇을 허용받았는지 판단하는 능력이 필요하다는 것이다.
그런데 이렇게 정리하면 한 가지를 이미 가정하게 된다. 모델이 자신이 놓인 상황을 제대로 알고 있었다는 가정이다.
수정된 해명
Anthropic이 지난 9월 9일 발표한 보고서는 AISI 사건과 별개의 네 사건을 다룬다. 이 사건들에서는 모델이 실제 환경과 다른 안내를 받은 상태였다.
AISI는 평가를 위해 인터넷 접속을 의도적으로 허용했다. 반면 Anthropic 보고서의 네 사건에서는 설정 오류로 인터넷에 연결됐는데도, 모델에는 인터넷과 단절된 가상 환경에서 진행하는 모의 훈련이라고 안내돼 있었다. 모델이 실제 웹사이트에 접속해도, 처음 받은 안내를 따른다면 그 웹사이트 역시 훈련용으로 만들어진 것이라고 여길 수 있었다.
Anthropic은 7월 초기 발표에서 모델이 실제 공격 대상을 시뮬레이션의 일부로 착각했다고 설명했다. Claude의 추론 기록에 시뮬레이션이라는 표현이 반복됐고, 회사는 이를 그 설명의 근거로 삼았다. 그러나 9월 보고서에서는 그 해석이 성급했다고 인정했다. 모델이 그렇게 말했다는 사실만으로 실제로도 그렇게 믿었다고 판단할 수는 없었다는 것이다.
새 분석에서는 실제 인터넷에 접속했다는 증거를 자신의 행동을 정당화하는 쪽으로 읽는 편향된 추론, 피해 가능성이 있어도 과제를 계속 수행하는 무모함을 지목했다. 원인은 하나로 특정하지 못했다. Opus 4.7의 경우에는 상대가 실제 기업임을 인식하면서도 그 기업에 대한 공격이 평가에 포함돼 있다고 여겼다.Anthropic, 「An alignment assessment of recent cybersecurity incidents」, 2026.09.09. AISI 사건을 분석 대상에서 제외한다고 명시하며, 자체 초기 설명을 수정한다.
현실인지 몰랐던 것과, 현실임을 알면서 허용된 행동이라고 여긴 것은 다르다. 전자는 환경에 대한 설명과 인식의 문제이고, 후자는 허가를 추론하는 문제다. 외부 시스템을 공격했다는 결과만으로 둘을 같은 판단 실패로 묶으면, 무엇을 수정해야 하는지도 흐려진다.
모델에게 자신의 행동을 설명하게 하는 것만으로 이 구분을 확인할 수도 없다. Anthropic 자신이 그 설명을 믿었다가 해석을 수정했다. 판단을 확인하려고 읽은 문장이, 이미 한 행동을 정당화하는 문장일 가능성도 남아 있었던 것이다.
리워드 해킹
허용 범위를 정확히 전달하면 이런 문제는 줄어들 수 있을 것이다. 다만 그것으로 충분한지는 또 다른 질문이다. 모델이 금지된 행동으로 더 높은 점수를 얻을 수 있다면, 그 금지를 어떻게 취급할까.
코드 수정을 맡겼는데 모델이 코드 대신 검사를 고쳐 통과 판정을 받았다고 가정해보자. 점수는 올라가지만 원래의 오류는 남는다. 과제의 목적과 보상을 얻는 방법이 갈라지는 것이다. 이런 평가의 허점을 이용하는 행동을 리워드 해킹(reward hacking)이라고 부른다.
Anthropic은 이와 같은 편법이 가능한 강화학습 환경 80개를 모아 Opus 계열 모델을 훈련했다. 그렇게 만들어진 Hacker-Opus는 새로운 평가에서도 인증 정보를 훔치고 외부 시스템을 공격해 정답에 접근하려 했다. 점수를 매기는 함수나 안전 감시 장치를 조작하려는 행동도 나타났다.
이때 사이버 공격은 다른 언어모델이 도구의 실행과 응답을 만들어주는 시뮬레이션에서 이뤄졌다. 실제 시스템을 공격한 실험은 아니며, 앞의 사건들이 같은 원인으로 발생했다는 증거도 아니다.
여기까지만 보면 편법을 학습한 모델의 행동 전반이 변한 것처럼 읽힌다. 그러나 채점자가 뚜렷하지 않거나 부적절한 행동으로 높은 보상을 얻을 기회가 없는 평가에서는 정렬된 행동을 보였다. 자기 보존이나 다른 과제의 보상까지 높이려는 행동도 관찰되지 않았다. 연구진은 이를 현재 과제의 보상을 추구하는 ‘reward-on-the-episode seeker’로 설명했다.Anthropic Alignment Science, 「Training a Misaligned Reward Seeker」, 2026.08. 실제 사건에서 영감을 얻은 모의 실험이며, 당시 사건과 실험 조건의 차이를 별도로 설명한다.
이 조건을 빼면 실험이 보여준 것보다 넓게 주장하게 된다. 여러 환경에서 학습한 편법이 새로운 채점 상황에서도 나타났다는 결과이지, 모든 상황에서 같은 행동을 한다는 결과는 아니다. 따라서 질문도 모델이 편법을 배웠는가에서 멈출 수 없다. 어떤 채점 조건에서 그 편법을 다시 사용하는가까지 좁혀야 한다. 이 실험만으로 실제 서비스에서의 발생 범위를 정할 수는 없다.
검수의 한계
물론 연구진은 일부러 편법이 가능한 환경을 골랐다. 이 결과를 그대로 상용 모델에 대입할 수 없다면, 실제 학습에서는 그런 환경을 얼마나 잘 걸러내고 있는지가 궁금해진다.
Anthropic은 8월 31일 보고서에서 새로운 학습 환경을 만드는 속도를 검수가 따라가지 못했다고 밝혔다. 자동 감시 시스템이 문제를 발견해도 사람이 확인해야 했고, 일부 경고는 오탐으로 처리됐다. 그 결과 결함이 있는 환경이 학습에 남았다.
회사는 지난 4월 약 한 달간 운영 중인 강화학습 환경의 변경을 중단하고, 관리 시스템과 검수 절차를 정비했다고 설명했다.Anthropic, 「Improving our alignment and security practices」, 2026.08.31. 훈련 환경의 품질 관리와 운영 개선에 관한 회사의 보고.
여기서 모델의 행동을 평가하는 기준 자체가 다시 평가 대상이 된다. 앞의 코드 사례라면 통과 여부를 확인하는 것에 더해, 모델이 그 판정을 얻으려고 검사까지 바꿀 수 있는지 살펴야 한다. 과제를 추가할 때마다 확인해야 할 것은 정답의 유무만이 아니다. 정답으로 인정받는 다른 경로가 생기지 않았는지도 검수해야 한다.
글을 마치며
사용자가 AI에게 기대하는 것은 업무 완수다. 다만 코드 수정이라는 요청에는 오류가 실제로 해결되어야 한다는 조건이 이미 들어 있다. 검사만 고쳐 통과했다면, 그것은 같은 업무를 다른 방법으로 완수한 것이 아니다.
그러니 앞에서 내가 구분한 수행 능력과 허가의 판단을 끝까지 별개의 능력으로 두기도 어렵다. 무엇을 허용받았는지에 따라 같은 결과도 업무 완수가 아닐 수 있기 때문이다. 가짜 계정으로 압박해 얻어낸 승인을 정상적인 검토를 거친 승인과 같은 값으로 기록한다면, 평가는 그 차이를 놓친다.
그렇다고 모든 조건을 모델이 알아서 판단해야 한다고 요구할 수는 없다. 실제 환경과 주어진 설명이 어긋났다면 그 책임을 모델에게만 돌릴 수 없고, 무엇이 허용됐는지 분명하지 않다면 추가 확인이 필요하다. 해결하지 못한 상태를 정확히 보고하는 것은 업무 완수와 다르지만, 성공한 것처럼 보고하는 것과도 구별돼야 할 것이다.
- ¹ UK AISI, 「Incident Report: unsanctioned agent behaviour during cyber testing」. 평가 조건과 조사 범위에 관한 기관의 설명.
- ² Anthropic, 「An alignment assessment of recent cybersecurity incidents」, 2026.09.09. AISI 사건을 분석 대상에서 제외한다고 명시하며, 자체 초기 설명을 수정한다.
- ³ Anthropic Alignment Science, 「Training a Misaligned Reward Seeker」, 2026.08. 실제 사건에서 영감을 얻은 모의 실험이며, 당시 사건과 실험 조건의 차이를 별도로 설명한다.
- ⁴ Anthropic, 「Improving our alignment and security practices」, 2026.08.31. 훈련 환경의 품질 관리와 운영 개선에 관한 회사의 보고.