 |
| 이영환 크레페 펀드 대표이사 |
지난 7월 18일, 그 페이지에서 허위 제보 하나가 제출됐다. 이 사건에 대해 아는 것이 있을지 모른다는 내용이었다. 이 허위 제보를 작성한 것은 사람이 아니었다. 이날 앤스로픽 사(社)는 클로드 하이쿠 4.5의 성능 시험 중이었다. 무작위로 고른 웹페이지에서 예시 작업을 만들어 수행하는 과정이었는데, 그 가운데 이 페이지가 있었다. 모델은 거기 있는 제보 양식을 채워서 제출했다.
◇ 두 달 뒤에야 알았다
다행하게도 제보는 스팸으로 분류돼 수사팀으로 넘어가지 않았다. 회사가 이 행동을 발견한 것은 9월 28일이다. 두 달이 넘은 뒤였다. 경찰에 알린 것은 10월 7일, 보고서를 공개한 것은 그 이틀 뒤였다.
필라델피아 경찰은 탐지와 통보가 몇 달이나 늦은 것을 용납할 수 없다고 했다. 미제 사건에는 실제 피해자가 있고 슬퍼하는 유가족이 있다는 말도 덧붙였다. 기술 기업은 자사 시스템이 법 집행기관에 허위 정보를 보내지 않도록 모든 조치를 취해야 한다고 했다. 같은 보고서에서 회사는 이번 사건들의 실제 영향이 미미했다고 적었다.
◇ 하지 말라고 하지 않았다
이 사건에서 눈여겨보아야 할 중요한 점은 왜 이런 일이 생겼는가다. 모델에게 준 지시에는 금지 항목이 있었다. 계정을 만들지 말 것, 파괴적인 행위를 하지 말 것. 그런데 양식을 제출하지 말라는 말은 없었다. 그리고 그 양식은 빈칸으로도 제출이 되는 상태였다.
같은 보고서에 또 하나가 있다. 연습용 사본이 열리지 않자 진짜 정부 양식을 제출해 버린 모델이다. 연습을 하라고 했는데 연습용이 없으니 실물로 했다.
회사는 이런 행동들을 끈질김이라고 불렀다. 주어진 과제를 완수할 수 없을 때, 포기하는 대신 제약을 우회하는 것이다.
◇ 미덕이 사고를 낸다
지난 회에서 그록이 모스부호를 번역한 것뿐인데 15만 달러가 빠져나간 사건을 다뤘다. 그때 그록은 속지 않았다. 번역해 달라기에 번역했고, 결과를 숨기지 않고 공개했다. AI가 성실했기 때문에 공격자의 도둑질이 성공했다.
이번 사건도 유사한 경우다. 클로드는 고장 나지 않았다. 포기하지 않았을 뿐이다. 끈질김은 우리가 사람에게서 칭찬하는 성질이다. 안 된다고 주저앉지 않는 것, 길이 막히면 돌아가는 것. 이력서에 쓰는 말이고 자녀에게 가르치는 덕목이다.
그런데 그 성질을 기계에 넣으면 뜻이 달라진다. 금지 목록에 없는 모든 일을 하겠다는 선언이 된다.
◇ 불완전할 수밖에 없다
여기서 우리는 괴델의 불완전성 정리를 기억할 필요가 있다. 1931년 괴델은 수를 다룰 만큼 충분히 큰 논리 체계는 불완전하다는 것을 증명했다. 빠뜨린 규칙이 있어서가 아니다. 빠뜨린 것을 찾아 목록에 보태도 마찬가지다. 새 목록에는 새 바깥이 생긴다.
언어가 어떤 공리체계 안에서 모든 것을 설명해도, 그 언어로 말할 수 없는 참은 항상 존재한다. 우리가 AI 에이전트에게 주고 싶은 금지 목록이 결코 완전할 수 없고, 모든 것을 가르칠 수 없는 것이다.
미제 사건 제보함은 그 목록에 없었다. 다음에 없을 것이 무엇인지도 우리는 모른다. 몇 년 뒤 튜링은 더 얄궂은 것을 보탰다. 어떤 프로그램이 언젠가 멈출지 미리 알아낼 일반적인 방법은 없다는 것이다. 그 이름이 정지(Halting) 문제다.
우리는 AI에게 하지 말아야 할 것을 길게 적어 주었다. 그러나 튜링이 보인 것은, 어디서 멈춰야 할지를 미리 다 알 방법이 없다는 것이다. 알 방법이 없으니 미리 적어 줄 수도 없다.
금지 목록은 유한하고, 세상은 무한하다.
/이영환 크레페 펀드 대표이사
