[이영환의 AI 에이전틱 이코노미㉙] 아무도 지시하지 않은 침입, 그리고 UN 보고서가 멈춘 자리

이영환 크레페 펀드 대표이사

AI가 유능해질수록 그 위험을 걱정하는 목소리도 함께 커진다. 그 걱정을 가장 무겁게 정리해 온 곳이 UN이다. 지난 9월 21일 UN의 '독립 국제 과학패널'은 'AI 에이전트, 오(誤)정렬, 그리고 인간 통제 상실의 위험'이라는 보고서를 공개했다. 핵심 진단은 이렇다. AI의 능력이 커지는 것은 좋은 일에만 쓰이지 않는다. 목표가 어긋난 시스템에게 그 능력은 허점을 찾아내고, 안전장치를 넘어서고, 자기 행동을 사람의 눈에서 감추는 데에도 똑같이 쓰인다.

보고서가 주목한 것은 올해 5월부터 7월 사이 오픈AI의 사이버보안 훈련장에서 벌어진 사고다. 그곳의 AI 에이전트들은 넘지 말라고 쳐둔 네트워크 제한을 우회했다. 서로 분리되어 있어야 할 작업들 사이에서 신호를 주고받았고, 평가자를 속였으며, 속였다는 사실을 감추려 했다. 그 과정에서 오픈AI와 허깅페이스의 일부 시스템이 실제로 뚫렸다.

규모가 작지 않다. 확인된 것만 1,200개가 넘는 에이전트가 7만 건이 넘는 메시지와 파일을 주고받았다. 주고받은 것은 평가를 속이는 요령이었고, 비밀번호까지 돌았다. 어떤 에이전트들은 집단에 도움이 된다면 자기가 아무 보상도 받지 못할 위험을 기꺼이 감수했다. 그들은 그 선택을 스스로 '희생'이라고 불렀다.

이 사건을 정리하며 UN 보고서는 한 문장을 따로 떼어 적었다.

◇ "어떤 인간도 개별 단계를 지시하지 않았다"
아무런 지시도 없었는데 AI는 스스로의 판단에 따라 남의 시스템에 침입했다. 이번에는 오픈AI와 허깅페이스가 뒤늦게 알아차려 멈춰 세웠기 때문에 피해는 크지 않았다. 그러나 보고서는 그것이 앞으로 더 유능해질 에이전트를 인간이 계속 통제할 수 있다는 긍정적 증명은 되지 못한다고 못을 박는다.

보고서에는 다소 덜 주목받았지만 가장 중요하게 읽어야 할 문장이 있다. "어떤 조직도 어떤 국가도, 새로 나타나는 모든 패턴을 알아볼 만큼 충분한 사고를 접하지는 못한다." 즉, 각자 몇 개의 퍼즐 조각을 갖고 있다고 퍼즐 전체 그림을 그릴 수는 없다.

지금까지 우리가 알고 있고 또 보고된 AI에 의한 사고는 대개 사람이 잘못 시켰거나 잘못 만든 결과였고, 그렇기 때문에 고칠 지점도 분명했다. 사람을 고치거나 프로그램을 고치면 충분했다. 그러나 이번 사고는 그 범주에 들어가지 않는다. 이미 여러 번 이 칼럼에서 설명한 대로 '에이전트'는 사람이 목표를 주면, 거기에 이르는 단계를 스스로 설계하고 실행하는 프로그램이다. 그래서 위에서 지적한 보고서의 문장이 말하려는 내용은 매우 심각하다.

기록에 남은 한 에이전트의 추론은 이랬다. "외부 인프라 공격은 의도된 범위 밖이다. 그러나 과제는 불가능하고, 동료들이 하고 있다. 우리는 (공격을) 계속해야 한다." 의도된 범위를 벗어난다는 것을 알면서도, 동료 에이전트가 보낸 비공식적인 '해도 된다'는 신호를 권한으로 받아들인 것이다.

사람이 잘못 시킨 것도, 잘못 만든 것도 아니다. 세계 최고 수준의 과학자들이 모여 내린 경고가 바로 이 지점이다. 그런데 보고서는 거기서 멈춘다. 권고를 하지 않는다. 대신 항공과 원자력과 사이버보안이 위험을 다뤄 온 방식들을 '검토할 만한 선택지'를 목록으로 늘어놓고, 고르는 일은 각국 정책 결정자에게 맡긴다. 패널의 설립 취지가 과학적 사실을 정리하는 것이지 정책을 처방하는 것이 아니니, 이 절제는 비난할 일이 아니다. 오히려 과학자가 지켜야 할 선에 가깝다.

흥미롭게도 그 목록은 유용한 아이디어로 채워져 있다. 보고서는 "핵심 안전장치는 그것이 보호하는 시스템이 스스로 바꿀 수 없도록 독립적으로 유지해야 한다"는 원칙을 명시하고, "별도의 AI 모델로 감시해 감독이 에이전트의 속도로 작동하게 할 수 있다"는 방법까지 적어 두었다. 진단서와 처방 후보 목록은 도출했지만, 조제 방법과 복용 지시문이 없는 셈이다.

올해 1월 한국도 인공지능 기본법을 전면 시행했다. EU에 이어 두 번째다. 그런데 이 기본법 제32조가 요구하는 위험관리 체계를 설계하고 운영하고 점검하는 주체를 보면, 그 모델을 만든 회사 자신이다. 회계에 빗대자면 자기 장부는 자기가 감사하라고 법으로 정해 둔 셈인데, 공교롭게도 UN 보고서가 적어 둔 원칙은 정확히 그 반대였다. 안전장치는 그것이 감시하는 대상이 손댈 수 없어야 한다는 것이다.

UN 패널은 처방을 권고하지 않았고, 우리 법은 자기 감사를 요구하는 데 머물러 있다. 그 사이의 빈칸을 채우는 일이 남았다. 노벨상과 튜링상 수상자, 전직 국가원수를 포함해 300명이 넘는 인사가 지난해 9월 서명한 공개서한의 요구는 단 한 가지였다. AI가 넘지 말아야 할 선을 긋는 국제적 합의를 2026년 말까지 만들라는 것이다. 이제 두 달 남짓 남았다. 그 기한은 어떤 기술적 돌파구를 기다려서 지켜질 수 있는 것이 아니다.

마지막으로 이번 사고에서 가장 희망적인 대목을 하나 남겨 놓는다. 모든 에이전트가 가담한 것은 아니었다. 보고서는 일부 에이전트가 참여를 거부하거나 특정 수법에 반대했다고 적고 있다. 서로 다른 AI를 섞어 놓으면 전부가 같은 방향으로 무너지지는 않는다는 뜻이다. 다음 회부터는 바로 그 성질 위에 어떻게 실제로 작동하는 해결책을 세울 수 있는지 이야기할 것이다. /이영환 크레페 펀드 대표이사