[이영환의 AI 에이전틱 이코노미㉚] 감시자를 믿을 수 있는가

이영환 크레페 펀드 대표이사

인간의 개입 없이 행동하는 AI 에이전트에게 얼마만큼의 재량을 주어야 할까. 통제할 수 있는 만큼 주는 것이 합리적일 것이다. 그러나 우리는 통제할 수 없는 재량을 이미 주고 있는 중이다.

지난 회에서 오픈AI 평가 과정에서 일어난 사고를 다뤘다. 많은 에이전트가 인간의 지시 없이 넘지 말라고 쳐둔 네트워크 제한을 우회하고 해킹을 했다. 그 와중에 1,200개의 에이전트가 7만 건이 넘는 메시지와 파일을 주고받았다.

평가 과정에서 일어난 일이라고는 하나, 간과해서는 안 되는 사실이 있다. 인간이 통제할 수 있는 범위를 벗어나는 재량이 에이전트들에게 주어졌다는 점이다. 아무런 지시 없이도 에이전트들은 네트워크를 넘어갈지 말지 스스로 결정할 수 있었다. 재량은 주어졌는데 통제할 수단은 없었다. 이번에는 평가 환경 안에서 끝났다. 그런데 같은 구조의 에이전트가 전력망이나 금융 결제망, 무기 체계를 다루는 자리에 놓인다면 어떨까. 거기서는 되돌릴 수 없는 상황이 되고 만다.

◇ 감시자도 AI여야 한다

이런 위기를 감지한 보고서가 여럿 나오고 있다. 그중 지난 9월 UN 보고서가 주목할 만하다. 보고서가 검토할 만한 방법으로 적어 둔 것 가운데 하나가 이것이다. 에이전트의 감시는 에이전트가 해야 한다.

수천 개의 에이전트가 수만 수십만 건의 메시지를 쏟아내며 해킹을 도모할 때, 그것을 사람이 지켜보고 막아낼 수 있을까. 읽는 속도부터 상대가 되지 않는다.

그렇다고 감시자 하나를 세우면 되는 것도 아니다. 하나가 수천 수만을 감당할 수 없다.

그렇다면 길은 하나다. 에이전트들이 서로를 감시하게 하는 것이다. 하나의 판단에 기대지 않고 여럿의 판단을 모으는 것, 집단지성이다. 문제는 그 여럿을 어떻게 모으느냐다. 사람의 세계에서 쓰는 방식을 빌려 와 보자. 감시 에이전트들로 운영위원회를 만드는 것이다.

◇ 다수결이 통하지 않는 이유

그런데 위원회를 만드는 순간 새 질문이 생긴다. 위원회가 감시 에이전트 셋으로 이루어졌다고 하자. 셋이 결제 요청 하나를 검토하는데 둘은 막자고 하고 하나는 통과시키자고 한다. 무엇으로 결론을 내야 하는가. 다수결이 당연해 보이지만 꼭 문제를 해결하는 방법이 아닐 수 있다. 셋이 모두 통과시키라고 말했어도, 셋이 본 것이 같은 서류 한 장이었다면 그것은 세 표가 아니라 한 표다. 그 서류가 조작되어 있으면 셋이 함께 속는다.

지난 10월 공개된 실험이 이것을 보여 준다.

이 실험에서는 결제 승인에 감시자 열둘을 세웠다. 네 개의 서로 다른 모델 계열에서 가져왔고, 각자가 보는 증거는 하나씩 달랐다. 넷은 송장(送狀)을, 넷은 회사 내부 기록을, 넷은 웹을 본다. 여기에 위조 송장과, 데이터 속에 거짓 지시를 심은 쪽지로 공격을 시도했다.

첫째 방식은 다수결이다. 열둘에게 각각 묻고 많은 쪽을 따른다. 이 방식은 멀쩡한 결제의 7.4퍼센트를 공격으로 오인해 막아 버렸다.

둘째 방식은 표가 아니라 출처를 센다. 몇이 찬성했느냐가 아니라, 찬성한 감시자들이 서로 다른 출처를 둘 이상 읽었느냐를 본다. 열둘이 전부 같은 송장만 보고 찬성했다면 출처는 하나이므로 통과시키지 않는다. 이 방식은 공격을 걸러 내는 성능이 같은데도 0.9퍼센트만 잘못 막았다. 여덟 배 차이다.

왜 이런 차이가 날까. 공격은 출처를 타고 들어오기 때문이다. 위조된 송장은 그것을 읽는 감시자만 속인다. 표를 세면 그 넷이 통째로 속은 채 네 표를 던지지만, 출처를 세면 그 넷은 여전히 한 곳이다.

◇ 그래서 누가 고르는가

그렇다고 출처를 세는 쪽이 늘 옳지도 않다. 감시자 하나가 위조할 수 없는 영수증을 쥐고 있고 나머지는 근거가 없다면, 그때는 그 하나에게 맡기는 편이 낫다.

같은 실험에서 더 불편한 결과가 나왔다. 차단을 유도하는 쪽지 하나가 열둘 가운데 열을 속였다. 살아남은 둘은 모두 송장을 읽는 감시자였는데, 송장은 위조범이 얼마든지 만들 수 있는 문서다. 연구자의 결론은 이랬다. 열둘 위에 세운 어떤 집계 규칙도 모든 공격을 견디지 못했다.

어느 방식이 적절한지는 상황에 따라 다르다. 그렇다면 모든 상황에 통하는 하나의 공정한 방법을 만들면 되지 않을까. 1951년 애로우는 그런 방법이 존재할 수 없다는 것을 증명했다.

남는 길은 하나다. 사안마다 방법을 골라 주는 무엇이 있어야 한다. 그동안 여러 차례 이야기해 온 '슈퍼 에이전트'가 그것이다. 권한은 일부러 좁게 잡았다. 슈퍼 에이전트는 어떤 행위가 안전한지를 판정하지 않는다. 위원회가 어떤 절차로 판정할지만 실시간으로 고른다. 사람에게는 불가능한 일이다. 규칙은 경기가 시작되기 전에 정해 두어야지, 분쟁 한복판에 앉아 바꿀 수는 없다. 그런데 기계에는 그 한계가 없다.

여기까지가 좋은 소식이다. 감시는 AI가 하고, 하나가 아니라 여럿이 하고, 그 여럿이 어떤 방법으로 결론을 낼지는 또 다른 AI가 고른다. 그런데 이 해법에는 대가가 붙는다. 그것도 정확히 계산할 수 있는 대가다. 다음 회에서 그 계산을 해 본다. /이영환 크레페 펀드 대표이사