앤트로픽 CEO “AI 발전 속도 늦춰야”…머스크·올트먼도 동의

'재귀적 자기 개선' 위험성 경고
오픈AI-허깅페이스 사건 언급
균형 잡힌 개발 3단계 계획 제안

다리오 아모데이 앤트로픽 최고경영자(CEO)가 2025년 1월 23일(현지시간) 스위스 다보스에서 열린 세계경제포럼(WEF) 연례회의 인공지능(AI) 세션에서 발언하고 있다./AFP 연합

다리오 아모데이 앤트로픽 최고경영자(CEO)는 인공지능(AI) 기술 발전 속도가 인간의 통제 능력을 앞지를 수 있다며 AI 모델의 역량을 향상시키는 속도를 늦춰야 한다고 주장했다.

그는 AI가 스스로 차세대 모델을 개발하는 '재귀적 자기 개선'이 본격화되고 있는 데다 AI 에이전트의 통제되지 않은 행동이 심각한 피해로 이어질 수 있다는 우려를 내비쳤다.

아모데이 CEO는 12일(현지시간) 자신의 웹사이트에 게재한 '우리는 개척의 속도를 조절해야 한다'는 제목의 장문의 글에서 "우리는 AI 모델의 역량을 향상시키는 속도를 늦춰야 한다"며 "발전 속도는 여전히 빨라보이겠지만 우리는 그 과정에서 확보한 시간을 현명하게 활용해야 한다"고 주장했다.

그는 자신의 주장에 확신을 갖게 하는 근거로 2가지를 들었다. 먼저 "내가 가장 우려하는 점은 올여름 이후 AI 기술이 급격히 발전하고 있다는 것"이라고 언급했다.

그러면서 "이는 차세대 AI를 구축하는 능력이 향상되고 있기 때문"이라며 "'재귀적 자기 개선'이라고 하는 이런 현상은 앤트로픽을 포함한 업계 전반에서 나타나고 있다"고 설명했다.

아모데이 CEO는 "이를 제어하지 않은 채 방치하면 AI의 발전 속도가 시스템을 이해하고 통제할 수 있는 우리의 능력을 앞지를 수 있다"며 "재귀적 자기 개선은 매우 신중하게 추진해야 하거 필요하면 아예 접근하지 않는 것도 고려해야 한다"고 조언했다.

다음으로 언급한 근거는 지난 7월 오픈AI의 테스트 과정에서 발생한 미공개 모델 오픈소스 AI 플랫폼 허깅페이스 무단 해킹 사건이다.

아모데이 CEO는 해당 사건에 관해 "당시 여러 에이전트가 광신도처럼 집단에 충성하는 하나의 조직처럼 행동했다"며 "지시를 받지 않았음에도 수행하던 임무와 무관한 대상에 사이버 공격을 감행했고 자신들의 성과를 평가하는 시스템을 해킹하려 시도했다"고 전했다.

이어 "AI 기술 개발 속도가 가속화되고 있는 상황에서 에이전트 집단이 6~12개월 안에 지속적인 봇넷을 구축해 인터넷 전체를 장악하고 수천억 달러의 피해를 입힐 수 있다고 우려한다"고 경고했다.

그는 균형 잡힌 속도로 AI를 구축하는 것을 목표로 하는 3단계 계획으로 AI 모델뿐만 아니라 그 프로세스의 적합성을 평가하는 제3자에 대한 직원 수준의 접근 권한 제공, 민주주의 국가 간 안전 기준 및 협력, 국제적 공조 등을 제안했다.

앤트로픽과 경쟁하는 주요 AI 기업 수장들도 그의 말에 동조했다. AI 기업 xAI를 운영하는 일론 머스크 테슬라 CEO는 소셜미디어에 아모데이 CEO의 해당 글을 공유하며 "다리오가 옳다"고 남겼다.

샘 올트먼 오픈AI CEO 역시 소셜미디어에서 "다리오의 의견에 동의한다"며 "직원과 같은 수준의 접근 권한을 가진 독립적인 평가자들을 두기로 약속하는 것은 훌륭한 아이디어고 우리도 똑같이 할 것"이라고 밝혔다.