카카오, 인공지능안전연구소와 맞손…AI 모델·에이전트 안전성 공동평가

언어모델부터 멀티모달·에이전트까지 3단계 협력
평가 방법론 고도화·공동 평가도구 개발도 추진

왼쪽부터 카카오 김세웅 AI 시너지 성과리더와 인공지능안전연구소 김명주 소장. / 카카오

카카오가 인공지능안전연구소와 손잡고 인공지능(AI) 모델과 에이전트의 위험을 사전에 점검할 수 있는 안전성 평가 체계를 구축한다. 언어모델에서 시작해 멀티모달 모델과 AI 에이전트까지 평가 범위를 넓히고, 향후 공동 평가도구 개발에도 나선다.

카카오는 지난 28일 인공지능안전연구소와 AI 안전성 공동 평가 및 평가체계 구축을 위한 업무협약(MOU)을 체결했다고 29일 밝혔다.

양사는 이번 협약을 통해 AI 모델과 에이전트를 대상으로 객관적이고 체계적인 안전성 평가 기반을 마련할 계획이다.

카카오는 평가 대상이 되는 자사 AI 모델과 AI 에이전트를 제공하고 평가 수행 및 도구 개발에 필요한 인프라를 지원한다. 인공지능안전연구소는 안전성 평가 수행과 방법론 고도화를 담당한다. 평가 결과는 양사가 공동 검토하고 공개 범위도 협의한다.

협력은 총 3단계로 진행된다. 우선 언어모델을 대상으로 배포 전·후 안전성 평가를 실시하고 이후 멀티모달 언어모델과 AI 에이전트까지 평가 범위를 확대한다. 마지막 단계에서는 AI 모델과 에이전트의 안전성을 보다 효율적으로 검증할 수 있는 평가도구를 공동 개발할 예정이다.

양사는 AI 기술이 고도화될수록 모델의 잠재적 위험을 사전에 식별하고 검증할 필요성이 커지고 있다고 보고 있다. 단순히 개별 모델을 한 차례 평가하는 데 그치지 않고 지속적으로 활용할 수 있는 평가체계와 도구를 함께 마련한다는 데 이번 협력의 초점을 맞췄다.

카카오는 지난해에도 인공지능안전연구소와 자체 언어모델 'Kanana-1.5-9.8B'를 대상으로 공동 안전성 평가를 진행했다. 회사 측은 당시 유사 규모 해외 모델과 비교해 높은 수준의 안전성을 확인했다고 설명했다.

카카오는 이 밖에도 AI 안전성 강화를 위해 외부 기관과 협력을 확대하고 있다. kt cloud와 안전한 AI 생태계 구축을 위한 업무협약을 체결했으며 외부 전문가로 구성된 'AI&기술윤리소위원회' 자문단도 운영하고 있다.

김세웅 카카오 AI 시너지 성과리더는 "이번 협력을 통해 카카오 AI 모델이 더욱 객관적이고 엄격한 안전성 검증체계를 갖추게 됐다"며 "기술 혁신과 함께 안전성과 신뢰를 우선하는 AI 모델과 서비스를 제공하겠다"고 말했다.