재판·치안까지 맡는 AI… 일부 추상적 기준에 현장에선 물음표

사법·수사 영역에 AI 활용 본격화
생명·기본권 영향 여부 핵심 쟁점
보완 입법·가이드라인 요구 커져

인공지능(AI)의 건전한 발전과 사회적 신뢰 기반을 조성하기 위한 'AI 기본법'이 22일부터 본격 시행된다. 일상생활에서 AI 활용 사례가 점점 늘자 정부가 전 세계 최초로 AI에 대한 최소 규제 원칙을 마련한 것이다. 이 법은 국내 AI 산업 육성을 위한 지원 규정을 비롯해 AI의 투명성·안전성 확보를 의무화하도록 했다. 특히 AI로 사람이 다치거나 위험해지는 일이 없도록 '고영향 AI' 개념을 도입하고 처벌 규정도 신설했다. 사회 전반에 걸쳐 AI에 대한 최소한의 기준이 세워지는 만큼 민관의 AI 운영 방식도 '규범' 중심으로 재편될 전망이다. 하지만 고영향 AI의 범위와 일부 판단 기준이 여전히 추상적이어서 당분간 현장에서 제도가 뿌리내리기까지 시간이 걸릴 것이라는 지적이 나온다. 본지는 'AI 기본법' 시행에 따라 사회 분야의 변화를 살펴봤다. <편집자주>

AI 기본법의 의미는 가이드 중심으로 운영되던 AI 정책을 법 체계로 전환했다는 것이다. AI의 정의와 국가의 책무를 명시하고 적용 범위, 다른 법률과의 관계도 정립했다.

AI 기본법 시행으로 사회 전반에 걸쳐 큰 변화가 뒤따를 전망이다. 법조계와 수사기관 역시 새로운 미래를 준비하고 있다.

우선 대법원은 오는 2030년까지 '사법 AI'를 단계적으로 도입하는데 이 과정에서 AI 기본법의 영향이 불가피하다. 대법원은 AI 거버넌스 구축, 법원 내 행정문서 작성, AI 활용 시범재판부 도입 등을 추진하는데 인간의 기본권에 중대한 영향을 미치는 분야에는 '고영향 AI' 도입이 필수적이다.

고영향 AI는 AI 기본법에 따라 사람의 생명, 신체의 안전, 기본권의 보호에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능 시스템이다. '사법 AI'가 고영향 AI로 분류되면 위험 관리와 이용자 고지 등 추가 의무가 붙게 된다.

이와 함께 로펌과 기업 법무팀 역시 계약서 작성, 증거 정리, 판례 분석에 활용하는 AI에 대해 오류 가능성을 전제로 한 검증 절차와 기록 관리에 한층 엄격한 기준을 적용할 전망이다.

법무법인(유) 지평의 IPIT그룹 부그룹장인 허종 변호사는 "고영향 AI의 경우 법 시행이 돼도 실제 적용 사례가 없기 때문에 초기에 많은 혼선과 혼란이 불가피할 것"이라며 "고영향 AI 여부 판단을 내리기 어렵다면 과학기술정보통신부 장관의 확인을 구할 수 있도록 하고 있으나, 이러한 유형의 입법례가 흔치 않아 지켜봐야 할 것 같다"고 설명했다.

경찰 역시 영상·음성 분석, 순찰·치안 데이터 기반 예측 등 AI 활용이 늘어날 전망이지만, 국민 기본권과 직결되는 영역인 만큼 안전성과 책임성 요구가 커질 것으로 보인다. 경찰은 올해를 '치안 AI'의 원년으로 선언했다. 실제로 AI 기반 수사 지원 시스템인 '킥스 AI'를 도입하는 등 적극적인 AI 활용에 나서고 있다. 그러나 'AI 리터러시(AI 활용능력)'의 부족을 우려하는 시선도 공존한다. 안전장치가 없는 상황에서 도입된 AI가 부정확한 결과와 행정력 낭비는 물론 인권 침해까지 초래할 수 있다는 의미다.

실제로 경기 용인동부경찰서는 지난해 챗GPT가 만든 가짜 법리를 근거로 아동복지법 위반 사건의 불송치 결정문을 작성했다가 발각됐다. 이에 "경찰이 존재하지 않는 법리를 인용해 사건을 종결했다"는 질타를 받아야 했다. 범죄 예방을 위해 도입된 AI 기반 지능형 CC(폐쇄회로)TV에서도 오류가 포착됐다. 평행봉 운동 중이거나 잡초를 제거하는 사람을 쓰러진 것으로 판별하거나 어깨동무를 싸움으로 인식하는 등 혼란을 일으킨 것이다.

우리보다 한발 앞서 치안 AI를 도입한 미국도 곤혹을 치르고 있다. 미 싱크탱크 브레넌 정의센터에 따르면, 뉴욕경찰(NYPD)은 지난 2016년부터 자체 개발 AI 시스템 '패터니저(Patternizr)'를 도입했다. 과거 체포·단속 이력 기반으로 '범죄 가능성 높은 지역'을 예측하는 프로그램이다. 그러나 지난해 11월 AI가 성별, 인종 등을 토대로 특정 지역만 집중 순찰 대상으로 지정했다는 사실이 밝혀지며 '과잉 감시' 문제가 불거졌다.

LA경찰(LAPD) 역시 'AI 의존증'이 사생활 침해 논란을 불러왔다. LAPD는 예측 치안 프로그램 '오퍼레이션 레이저(Operation LASER)'가 분류한 상습 범죄자의 사진과 개인 정보를 모든 부서에 배포했다. 경찰은 이들을 집중 감시 대상으로 지정해 경고장을 보내거나 자택에 방문했다. 그러나 AI가 체포 이력이 없는 무고한 사람도 명단에 포함시킨 사실이 뒤늦게 드러났고, 해당 프로그램은 현재 폐지됐다.

권헌영 고려대 정보보호대학원 교수는 "경찰은 AI 사용으로 인한 예측 가능한 부작용을 사전에 대비하는 절차를 마련해야 한다"며 "AI에 특화된 가이드라인을 갖고 이에 맞춰서 행동하고, AI 사용과 리터러시 교육도 당연히 병행해야 한다"고 말했다.