|
이 변화는 AI를 둘러싼 근본적인 질문을 바꿔놓을 것으로 보인다. "AI가 얼마나 정확한 답을 내는가"에 더해, 이제는 "AI에게 어디까지 행동할 권한을 위임할 것인가"가 중요한 질문으로 대두되고 있다. 잘못된 답변도 피해를 낳을 수 있지만, 이를 검토하고 수정할 기회가 있다. 반면 AI가 잘못된 송금을 실행하거나 기밀 정보를 외부로 보내면, 오류를 발견했을 때는 이미 되돌리기 어려울 수 있다. AI가 답을 생성하는 도구를 넘어 업무를 집행하는 '에이전틱 AI(Agentic AI)'로 발전하면서 오류가 곧바로 현실의 피해로 이어질 가능성이 커진 것이다.
이러한 문제는 특히 공공부문에서 중요하다. 민간의 오작동도 막대한 피해를 낳지만, 공공부문에서는 행정 권한의 행사가 시민의 기본권과 직접 연결된다. 예컨대 AI가 복지 수급 자격을 잘못 안내해 시민이 신청을 포기했다면, 나중에 안내를 바로잡더라도 그동안 겪은 생계의 어려움을 온전히 회복하기는 어렵다. AI의 잘못된 판단을 그대로 받아들여 영업정지 처분을 내렸다면, 처분을 취소해도 이미 발생한 매출 손실과 신용 훼손은 남을 수 있다.
최근 뉴욕타임스 칼럼도 이 문제를 다루며 자율적으로 행동하는 AI를 제공하고 통제하는 주체의 책임을 강조했다. AI 에이전트 시대에는 경제학에서 말하는 '주인-대리인 문제(Principal-Agent Problem)'가 오히려 심화될 수도 있다는 주장이다. 주인-대리인 문제는 정보의 비대칭성과 목표의 불일치에서 비롯된다. AI가 인간 대리인처럼 자신의 사익을 추구한다고 볼 필요는 없다. 그러나 사용자의 의도와 시스템에 설정된 목표가 어긋나고, 사용자가 실행 과정을 충분히 파악하지 못한다면 위임과 통제의 문제는 여전히 발생할 수 있다.
공공부문처럼 다양한 목표를 추구하거나 목표가 모호한 영역에서는 이 문제가 더욱 두드러질 수 있다. 행정은 효율성과 형평성, 적법성처럼 때로 충돌하는 가치를 함께 실현해야 하고, '주인'이 시민인지, 국회인지, 정부인지도 분명하지 않다. 이처럼 목표를 명확히 정의하기 어려운 경우, AI는 처리 속도나 적발률처럼 측정하기 쉬운 지표에 맞춰 작동하기 쉽고, 수치로 표현하기 어려운 형평성이나 공정성은 뒤로 밀릴 수 있다.
목표의 모호성이 설계 단계의 문제라면, 집행 단계에서 빠지기 쉬운 함정은 '담당자의 형식적 승인'이다. "최종 결정은 인간이 내린다"는 안전장치를 내세워도, 하루 수백 건의 안건 앞에서 공무원이 결재 버튼만 누른다면 실질적인 통제라고 보기 어렵다. 사람은 기계의 제안을 과신하는 '자동화 편향(automation bias)'에 빠지기 쉽고, 업무 부담이 클수록 이 경향은 더 강해진다. 검토할 시간도, 판단 근거를 확인할 수단도, 사실관계를 추가 조사할 인력도 없다면 '인간의 개입(Human-in-the-loop)'은 책임을 담당자에게 떠넘기는 절차가 될 수 있다. 의미 있는 개입에는 결정을 이해할 정보와 검토할 시간, 그리고 AI의 제안을 거부하거나 실행을 중단할 권한이 필요하다.
그러나 모든 업무에 이런 수준의 검토를 요구할 수는 없다. 한정된 검토 역량을 위험이 큰 곳에 집중하려면 업무의 성격과 예상되는 피해 규모, 오류를 되돌릴 수 있는 정도에 따라 AI의 자율 권한을 차등적으로 설계해야 한다. 회의록 요약이나 문서 분류, 복지급여 결정이나 규제 처분을 같은 잣대로 다룰 수는 없다. 내부 업무라도 민감한 개인정보를 다루거나 외부 시스템에 접근한다면 통제가 필요하다. 위험이 낮고 오류를 쉽게 수정할 수 있는 업무는 자동화를 확대하되, 시민의 생계와 권리를 좌우하는 업무는 독립적인 검증과 실질적인 인간 판단을 거치도록 하는 식이다. 또한, 책임을 현장 담당자의 최종 승인에만 귀속시키지 말고, 시스템을 선택하고 실행 권한과 검토 여건을 설계한 기관과 관리자의 책임을 구분하는 것도 필요하다.
결국 AI 에이전트 시대의 행정 혁신은 고성능 인프라나 클라우드 전환 같은 기술적 대비만으로는 완성되지 않으며, '책임의 재설계'를 함께 요구한다. AI에게 어디까지 권한을 부여할 것인지, 누가 그 실행을 감독할 것인지, 오류가 발생했을 때 어떻게 책임을 묻고 피해를 구제할 것인지에 대한 기준을 도입 단계부터 마련해야 한다. 시민에게는 AI를 활용한 불리한 결정의 구체적 이유를 설명받고, 인간 담당자에게 재검토를 요청할 권리도 부여되어야 한다. 행정이 불투명한 알고리즘 뒤에 숨을 수 있는 구조여서는 안 된다는 뜻이다.
AI 에이전트는 행정을 전례 없이 유능하게 만들 잠재력을 지니고 있다. 그러나 그 유능함이 정당성을 얻으려면 권한의 경계와 책임의 구조가 함께 갖추어져야 한다. 행정이 AI에 업무를 맡길 수는 있어도, 시민에 대한 책임까지 넘길 수는 없다.
홍순만 연세대 국가관리연구원장
※본란의 칼럼은 본지 견해와 다를 수 있습니다.
