AI가 내린 결정, 책임은 누구에게 있을까?

인공지능이 틀렸을 때, 우리는 누구에게 따질 수 있을까? 지금까지는 대개 사람이 책임을 졌다. 결정을 내린 사람, 승인한 사람, 실행한 사람이 있었고, 문제가 생기면 그 경로를 따라 책임을 물을 수 있었다. 그런데 인공지능이 의사결정의 중심에 들어오면, 과정은 한 번에 보이지 않게 된다. 어떤 데이터와 기준을 거쳐 그러한 결론이 나왔는지, 사람이 직접 확인한 지점은 어디까지인지 추적하기 어려워진다. 어느 순간부터는 ‘인공지능이 그렇게 말했다’는 말로 책임이 옮겨가기 쉽다. 이 지점에서 서울대학교 과학학과의 천현득 교수는 인공지능 윤리란 무엇인지, 책임 문제는 어떻게 다뤄야 할지, 왜 인공지능의 불투명성이 문제인지를 짚었다. 

윤리의 핵심은 ‘투명성’

많은 AI 윤리 가이드라인을 살펴보면, 가장 자주 언급되는 단어는 ‘투명성’이다. 설명 가능성, 해명 가능성, 이해 가능성 같은 단어는 모양만 다를 뿐 결국 같은 요구를 가리킨다. 이 시스템이 왜 이런 결정을 했는지 알 수 있어야 한다는 것이다.

여기서 흔히 ‘기술이 더 객관적일 수 있지 않은가, 사람은 부패하고 편향적이다’라는 반론이 제기되기도 한다. 천현득 교수는 ‘AI 판사’를 예로 들며, 판사를 인공지능으로 바꾸면 자칫 더 공정해 보일 수도 있겠지만, 그보다는 우리가 여기서 말하는 '공정'이 무엇인지에 관한 질문이 선결되어야 한다고 강조했다. 공정한 인공지능을 만들기 위해 무엇을 공정한 것으로 볼지, 어떤 목표를 최적화할지, 어떤 오류를 더 위험한 것으로 볼지는 결국 사람이 정해야 한다. 또한 어떤 데이터를 모을지, 어떤 데이터는 버릴지 선택하는 과정도 수반되는데, 결정 과정에서 사회가 무엇을 중요하게 여기는지는 인공지능에 그대로 반영된다. 따라서 ‘기술이 더 객관적이다’라는 믿음은 위험할 수 있다. 공정성 논쟁이 큰 사회일수록 눈에 보이는 절차와 지표에 더 기대려는 경향이 생기지만, 그 지표 자체가 이미 가치 판단의 산물인 것이다.

‘자율적인 기술’이 만드는 책임의 공백

인공지능이 자율성을 갖추기 시작할수록 우리는 더 많은 판단과 행위를 위임하게 된다. 자율주행차, 자율무기, 에이전트형 AI가 대표적이다. 도입을 찬성하는 결과주의적 논변도 분명 존재한다. 자율주행차는 인간의 과실로 인한 사고를 줄일 수 있고, 취약한 이동권을 확장할 수 있다는 주장이다. 또한, 자율무기는 사상자를 줄이고 전투원의 심리적 부담을 완화할 수 있다고 한다. 아울러 에이전트형 AI는 업무를 더 빠르고 효율적으로 처리할 수 있다는 주장도 있다. 천현득 교수는 이런 고려가 중요하다는 점을 인정했다. 다만, “그것이 전부는 아니다”라고 말했다. 효율이 커질수록 책임의 구조가 흔들릴 수 있기 때문이다.

인간은 행위 주체로서 자신의 행위에 책임을 진다. 그렇다면 인간이 의사결정과 행동을 기계에 위임하면 책임은 어디에 있을까? 기계는 자유의지나 의도를 가진 존재가 아니다. 기계는 자신이 무엇을 하고 있는지 의식하지도 않고, 자기 행동의 결과를 이해하지도 못한다. 이때 질문이 생긴다. 사람은 어디까지 책임져야 하는가?

천현득 교수는 전쟁의 사례를 들었다. 드론이 민간인을 살상하거나 포로를 살상했다면, 누가 책임지는가? 만든 사람인가, 보낸 지휘관인가, 로봇 자신인가? 그런데 만든 사람과 지휘관에게는 ‘우리가 그렇게 시킨 게 아니다’라고 말할 여지가 생긴다. 로봇에게 책임을 묻는 것도 불가능하다. 여기서 ‘책임의 간격’, ‘책임의 공백’이 생긴다.

그래서 그는 책임 개념이 바뀌어야 한다고 말했다. ‘내가 직접 했으니 내가 책임진다’라는 인식에만 머물러 있으면 계속 공백이 생긴다. 그는 연관된 사람이 지휘하는 위치에 있었는지, 그 체계를 통해 이득을 누렸는지, 어떤 관계 속에서 그 기술을 운용했는지 같은 기준으로 책임 개념을 확장해야 한다고 주장했다.

블랙박스가 공공으로 들어오면 생기는 일

마지막으로 천현득 교수는 인공지능의 블랙박스 문제에 관해 “인공지능을 쓰는 일이 책임 있는 일이 되려면, 시스템은 설명 가능해야 하고, 그 설명은 사용자에게 제공되어야 한다”라는 한 문장으로 정리했다. 결과만 나오고 이유가 사라지면, 사람은 받아들이거나 반박할 근거를 잃는다.

그는 ‘불투명성’이 단일한 문제가 아니라고도 언급했다. 여기에는 우선 기업이 경쟁력이나 영업비밀을 이유로 숨기는 불투명성이 있다. 또한, 공개되어도 비전문가가 이해하기 어려운 불투명성도 있다. 마지막으로, 가장 어려운 형태의 불투명성은 만든 사람도, 전문가도 결과를 정확히 예측하기 어려운 불투명성이다.

그는 먼저 카프카의 『소송』을 예로 들었다. 요제프 K는 어느 날 갑자기 체포되지만, 왜 체포되었는지 설명을 듣지 못한다. 절차는 계속 진행되는데 체포의 이유는 끝내 제시되지 않는다. 천현득 교수는 이 장면이 “설명 없는 판단이 사람을 얼마나 쉽게 무력하게 만드는지 보여준다”고 말했다. 공적 결정이 이런 형태로 작동하기 시작하면, 시민은 결정의 대상이 되면서도 결정 과정에서 배제된 상태에 놓이게 된다.

두 번째 사례는 교사 해고 문제였다. 미국 워싱턴 D.C. 공립학교의 초등교사 새라 와이사키(Sarah Wysocki)는 수업 평가가 나쁘지 않았는데도, 성과 평가 모델에서 낮은 점수를 받아 해고 대상이 되었다. 그러나 교육청은 ‘왜 당신의 점수가 낮게 나왔는지’ 설명하지 못했다. 돌아오는 말은 ‘모델이 그렇게 계산했다’는 답뿐이었다. 공공이 이러한 방식으로 작동하면, 결정은 정당화되지 못한 채 통보만 될 뿐이다.

이 지점에서 천현득 교수는 투명성이 ‘친절’의 문제가 아니라고 강조했다. 공공의 결정은 시민이 수용할 수 있는 이유로 정당화되어야 한다. 신뢰의 문제도 마찬가지이다. 더 많이 믿게 만드는 것이 목표가 아니라, 믿어도 되는 조건을 갖추는 것이 목표여야 한다.

우리는 무엇을 요구해야 하나

공공에 쓰이는 AI는 그 결과가 어떻게 나왔는지, 그리고 왜 그렇게 판단했는지를 시민이 이해할 수 있는 방식으로 제시되어야 한다. 그래야 시민은 동의할 수도, 반박할 수도, 수정과 재검토를 요구할 수도 있다. 투명성은 친절한 서비스가 아니라, 공공 의사결정이 성립하기 위한 최소 조건이어야 한다.
그래서 그는 미래의 비전을 초국적 빅테크 기업에 외주화하지 말자고 요청했다. 기술은 자연현상처럼 저절로 굴러오는 것이 아니라, 누군가가 목표를 정하고, 설계하며, 도입하면서 만들어진다. 결국 한 사회의 방향성은 시민이 더 많이 말하고, 더 많이 듣고, 더 많이 토론하는 데 달려 있다. 공공의 결정은 공공의 언어로 설명되어야 하고, 그 설명을 요구하는 힘은 결국 시민에게서 나와야 한다.

저자: 최소영
교열자: 추영롱
교정 및 기획: 레슬리 클라테(Leslie Klatte)
영어 번역: 에릭 로젠크란츠(Eric Rosencrantz)
독일어 번역: Star Korea AG