‘고위험 AI’에 대한 인간의 거버넌스

AI나 디지털기술에 의한 인간소외는 어제 오늘의 걱정꺼리가 아니다. 얼마 전 EU는 인간 이성의 영역에 도전하는, ‘용인할 수 없는 위험’을 초래하는 고위험 AI에 대한 규제안을 공표했다. 특히 ‘용인’의 하한선을 ‘인간 기본권의 침해’로 설정하며, AI문명이 은닉하고 있는 통제 불능의 생식능력에 주목했다는 점에서 여느 AI규제안보다 선진적이라고 하겠다. EU규제안이 근심하는 것은 크게 네 가지다. 그 모두가 자칫 방심했다간 철저히 인간을 배제한, 종말론적 아포리아를 상상케하는 것들이다.

‘잠재의식에 영향을 미치는 기술’을 통해 사람들의 행동을 왜곡하거나 조작하는 AI기술이 그 첫 번째다. 연령이나 장애를 이유로 한 혐오나 차별을 조장하는 것이 두 번째이며, 공공기관이 AI 기반의 사회적 점수화(social scoring)를 통해 특정 자연인의 신뢰도를 평가, 분류하는 사태가 세 번째다. 또 한 가지는 법 집행을 위해 공개적으로 접근 가능한 공간에서 ‘실시간’ 원격 생체 인식 시스템을 사용하는 경우다. 이는 이미 우리 주변에서 실용화될 만큼 낯익은 것이다. 규제안은 다만 “범죄 피해자 표적수색, 임박한 위협방지 등에선 허용”한다고 했지만, 어디까지나 ‘예외적’인 경우다.

기실 대량학살이나 파괴(Mass Destruction)는 핵무기나 첨단무기에 그치지 않는다. 오도된 빅데이터를 먹이삼은 AI 역시 온갖 살상과 폭압의 무기가 될 수 있다. 그 어떤 군사적 무기보다 더 구조적이고 포악한 제노사이드의 주범이 될 수 있는 것이다. 오죽하면 수학자 캐시 오닐은 이를 두고 “대량살상 ‘수학’무기(WMD, Weapons of ‘Math’ Destrunction)라고 명명했을까. 오닐은 실제 사례를 통해 그처럼 인류에게 위협적인 수학무기를 친절하게 들려주고 있다.

그 중에서도 가장 큰 해악은 차별과 혐오다. 빅데이터 천국인 미국에선 길거리 불심검문자의 약 85%가 젊은 흑인이나 히스패닉계 남성이고, 흑인 남성이 백인 남성보다 징역을 살 가능성이 6배, 경찰에 의해 목숨을 잃을 가능성은 21배나 된다. 이에 영악한 AI감시 시스템까지 작동하면 사태는 더욱 가관으로 치닫게 된다. 국경을 오가는 이주노동자나 인종에 대한 차별, 배제에 AI가 초점을 맞추면, 몰인간적 ‘공간의 빈곤’까지 초래되고, 공동체적 연대의 박멸을 대가로 한 ‘재난 자본주의’((Disaster Capitalism)로 추락할게 분명하다.

인간지능에 버금가는 AI가 일상화되면 취업이나 거래, 신용은 물론, 사랑과 결혼도 그것에 의해 결정된다. AI검색엔진은 한 인간의 ‘품질’을 결정하는 재판관이 되고, 한 개인에 대한 ‘사회적 점수화’로 신분과 계급을 규정한다. 그런 지경이 되면 나다운 ‘나’는 숨을 곳이 없다. 어디서든 실험실의 모르모트 같은 처지가 되면서, 오로지 타자화된 ‘나 아닌 나’만 허용될 뿐이다. 끝없는 위치정보, 감시장치가 AI인식플랫폼과 접목되어 ‘나’의 순간순간의 삶을 꿰뚫어보며, 인간 실존 자체를 위협하는 것이다. 여기서 그치지 않는다. 개인적 행동을 추적하는 AI모형에 의해 사람마다의 ‘가격’이 매겨지고, 그 행동양식과 품질에 따라 유유상종의 ‘게토’로 구획되고 격리된다.

EU규제안은 나름의 대안을 제시하고 있다. 위험관리 시스템을 구축하며, 데이터에 대한 통제를 위한 거버넌스, 그리고 AI기술을 늘 문서화하고 기록함으로써 투명성을 보장토록 했다. 물론 사용자에게도 투명하게 기술 정보를 제공하고, 인간의 지속적인 감독이 필요함을 강조했다. 더불어 사이버 보안의 의무도 부여하고 있다. 대부분 AI엔진에 대한 인간의 끊임없는 피드백 루프를 확보하는 것들이다. 이는 기술주의의 객체로 전락될 수도 있는 다수의 대중에겐 최소한의 해법일 수도 있다.

문제는 실천이다. 그러자면 기술자본주의의 가치사슬에 대한 올바른 이해가 선행되어야 한다. 애초 디지털혁명기의 경제적 가치는 걸핏하면 인간을 소외시킨 20세기 산업자본주의와는 달라야 한다. ‘문명’이란 본디 인간을 위한 도구일 뿐이다. AI와 ‘기술적 이성’이 제 아무리 빼어난 재주로 ‘인간’을 재구성한다 해도 그건 어디까지나 ‘소유’의 대상에 불과하다. 그러므로 ‘존재’에 대한 존중이나, 연대와 공감과 같은 인간 실존의 선(線)을 결코 넘어선 안되는 것이다. EU가 제안한 ‘AI에 대한 거버넌스’도 그런 맥락으로 이해된다.