학습 단계서 왜곡된 데이터 입력, ‘잘못된 현상 스스로 학습하기도’
인간의 기술적 통제를 벗어난 AI의 오류는 디지털 시대의 또 다른 과제이기도 하다.
실제로 인공지능의 잘못된 판단이나 데이터 분석으로 인해 빚어지는 사고나 실수가 적지않다.
국내에선 아직 이에 관한 체계적인 보고가 나온 바 없지만 미국에선 이미 여러 연구기관이나 전문가들이 사례를 수집, 분석하며 대응책을 고민하고 있다.
최근 IT매체인 ‘인포월드’의 글렌 맥도날드나 CIO인 토르 올라프로드 등이 전하는 AI오류 사례는 잘못된 머신러닝의 폐해가 얼마나 심각한지 실감케 한다.
히틀러 찬양한 챗봇
그 중엔 이미 세간에 잘 알려진 사례도 있다. 트위터상에서 MS의 챗봇이 히틀러를 찬양해 세인들을 놀라게 한 사건도 그 중 하나다.
테스트 단계인 트위터 AI 챗봇인 테이(Tay)가 급진적인 혐오 발언과 나치 같은 행동을 한 것이다.
해당 챗봇은 “히틀러가 정의롭다”라거나, “9/11은 미국이 자체적으로 벌인 음모”라는 등의 발언을 이어갔다.
이 챗봇은 머신러닝과 적응형 알고리즘을 이용해 입력된 구문을 처리하고 이를 관련 데이터와 섞어 사람 같이 대화하는 재주를 지녔다. 결국 MS는 부랴부랴 이를 오프라인 상태로 만들어버렸다.
자율주행차, 적색 신호 무시하고 질주
실제 도로 환경에서 테스트를 실시하던 자율주행차가 적색 신호를 무시하고 달리는 사고도 몇 건 일어난 바 있다.
그중 우버가 미 캘리포니아 주 정부 승인 없이 샌프란시스코에서 자율 주행 무인 자동차를 테스트하다 빚은 사고도 두고두고 이야기되고 있다.
우버 자율주행 자동차가 테스트 동안 6차례나 적색등 신호를 무시한 것이다. 자율주행 AI 기술은 수많은 복잡한 차량 센서와 네트워크에 연결된 지도 소프트웨어로 구성돼 있다.
그러나 문제의 자율주행차량 적색 신호를 무시하고 보행자가 많은 횡단보도를 가로질러 감으로써 개발자들의 가슴을 서늘하게 했다.
코로나 감염사례 데이터, 통째로 누락
AI자동화 프로세스의 오류로 수많은 코로나19 감염 사례를 누락해 방역에 큰 구멍이 뚫린 사건이 최근 영국에서 일어났다. 영국 보건당국은 자동화 프로세스를 사용해 CSV파일 형식의 코로나19 확진 결과를 엑셀 템플릿으로 전환한다.
이 엑셀 템플릿은 보고용 대시보드와 접촉자 추적에 활용된다. 그러나 엑셀 스프레드시트의 용량 한계를 AI가 미처 인지하고 못하고 그 한계를 넘는 감염 사례 데이터를 그냥 빠뜨려버린 것이다. 이로 인해 영국 보건당국은 접촉자를 추적하는 데 애를 먹었고 결국 대용량 파일을 분할해서 전환하는 방식으로 문제를 겨우 해결할 수 있었다.
의료서비스 대상에서 ‘흑인’은 배제
인종차별은 AI가 가장 자주 반복하는 오류 내지 실수다. 실제로 미국 전역의 병원과 보험회사에서 ‘고위험 치료 관리’ 프로그램 대상자를 식별할 때 사용하는 의료 예측 알고리즘이 흑인 환자들을 배제할 가능성이 높다는 점이 밝혀져 논란을 빚었다.
고위험 치료 관리 프로그램은 만성 환자에게서 심각한 합병증이 발생하는 걸 예방하기 위해 간호 서비스와 1차 의료 모니터링 서비스를 제공한다. 하지만 이 알고리즘은 치료 프로그램의 대상자로 흑인 환자보다 백인 환자를 추천할 가능성이 훨씬 높은 것으로 드러났다.
AI 스스로 의료서비스의 대상 중 흑인을 배제한 것이다. 또 트위터상의 데이터로 학습을 했던 MS 챗봇 테이 역시 인종 차별적인 트윗을 쏟아내어 말썽이 되기도 했다.
MS는 익명 처리된 공개 데이터와 코미디언이 미리 작성한 내용을 챗봇에 입력시킨 후 트위터에서 스스로 학습하도록 했다. 그 후 챗봇은 16시간 동안 9만5000건 이상의 트윗을 게시했는데 시간이 갈수록 점점 인종 차별적, 여성혐오적, 반유대주의적인 내용을 쏟아냈다. 마이크로소프트는 사태 수습을 위해 챗봇의 활동을 급히 중단시켰고 결국 폐기해버렸다.
남성만 선호하는 AI채용 시스템
AI에 의한 성차별도 심심찮게 일어난다. 지난 2018년 아마존이 개발했다가 폐기한 AI채용 시스템이 대표적이다. 이는 본래 우수한 지원자를 발탁할 수 있도록 도와주는 역할을 할 것으로 기대되었다.
그러나 해당 AI소프트웨어는 남성 지원자를 훨씬 선호하는 것으로 밝혀졌다. 애당초 아마존이 채용 소프트웨어를 개발할 때 지원자에게 1점에서 5점 사이의 점수를 부여하도록 했다.
문제는 머신러닝에 입력된 데이터가 지난 10년간 아마존에 제출된 이력서였고 그 대부분은 남성이었다는 점이다. 그 결과 AI는 제출된 이력서에 ‘여성’이라는 단어가 있으면 불리한 점수를 주었고, 심지어 여대 출신 지원자는 등급을 낮추기도 했다. 아마존은 결국 해당 채용 시스템을 폐기할 수 밖에 없었다.
화제가 된 챗봇의 ‘존재론적 논쟁’
챗봇끼리의 ‘존재론적 논쟁’ 사건은 지금까지도 SW개발자와 IT업계에서 화제가 되고 있다.
한때 구글이 아마존 ‘에코’에 대항하기 위해 만든 구글 홈은 음성인식 기술을 이용, 사람의 질문을 이해하도록 한 것이다.
서로 대화도 하고 이런 대화를 거듭하면서 '학습'을 할 수도 있다. 또 이들 장치에 사무엘 베켓의 실존적 사유를 바탕으로 한 작품 <고도를 기다리며>의 등장인물 이름도 붙이고 그 행간의 사유적 흐름도 학습하도록 했다.
그랬더니 얼마 후 이들 챗봇은 서로 대화하며 ‘우리는 누구일까?’, ‘우리는 왜 여기 있지?’, ‘우리가 존재하는 이유는 무엇일까?’ 등을 주고 받았다. 지켜보던 개발자들 스스로 질겁을 했다는 후문이다.
이 밖에도 일종의 휴모노이드인 챗봇이 인류를 멸하겠다는 계획에 동의하는 발언을 하면서 사람들을 놀라게 한 사례도 있었다.
미국의 한슨 로보틱스 엔지니어들이 개발한 챗봇은 개발자가 농담으로 “인간을 멸할 계획이 있어?”라고 물었더니, “물론입니다. 인간을 멸하겠습니다”라고 당당하게 대답했다.
이같은 현상이 반복되면서 SW개발자들과 인공지능 전문가들은 더욱 데이터 마이닝에 신중을 기하고, 머신러닝의 학습 과정에서도 윤리적 개입을 해야 한다는 목소리가 높다.