알고리즘과 빅 브라더

최근의 일이다. 팬데믹 와중에도 미국 의료보험사들은 백인을 선호하는 것으로 판명된 알고리즘을 통해 사실상의 인종차별을 조장한 것으로 드러났다. 차별과 배제가 데이터 마이닝에 의한 알고리즘 편향에 의해 만연하고 있는 것이다. 실제로 감염병이 만연하는 세상에서 커뮤니티 대시보드는 주변의 환경에 영향을 미치는 개인의 상태를 치밀하게 데이터화하고 있다. 이를 기준으로 개인마다 천차만별인 일상을 제시하고, 그에 따른 데이터 지향적인 정보를 제공하고 있다. 말이 좋아 데이터 지향일뿐, 사실상 편견과 차별의 알고리즘이 판치기 십상이다. 포스트 코로나는 그런 비뚤어진 알고리즘 제국으로 향하지 않을까 걱정된다.

이는 결국 효용 지상주의에서 연유한다. 애초 효용은 목표 달성을 위해서라면, 차별과 차이를 무한 긍정하고, 생산성과 공학적 효율성 자체를 목적으로 한다. 효율은 최적의 균형, 즉 인간과 자연의 최적화에 비중이 실린다. 인간과 자연, 그 중 어느 것이 미래사회의 핵심 알고리즘이 되느냐에 따라 우리 세상은 극과 극의 모습으로 달라질 것이다. 
AI와 머신러닝이 대중화될수록 알고리즘은 이제 인간 세상의 필수품이 될 수 밖에 없다. 애당초 알고리즘은 인간과 자연의 복잡한 현실을, 복잡하지 않게 선형화하고 단순화한 개념이다. 덕분에 카오스적 세상을 계측하는 매뉴얼로 신뢰받고 있다. 인간을 둘러싼 모든 우주적 원리를 연산과 수식으로 객관화한 공식쯤으로 떠받들어지기도 한다. 

알고리즘은 결국 개발자의 ‘뇌’가 어떻게 작동하느냐에 달려있다. 조종석에 앉은 특정 인간의 판단 기준과 가치관의 아바타가 될 수도 있다. 그렇지 않으려면 겸허하게 새로운 데이터를 피드백하며, 양해하고 수정하는 과정을 무한 반복해야 하는데, 그게 말처럼 쉽지 않다. 확증편향(confirmation bias)이 작용하고, 인지부조화를 확신으로 둔갑시키곤 한다. 그래서 객관화된 공식, 즉 공정한 빅데이터로 인간과 세상을 공정히 재단한다는 명제는 현실에선 허구에 가깝다. 그럼에도 오늘날 빅데이터와 알고리즘은 우주와 세상의 셋톱박스로 칭송받고 있다.

그래서 알고리즘 맹신의 세상은 위험하다. 아무리 공정하다고 여겨지는 모형들에도 특정 인간의 특정 의도와 이념이 투영된다. 심지어는 개발자 뜻에 따라 왜곡된 모형이 그대로 통용되고, 신뢰성있는 데이터가 작위적으로 배제되기도 한다. 단지 자신에게 필요한 가정들을 검증없이 재생산하고, 그 가정들을 확인하고 강화하는 데이터만 받아들인다. 그 결과는 추악한 예측모형이다. 제도적 불공평에 의해 강화되며, 송수신하고픈 주파수 대역 이외의 것들은 걸러버리는 불량한 알고리즘만 양산한다.

‘인종차별’의 예를 들어보자. 이는 사람들의 머릿 속에 존재하는 일종의 정신예측 모형(선입견 투성이의 알고리즘)의 결과다. 그 모형은 결함이 많고 불완전하며, 특수함을 일반화한 오류 투성이의 데이터로 만들어진 것이다. 반드시 A=B이며, C, D 등이 결코 될 수 없다는 이분법적 편향으로 가득하다. 데이터 과학자 캐시 오닐의 말처럼 빅데이터와 알고리즘에 의한 ‘대량살상무기’에 다름 아니다. 

이제 ‘포스트 코로나’ 시대엔 감염을 확산시킬 수 있는 모든 것들과 벽을 쌓게 하는 AI 지향적인 솔루션이 삶의 도구가 될 것이다. 팬데믹을 예방하는 근접 센서가 범용화될 것이다. 알고리즘이 ‘뇌’를 형성한 솔루션은 스마트폰과 웨어러블에 내장되어 개인 디지털 비서에게 주변 모든 것에 대한 실시간 판단과 정보를 제공할 것이다. 컴퓨터 비전 애플리케이션은 AI를 사용하여 공공 장소, 직장, 매장 등에서 사람과 환경을 감시하고, 구별하며 차별적 대응을 강요할 것이다. 그런 알고리즘 기반의 실시간 AI 도구들은 모든 것에 대한 타자화와, 차이 아닌 차별을 체질화하는 장치로 작동할 가능성이 크다.

그래서다. 팬데믹 이후를 대비하는 이 즈음, 소위 합당한 디지털 이성이 절실한 시점이다. 그런 이성이 작동하고, 다시 인문학적 알고리즘을 연마해내고, 디지털 만능에 대한 성찰이 필요하다. 디지털화된 사회의 복잡 미묘한 예언과 현상을 읽어내는 혜안이 어느 때보다 절실한 것이다. 그러자면 초연결의 커넥토피아를 교정하고 다시 고쳐쓰는 퇴고(推敲)를 함께 얘기해야 한다. 뭇 알고리즘으로부터 악성 데이터를 솎아내고, 재배열하는 피나는 노력이 있어야 마땅하다. 편견과 차별의 빅 브라더 출현을 막는 길은 그 뿐이다.