‘3선 방어 모델’, ‘설명가능한 AI’, ‘서드 파티 위험성 제로화’ 등
지능정보사회진흥원 ‘미 와튼스쿨 백서’ 소개, AI시대의 매뉴얼로 눈길
[애플경제 이보영 기자]
펜실베니아대 와튼스쿨이 작성한 AI위험과 이에 대한 대처 방안을 담은 백서가 새삼 관심을 끌고 있다. 한국지능정보사회진흥원(이하 진흥원)이 이를 소개하면서, AI시대의 부작용과 그 위험성에 대처하는 권위있는 학술기관의 방법론으로 주목의 대상이 되고 있다.
와튼스쿨은 무엇보다 “잠재적 AI 위험을 식별하고 분류하기 위해서는 먼저 AI 시스템에 대한 정의가 필요하며, 식별된 AI 위험의 종류에 따라 다양한 대처방안이 포함된 시스템을 구축해야 한다”고 강조했다. 또 “왜 AI를 활용하고자 하는지, 이를 사용하는 환경은 어떤지, 기술 수준은 어느 정도인지 등에 관한 명확한 정의와 기준이 필요하다”면서 “예상되는 AI 위험을 식별하고 분류한 ‘AI 위험 체계’에 따라 AI 위험의 발생원인이나 빈도, 크기 등을 고려하여 다양한 대처방안을 활용할 수 있어야 한다”고 밝혔다.
와튼스쿨은 또 ‘AI의 위험’을 그 특성에 따라 몇 가지로 분류했다. 이에 따르면 우선 AI로 인해 발생하는 위험은 △AI 시스템 자체에서 발생하는 위험, △AI 시스템 사용에 따른 위험, △AI 시스템 관리로 인한 위험으로 나눌 수 있다. 이를 다시 구체적으로 세분화하면, 데이터 관련 위험과 AI 및 머신러닝 공격 위험, 테스트와 신뢰 관련 위험 등 3가지로 구분된다.
그 중 ‘데이터 관련 위험’은 AI 시스템에 대한 관리 시스템이 적절하지 않다보니 데이터 품질 문제 등이 생기는 것이다. 또 AI 및 머신러닝 공격 위험은 모델 추출 과정에서 문제점이 생기는 것이다. ‘테스트와 신뢰 관련 위험’의 경우는 AI 시스템이 시간이 갈수록 학습‧진화하면서 복잡성이 증가하기 때문에, 초기 개발‧변경 사항이 성능에 큰 영향을 미칠 수 있는 것이다. 특히 왓튼 스쿨은 ‘정책 미준수에 따른 위험’도 제시했다. 세계 각국은 기존 정책에 AI가 미치는 영향을 고려하고 이에 따른 지침, 백서 등을 발표하고 있으나, 정작 관련 정책을 준수하는 AI 시스템 개발이 필요하다는 주문이다.
이런 위험에 대처하기 위해 왓튼스쿨은 나름의 대응방안을 권고하고 있다. 우선 위험 관리를 위한 모니터링과 감독 기능을 강조했다. 즉 조직이든 기업이든 중앙 모니터링과 직속 보고 체계가 필수적임을 강조하는 한편, “여러 사람의 개입을 최소화하면 정확성, 일관성, 효율성이 향상되면서 AI위험을 최소화할 수 있다”고 했다.
또 타사 즉 서드파티의 위험성도 대비할 것을 주문했다. 즉 “특히 AI나 ML 시스템에 서드파티 애플리케이션 또는 데이터가 포함될 때, 타사위험관리(TPRM)를 강화해 사전 테스트를 할 필요가 있다”는 권고다. 실제로 타사의 클라우드 기반 서비스 사용에 따른 정보보안 문제나, 기술 종속 문제 등이 흔히 발생하고 있는게 최근의 상황이다.
와튼스쿨은 특히 기업이나 조직의 경우 ‘3선방어’ 전략을 통해 AI위험을 방비하거나, 제거할 것을 제안하고 있다. 이른바 ‘3선 방어 모델’이 그것이다. 와튼스쿨운 백서를 통해 “이는 조직이 효과적으로 리스크를 관리‧통제하기 위해 관련 활동을 분담하는 모델”이라며 “관리부서(1선, 일상업무 부서), 경영진이 리스크를 식별‧이해하도록 도와주는 부서(2선, 법무, 정보보안 부서 등), 독립적인 내부 감사 부서(3선)로 구성되어야 한다”고 설명했다. 그래서 “이런 ‘3선 방어’모델에 따라, 이에 해당하는 모든 그룹(2차, 2차)은 1차 방어조직과 같은 수준으로 AI 시스템에 대한 전문지식을 갖춰야 한다”고 건의했다.
이 밖에도 기업이나 조직에선 ‘AI윤리검토위원회’와 같은 기구를 설치, AI 시스템과 관련한 내부조직의 역할과 책임을 논의할 필요가 있다는 주장이다. 그렇지 못할 경우 “편향된 AI 시스템으로 인해 규제 위반, 잠재적 소송 및 평판 위험으로 이어질 수 있다”고 경고했다. 실제로 데이터로 인한 차별, 즉 “데이터를 통해 특정 계층을 식별 가능한 경우, 보호가 필요한 계층이 보호받지 못하는 등 차등적 대우와 차별을 받을 수 있다”고 우려했다.
와튼 백서는 결론적으로 AI알고리즘이 저지르기 쉬운 ‘차별’을 극복하는 최적 시스템을 구현할 것을 강조했다. 특히 “AI 시스템에 대한 해석가능성, 설명가능성을 높여 그로 인한 위험을 최소화해야 한다”면서 “그런 점에서 늘 ‘설명 가능한 AI’가 실용화될 수 있도록 노력해야 할 것”을 주문했다.