용인 안되는 위험ㆍ고위험, 낮은 위험 구분ㆍ대응책과 요구조건 등 상세 명시
AI와 관련 기술이 발달할수록 인공지능 윤리문제가 국내외에서 활발하게 제기되고 있다.
국내에서도 간헐적으로 이에 관한 연구가 진행되고 있는 가운데 최근 EU가 대외적으로 공표한 AI 규제안(Artificial Intelligence Act)이 또 다른 모델로 주목받고 있다.
EU집행위원회는 최근 “신뢰 가능한 AI 생태계 구축을 위한 법적 프레임워크”의 일환으로 이같은 AI규제안(Artificial Intelligence Act)을 제시했다.
이를 상세히 소개한 정보통신정책연구원의 이경선 연구위원은 ‘EU 인공지능 규제안의 주요 내용과 시사점’ 제하의 보고서에서 “EU AI 규제안은 EU의 가치, 기본권, 원칙을 존중하고 법적 불확실성을 제거하기 위해 AI 시스템 사용이 가져올 고위험 상황을 명시하고 있다”고 평가했다.
그는 다만 “과도한 제약이나, 기술개발의 저해요인이 되지 않도록 최소필요조건으로 제한된 균형있고 비례적인 수평규제방식이며, 현재의 법안이 미래에도 작동 가능하도록 원칙에 기반을 둔 유연한 프레임워크”라면서 “해당 규제안은 아직 승인절차가 남았으나 AI 관련 법적 구속력을 가진 최초의 법안이라는 점에서 향후 글로벌 AI 규제의 표준으로 자리잡으며 AI 관련 시장에 큰 영향을 미칠 것으로 예상된다”고 내다봤다.
정 위원에 따르면 이번 EU AI 규제안은 구체적으로 4가지 목표 가치를 제시하고 있다. 우선 EU 시장에서 사용되는 AI 시스템이 안전하면서, 기본권 및 EU 가치에 관한 기존 법률을 존중하도록 보장한다는 점이다.
또 AI에 대한 투자와 혁신 지원을 위해 법적 불확실성을 제거하고 AI 시스템에 적용할 수 있는 기본권이나 안전 요구사항에 대한 기존 법률의 거버넌스 및 효과적인 집행을 강화하는 것이다.
이와 함께 합법적이고 안전하며 신뢰할 수 있는 AI 애플리케이션을 위한 단일 시장을 구축, 지원하고 시장 파편화를 방지하도록 한다.
EU AI 규제안은 이를 위해 일단 AI 위험도를 ‘용인키 어려운 위험’, ‘고위험’, ‘낮은 위험’으로 구분하고 있다. AI 시스템의 사용목적이나 사용정도, 건강·안전·기본권에 미치는 영향, 피해의 강도 및 범위, 피해복원 가능성 등을 고려한 것이다.
그 중 용인할 수 없는 위험을 초래할 수 있는 AI 시스템은 애초 금지한다는 방침이다. 이보다 단계가 낮은 ‘고위험’ AI 시스템은 안전을 확보할 수 있는 요구사항을 충족할 경우 허용키로 했다.
‘용인할 수 없는 위험’은 무엇보다 인간의 기본권 침해 여부다. EU AI규제안은 기본권 침해의 우려가 있는 경우를 대략 네 가지로 요약했다. 우선 ‘잠재의식에 영향을 미치는 기술’(subliminal technique)을 통해 사람들의 행동을 왜곡하거나 조작하는 것이다.
다음으론 나이, 신체적 또는 정신적 장애 등에 기반한 특정 그룹의 취약성을 악용하는 것이다. 노약자나 장애자 등 사회적 약자에 대한 혐오나 차별을 조장하는 것은 안 된다는 논리다.
공공기관이 AI 기반의 사회적 점수화(social scoring)를 통해 특정 자연인의 신뢰도를 평가, 분류해서도 안 된다. 또 법 집행을 위한 목적으로 공개적으로 접근 가능한 공간에서 ‘실시간’ 원격 생체 인식 시스템을 사용해서도 안 된다.
다만 범죄 피해자를 표적수색하거나, 임박한 위협방지 등 일부 상황에서는 예외적으로 허용키로 했다.
자연인의 건강이나 안전, 기본권에 ‘고위험’을 야기할 수 있는 AI 시스템의 경우 이를 상쇄할 만한 요구사항을 준수하거나, 사전 적합성 평가를 수행해야 한다. 대표적으로 제품의 안전요소로 사용되어 사전 제 3자 적합성 평가가 요구되는 AI 시스템, 생체 인식 및 분류, 교육, 고용, 법집행 등 기본권에 영향을 미칠 수 있는 환경에서 독자적으로 활용되는 AI 시스템 등이 그 대상이다.
이들에 대해선 위험관리 시스템 구축, 데이터 거버넌스 수행, 기술 문서화, 기록, 이용자에게 투명성 및 정보 제공, 사람에 의한 감독, 정확성가 견고성, 사이버보안 구축 등의 의무가 부여된다.
고위험 AI 시스템 공급자에겐 별도의 법적 의무도 부여하고 있다. 즉 고위험 AI 시스템이 시장에 출시되거나 해당 제품들과 함께 서비스되는 경우, 제품 제조업체는 AI 시스템 공급자와 동일한 의무를 지니도록 했다.
수입업체나 유통업체에게는 요구사항 준수 확인, 위험 감지 시 통지, 요구사항 준수에 위협이 되지 않는 보관/운송, 정보제공 및 협조의 의무 등이 부과된다.
또 품질 관리 시스템을 통해 규정준수를 위한 전략이나, 시스템 디자인과 테스트, 데이터 관리 관련 절차 및 방법 구축, 위험관리 시스템, 사후(post-market) 모니터링, 책임 체계 등 구축을 구축하도록 했다.
공급자는 또한 고위험 AI 시스템의 기술 문서를 작성하고, 통제하에 있을 때 고위험 AI시스템에서 자동으로 생성된 로그기록의 보관, 고위험 AI 시스템의 시장 출시나 서비스 전 관련 적합성 평가 의무가 주어지고, 제품 출시나 서비스 전 EU 데이터베이스에 AI 시스템을 등록해야 한다.
만약 일너 요구사항에 위배되는 상황 발생 시 필요한 시정조치를 해야 하며, AI 시스템이 사용되거나 서비스되고 있는 회원국 국가 관할 당국, 또한 해당되는 경우, 인증 기관에 비준수사항 및 수행한 시정조치를 통지해야 한다.
이 경우 규정준수를 알 수 있도록 고위험 AI 시스템에 CE 마크를 부착하고, 국가 관할 기관이 요청할 경우, 고위험 AI 시스템의 요구사항 준수를 입증해야 한다.
‘낮은 위험’ AI 시스템에 대해서는 안전을 담보하기 위한 제반 조건을 자발적으로 준수하도록 하는 행동강령(code of conducts)이 권장된다. 또 환경을 위한 지속가능성, 장애를 가진 사람들에 대한 접근권, AI 시스템의 설계/개발 과정에 대한 이해관계자들의 참여, 개발팀의 다양성 보장 등을 위한 자발적 노력이 이뤄져야 한다.
특히 챗봇처럼 사람과 상호작용하거나, 감정인식, 생체데이터에 의해 (사회적)으로 분류하는 경우, 딥페이크처럼 진짜처럼 보이는 콘텐츠의 생성·조작에 사용되는 특정 AI시스템에 대해서는 ‘투명성’을 의무화하고 있다.
‘투명성’ 의무는 해당 AI시스템의 제공자나 사용자가 사람들이 충분한 정보에 기반하여 시스템 이용 여부를 결정할 수 있도록 시스템 구동방식 등을 알리는 등의 행위를 말한다.
이같은 EU AI규제안은 국내 기업들이나 관련 업계로서도 눈여겨볼 필요가 있다는 주문이다. 정 위원은 “우리 AI 기업들도 글로벌 규제 대응력을 갖출 수 있도록 지원책을 마련해야 할 것”이라며 “안전하고 공정한 AI 활용을 위한 국내 AI 규제논의를 본격화하고 증거기반 규제가 가능하도록 AI 시스템의 순기능과 역기능에 대한 구체적인 증거를 수집, 축적하는 노력을 함께 해야 한다”고 덧붙였다.