전체메뉴

[애플경제 전윤미 기자] 생성AI 등의 환각이나 오류 등 역기능에 대한 우려가 높다. 이에 각국 정부나 글로벌 기업들은 나름의 윤리적 AI 기술과 정책을 개발하고 있다. 전문가들은 AI 기술발전을 통한 시스템 성능 향상 뿐 아니라, AI 윤리를 담보하기 위한 기술 개발도 가속화되고 있다고 본다. 실제로 가트너는 AI윤리 기술, 즉 “(리스판서블 AI)‘responsible AI’ 기술이 5~10년 내 주류가 되어 기술의 정점에 진입할 것”이라고 예상하기도 했다.

‘responsible AI’ 기술은 AI 시스템을 안전하고, 신뢰할 수 있으며 윤리적 방식으로 평가･개발･배포하는 접근방식이다.

과학기술기획평가원은 “AI 안전성이나 신뢰성에 대한 상세 규정은 아직 미흡하지만, 글로벌 빅테크 기업들은 나름대로 안전하고, 신뢰할 수 있는 AI 시스템, 즉 ‘Responsible AI’ 툴킷(Toolkit)들을 개발, 공개하고 있다”고 전했다. 이는 ‘responsible AI’를 실제로 운영하기 위한 통합 도구나 기능을 모아놓은 것이다.

아마존, ‘책임지는 AI’를 대원칙으로

이에 따르면 우선 아마존은 기초 모델 평가를 비롯, 생성AI 안전 장치, 편향 감지 도구, 모델 동작 원리 이해 도구, 모니터링 도구, 거버넌스 개선 도구 등 ‘responsible AI’를 구축하기 위한 기술을 제시하고 있다.

그 중 ‘Model Evaluation on Amazon Bedrock’은 사용자가 정확성, 안전성 등의 지표를 기반으로 특정 사용 사례에 가장 적합한 기초모델을 평가, 비교, 선택할 수 있도록 하는 것이다. ‘Bedrock Guardrails’은 사용자가 생성AI 앱에서 피해야 할 주제를 지정, 제한된 카테고리에 속하는 쿼리나 응답을 자동으로 감지하고 방지하도록 한다. 또 ‘아마존 세이지메이커 클레이파이’는 데이터 준비 단계나, 모델 훈련 이후 단계, 그리고 배포된 모델에서 특정 속성의 잠재적 편향을 감지함으로써 편향성을 완화하도록 한다.

‘아마존 세이지메이커 모델 모니터’는 배포된 모델에서 부정확한 예측을 자동으로 감지, 사용자에게 경고하는 것이다. ‘아마존 타이탄 이미지 제네레이터’는 생성형 이미지를 제공하는 프로그램이다. 부적절한 사용자 입력이나 모델 출력을 감지, 제거하는 필터링 기능을 구축한다. 또 ‘ML Governance from Amazon SageMaker’는 기계학습(ML) 모델에 대한 보다 높은 수준의 제어나 가시성을 제공, ML 프로젝트의 거버넌스를 개선토록 한다.

구글, ML모델 투명성, 거버넌스 강화 기술

구글도 나름의 모델 투명성을 높이는 기술을 공개하고 있다. 즉 ‘설명 가능한 AI’(Explainable AI)를 비롯, ‘Model Cards’, ‘텐서플로우 오픈 소스 툴킷’ 등이다. 이들은 대체로 ‘구조화된 방식’으로 모델의 투명성을 기하도록 하는 것이다.

‘설명 가능한 AI’는 ML 모델의 결과를 파악하고 해석할 수 있는 도구다. 해석 가능하고 포괄적인 AI 설계를 지원하고, 최종 사용자의 신뢰도나 투명성을 높이면서 모델 거버넌스를 간소화하도록 한다. 또 ‘Model Cards’는 ML 모델의 투명성과 책임성 향상을 위한 도구다. 모델의 목적, 설계, 훈련 데이터, 성능, 편향 등에 대한 정보를 제공, 사용자가 모델의 잠재적 한계를 파악해 이를 책임감 있게 사용하도록 하는 것이다.

특히 ‘텐서플로우 오픈 소스 툴킷’은 이들 툴킷을 통합한 것이기도 하다. 통합을 통해 데이터의 공정성을 기하고, 공정한 결과를 얻기 위한 ML 모델 학습이 가능하게 한다. 또 개인 정보보호를 준수하는 ML 모델 학습, 공정성 지표 등을 통한 ML 모델 평가, 해석 가능하고 포용적인 ML 모델 개발 등이 총체적으로 가능하게 하는 것이다.

‘Vertex Explainable AI’도 있다. 이는 개발자와 사용자가 ML 모델의 예측을 이해하고 해석할 수 하는 ‘Google 클라우드 AI 플랫폼’(Vertex AI)의 도구 및 프레임워크다.

MS, 모델 디버깅, 책임 있는 의사 결정 지원

마이크로소프트(MS)도 ‘Responsible AI’ 대시보드를 개발, 배포하고 있다. 이는 데이터 과학자가 AI를 공정성, 투명성, 책임성 원칙에 따라 책임 있게 운영할 수 있도록 모델 디버깅을 하거나, 책임 있는 의사 결정을 할 수 있게 한다. 즉, 데이터 세트 분산 및 통계를 이해하고 탐색하거나, 모델 성능 평가와 모델의 그룹 공정성 문제를 평가할 수 있게 한다.

‘Error analysis 패키지’의 경우 잘못된 데이터 코호트를 신속하게 식별, ML 실무자에게 모델 실패 분포에 대한 상세한 정보를 제공하는 것이다. ‘InterpretML 패키지’는 ML 모델의 예측에 대해 인간이 이해할 수 있는 설명을 생성, 모델을 심층 진단할 수 있게 한다.

역시 ML모델을 조율하는 ‘Counterfactual Analysis and What-If’ 기술도 있다. 이는 작업 입력사항을 변경할 때 모델이 무엇을 예측할지 설명하게 한다. 그래서 사용자가 ML 모델이 입력 변경에 어떻게 반응하는지 이해하고, 디버깅할 수 있도록 하는 것이다.

IBM, 자동화, 모니터링, 캡처, 협업으로 AI 책임성 높여

IBM은 ‘watsonx.governance’와 개별 도구들을 통해 AI 모델 책임성, 투명성, 설명 가능성을 구현한다. 즉, 자동화, 모니터링, 캡처, 협업 기능을 가능하게 함으로써 AI의 책임성을 높이는 것이다.

그중 ‘자동화’의 경우 운영 리스크, 정책, 규정, 재무 관리, IT 거버넌스, 내/외부 감사를 모두 자동화된 확장형 거버넌스로 이행하는 것이다. 특히 “위험 및 규정 준수(GRC) 도구로 모델 위험을 사전에 감지 및 완화하고, AI 규정을 시행 가능한 정책으로 변환해 자동으로 적용되도록 한다”는 설명이다. ‘모니터링’은 AI 수명주기 전반에 걸쳐 모델을 모니터링, 분류, 제어함하는 것이다. 이를 통해 편향성을 제거하고, 드리프트 및 모델 재교육의 필요성을 미리 식별하도록 한다.

‘캡처’ 기능은 모델 검증자와 승인자가 팩트 시트에 액세스, 모델 라이프사이클 세부 정보를 항상 최신 상태에서 확인할 수 있도록 하는 것이다. 이를 통해 설명 가능성을 높이고 감사, 이해관계자, 주주 또는 고객 요청에 부응할 수 있게 한다.

‘협업’은 협업 도구와 사용자 기반 동적 대시보드, 차트나 차원별 보고를 지원하는 것이다. 그래서 프로세스에 대한 가시성을 높이고, ‘설명 가능한 AI’ 성능을 향상시킨다.

IBM은 또 ‘AI Privacy 360’을 개발, AI 기반 솔루션의 개인 정보 보호 위험도를 평가하고, 관련된 개인정보 호 요구사항을 준수하도록 한다. 개발자와 연구자가 회피, 중독, 추출 및 추론과 같은 적대적 위협으로부터 ML 모델과 애플리케이션을 평가･방어할 수 있는 ‘AI Adversarial Robustness 360’도 있다.

‘AI Fairness 360’의 경우는 데이터 세트와 ML 모델에서 원치 않는 편향을 제거한다. 또 편향을 완화하는 최첨단 알고리즘을 확인하는 포괄적인 오픈소스 측정항목 도구다. ‘AI Explainability 360’은 ML 모델이 AI앱 수명 주기 전반에 걸쳐 레이블을 예측하는 방법을 이해하도록 한다.

‘Uncertainty Quantification 360’는 AI가 불확실성을 표현할 수 있는 기능을 제공, AI의 안전한 배포와 사용에 중요한 투명성을 강화하는 것이다. ‘AI FactSheets 360’은 AI 모델이나 서비스의 생성･배포에 관한 관련 정보 모음을 제공, 모델의 투명성을 강화한다.

메타, AI모델의 공정성 평가, 통계적 이해 지원

메타도 ‘FACET’나 ‘Fairness Flow’ 등과 같은 도구를 개발, 적용하고 있다. ‘FACET’는 사진이나 동영상의 사물과 사람을 분류, 감지하는 과정에서 AI 모델의 공정성을 평가하는 도구다. 이를 위해 인간이 라벨링한 5만명의 이미지 3만2천개로 구성된 데이터셋을 구축했다. 이를 통해 AI 모델의 잠재적 편견을 심층적으로 조사하기 위한 다양한 인구통계학적 속성, 직업, 활동을 다룬다. 그 결과 개발자가 AI 모델의 편견을 이해･완화하도록 하는 것이다.

메타는 또 벤치마크 도구와 잠재적인 통계 편향에 대한 측정값을 조기에 체계적으로 표면화하는 ‘Fairness Flow’ 도구를 개발했다. 이는 그룹별 라벨링과, 모델 성능에 대한 높은 수준의 통계적 이해를 제공한다. 이를 통해 분석할 수 있는 모델 유형과 시스템, 프로세스, 정책에 대한 심층 조사를 가능하게 한다.