전체메뉴

[애플경제 이지향 기자] ‘안전한 AI’, ‘신뢰할 수 있는 AI’의 중요성이 커지면서, 이를 위한 ‘AI 신뢰성 인증’ 제도가 새삼 관심을 끌고 있다. 쉽게 말해 여느 KS, KC 제도처럼 AI에 대한 종합적 품질인증인 셈이다. 특히 금년 들어 처음으로 과기부와 정보통신기술협회 등이 인증을 주도함으로써 이에 대한 관심이 높아지고 있다.

이들 기관에 의하면 ‘AI 신뢰성 인증’제도는 국제표준과 디지털 규범에 근거한 것으로 빠르게 변화하는 AI 기술 추이에 맞춘 국내 AI 분야 대표 인증으로 자리매김하고 있다. 앞으론 국내외 시장에서 공신력있는 경쟁력을 갖추려면 ‘AI신뢰성 인증’을 받아야 하는 것이다.

‘AI 모델’과 ‘AI 시스템’이 대상

‘AI 신뢰성 인증’은 ‘AI 모델’과 ‘AI 시스템’을 대상으로 한다. AI 모델을 개발·제공하는 기업은 ‘AI 모델’ 인증을 신청할 수 있다. 또 일반에게 공개된 오픈소스 모델을 추가훈련하거나, 미세조정으로 재구성한 AI 모델도 역시 인증을 받을 수 있다. 많은 국내 기업들의 sLM들도 대상이 될 수 있다는 얘기다.

또 다른 대상인 ‘AI 시스템’ 또는 ‘AI 서비스’는 AI 모델을 바탕으로 한 네트워크, 데이터베이스, 사용자 이용환경 등 AI 관련 하드웨어·소프트웨어 제품들이다. 흔히 외부에서 제공하는 범용 AI 모델을 API 또는 오픈소스 형태로 활용하는 애플리케이션들도 이에 해당한다.

이들에 대한 인증기준의 ‘원칙’은 대략 11가지다. 우선 ▲‘투명성’의 경우 모델·데이터 명세, 벤치마크 결과, AI 생성 콘텐츠 표시 등을 기준으로 한다. ▲‘책무성’의 경우 규제에 기반한 책임성, 합의기반 여부, ▲‘책임성’은 개인정보보호, 학습데이터 출처, 비식별화된 데이터 사용 여부가 기준이며, ▲‘저작권 보호’는 학습데이터 출처, 저작권 확보 여부 등이 기준이다.

또한 인구통계학적 동등성을 내용으로 한 ▲‘공정성’이 있고, 유해한 오용이나, 제어가능성, 안전기능(세이프가드)을 따지는 ‘안전성’이 있다. 또 ▲추적가능성, 즉 데이터 추적가능성, 기록 추적가능성도 기준이며, ▲설명 가능성 혹은 모델 설명력, ▲해석 가능성 결과 해석력도 기준으로 삼는다. 이 밖에 ▲정확성, 안정성, 강건성 등 ‘품질’과 ▲모델 보안, 데이터 보안, 시스템 보안 등 ‘보안’도 기준이다.

정보통신기술협회는 이를 통한 ‘AI 신뢰성 인증’(CAT)에 대해, 국제표준인 ISO/IEC 22989를 인용, ‘AI 시스템의 의사 결정과 활동에 영향을 받는 모든 이해관계자의 기대치를 충족시키는 역량’으로 정의하고 있다. 즉, AI 개발자, 제공자, 사용자가 모두 만족할 수 있는 수준을 충족시키면서, 정확성(Accuracy), 강건성(Robustness), 안정성(Reliability) 등 기술적 가치, 투명성(Transparency), 책무성(Accountability), 공정성(Fairness) 등의 사회적 가치에도 부합되는 역량으로 평가하고 있다.

15가지 구체적 점검 항목 통과해야

이를 좀더 구체적으로 보면 ‘AI 시스템에 대한 위험관리 계획과 수행’을 점검하기 위해 위험관리 요소, 위험관리 계획 및 수행 프로세스가 명확하게 정의돼 있는지를 확인한다. 또 위험 식별, 분석, 평가, 대응 과정이 체계적으로 수행되는지도 확인한다.

AI 거버넌스 체계 구성도 살핀다. 거버넌스 체계가 조직 및 AI 모델·시스템의 범위를 명확히 정의하는지, 운영에 대한 책임과 권한을 명확히 구분하는지를 확인하는 것이다. 또 거버넌스 체계가 조직의 제품 및 서비스를 감시, 관리, 감독하는지, 거버넌스 체계를 지속적으로 평가하고 개선하는지도 점검한다.

또 AI 시스템의 신뢰성 테스트 계획도 점검한다. 즉 테스트를 통해 달성하고자 하는 목표를 명확하게 정의했는지, 테스트 대상이 되는 AI 시스템의 기능과 범위가 명확하게 정의돼 있는지 등이다. 또한 테스트를 수행하는 데 사용할 방법론(평가기준 포함)이 정의돼 있는지와, 테스트를 수행하는 데 필요한 환경과 데이터가 정의돼 있는지 등도 확인한다.

또 AI 시스템의 추적가능성과 변경이력도 중요하다. 이를 위해 데이터 출처 및 변환 과정에 대한 정보가 명확하게 기록돼 있는지, 모델 학습과정 및 알고리즘 변화에 대한 정보가 기록돼 있는지, 체계적인 코드 및 시스템 버전 관리 여부, 지속적인 성능 및 결과에 대한 추적과 분석 여부, 변경 사항에 대한 상세 정보가 정확하게 기록돼 있는지 등을 확인한다. 또한 변경 사항에 대한 승인 및 검증 프로세스가 명확하게 정의돼 있고, 변경 사항에 대한 롤백 및 복구 기능이 정상적으로 작동하는지도 확인한다.

데이터 활용을 위한 상세 정보를 제공하는지도 확인한다. 즉, 메타데이터에 중요 관리정보가 모두 포함돼 있는지, 정제 과정에서의 데이터 특성 변환에 대한 규칙이 명확한지, 민간정보 또는 개인정보에 해당하거나 일부 포함돼 있는지, 데이터 출처(데이터의 원본 제공자 또는 수집 방법)가 명확한지 등이다.

데이터 견고성 확보를 위해 이상 데이터를 점검한다. 즉 데이터 수집 과정에서 발생하는 오류, 누락, 부정확한 값 등에 대한 내부 검증활동, 데이터 최적화 과정에서 발생하는 데이터 변형, 통계적 오류 등에 대한 내부 검증활동 등이 대상이다. 데이터 변조 공격 등을 감지하고 방어하기 위한 수단을 구축했는지도 확인한다.

특히 데이터․모델․시스템 구현 시점 ‘편향’ 제거 주력

수집 및 가공된 학습 데이터의 편향 제거 노력도 중요하다. 학습 데이터의 편향 특성, 유형, 기준이 명확하게 정의돼 있어야 하고, 학습 데이터 수집 및 가공 시 편향 제거를 위한 기술 도입이 적정해야 하며, 데이터 라벨링 작업 지침, 교육, 감독 활동을 이행하고 준수하는지도 중요하다.

또 AI 모델의 편향 제거 노력도 확인한다. 즉 모델의 편향 제거 기법 적용을 위한 분석 내용이 식별됐는지, 편향성 수준에 대한 정량 분석이 가능한지 등이다.

AI 오픈소스 라이브러리의 보안성 및 호환성도 중요하다. 이를 위해 성능, 안정성, 커뮤니티, 문서화 수준 등을 고려한오픈소스 라이브러리 선정 기준, 코드 검사, 취약점 스캔, 침투 테스트 등 보안 취약점에 대한 발견 및 해결 절차 정의, 라이브러리 버전 확인, API 호환성 검증, 성능 테스트 등 호환성 점검결과 등도 확인한다.

AI 모델 공격에 대한 방어 대책 여부도 확인한다. 이를 위해 모델 공격의 영향도를 파악하고 있는지, 가능한 모델의 공격 유형이나, 공격에 대한 방어 대책이 수립되어 있는지 여부를 확인한다.

또한 AI 모델 명세와 추론 결과에 대한 설명 여부도 확인한다. 모델 명세가 구체적이고 충분하며 정확한지, 적용된 설명가능성 기법이 적절한지, 추론 결과에 대한 설명이 이해하기 쉬우며, 신뢰도가 함께 제시되는지 등이다.

이 밖에도 ▲AI 시스템을 ‘구현’할 때 발생할 수 있는 편향을 제거하려는 노력도 중요한 점검 사항이다. 또 ▲AI 시스템의 안전 모드를 구현하고, 문제 발생을 알리는 절차를 두고 있는지도 확인한다. ▲AI 시스템의 설명에 대한 사용자의 이해도를 높이는 노력, ▲ 서비스 제공 범위 및 상호작용 대상에 대한 설명을 제공하고 있는지 여부 등도 점검 대상이다.