AI사이버 공격, 시스템 장애, 데이터 취약성 방지 등 13개 항목
“세계 각국 참조 및 준수 필요”…각국별 ‘강령’ 벤치마킹 대상
[애플경제 이지향 기자] 영국이 세계 최초로 IT산업 종사자나, 모든 기업과 조직의 IT관련 업무 종사자들을 위한 ‘사이버행동 강령’로 발표, 관심을 끌고 있다. 이는 특히 AI 개발 기업을 위한 세계 최초 ‘사이버 행동 강령’이란 점에서 의미가 크다. 비단 영국 뿐 아니라, 세계 각국의 IT 및 AI관련 기업들은 이를 충실히 이행할 필요가 있다는 조언이다. 또 각국별 ‘사이버행동’ 강령의 벤치마크 대상이 될 전망이다.
‘사이버행동강령’은 또 ‘AI 보안 위협 및 위험에 대한 인식 제고’나 ‘보안, 기능 및 성능을 위한 AI 시스템 설계 의무’ 등 13가지 대원칙을 선언하고 있다. AI 시스템을 생성, 배포 또는 관리하는 개발자, 시스템 운영자 및 조직이 그 대상이다. “AI 기반 사이버 공격, 시스템 장애 및 데이터 취약성과 같은 위험을 완화하도록 설계할 필요가 있다”는 취지다. 이는 다만 모델이나 구성 요소만 판매하는 AI 공급업체는 해당되지 않는다.
원칙, 적용대상, 예시 및 권장사항별 구분
일단 ‘사이버행동강령’은 ‘원칙’과 ‘주요 적용 대상’, ‘예시 및 권장 사항’으로 구분해 13가지 사항을 명시하고 있다.
이에 따르면 우선 ▲AI 보안 위협 및 위험에 대한 인식 제고를 강조하고 있다. 시스템 운영자, 개발자 및 데이터 관리자 등이 대상이며, AI 보안 위험에 대한 직원 교육 및 새로운 위협에 대응할 교육을 늘 새로 실시해야 한다.
다음으로 ▲보안, 기능 및 성능을 위해 AI 시스템 설계도 중요하다. 시스템 운영자 및 개발자들은 AI 시스템을 개발하기 전에 보안 위험을 평가하고 완화하는 전략을 문서화해야 한다고 권했다.
세 번째로 ▲AI 시스템에 대한 위협을 평가하고 위험을 관리할 필요가 있다. 시스템 운영자 및 개발자들은 ‘데이터 포이즈닝’과 같은 AI 관련 공격을 정기적으로 평가, 위험을 관리해야 한다. 또한 ▲AI 시스템에 대한 인간의 책임도 활성화하도록 했다. 시스템 운영자 및 개발자들은 이를 위해 AI에 의한 결정이 설명 가능하고 사용자가 책임을 이해하도록 보장해야 한다.
▲자산 식별, 추적 및 보호도 중요하다. 시스템 운영자, 개발자 및 데이터 관리자들은 AI 구성 요소 인벤토리를 유지하고 민감한 데이터를 보호해야 한다.
또한 ▲인프라 보안도 강조했다. 시스템 운영자 및 개발자들은 AI 모델에 대한 액세스 제한 및 API 보안을 위한 제어를 적용해야 한다. 다음으로 ▲공급망 보안도 중요하다. 시스템 운영자, 개발자 및 데이터 관리자들은 문서화되지 않았거나 보안이 취약한 모델을 적용하기 전에 위험 평가를 수행해야 한다. 합니다.
특히 ▲데이터, 모델 및 프롬프트를 문서화하는 것도 중요하다. 개발자들은 다른 이해 관계자에게 공개된 모델 구성 요소에 대한 암호화 해시를 릴리스, 그 진위 여부를 확인할 수 있도록 해야 한다.
AI모델에 대한 ▲적절한 테스트 및 평가가 수행되어야 한다. 시스템 운영자 및 개발자들은 모델 또는 교육 데이터의 비공개 측면을 ‘리버스 엔지니어링’할 수 없도록 해야 한다.
또한 ▲최종 사용자나 영향을 받는 대상과 관련된 커뮤니케이션 및 프로세스도 중요하다. 이를 위해 시스템 운영자 및 개발자들은 최종 사용자에게 데이터가 어디에서 어떻게 사용, 액세스 및 저장되는지 알릴 필요가 있다. 이와 함께 ▲정기적인 보안 업데이트, 패치 및 완화책도 필요하다. 시스템 운영자 및 개발자들은 보안 업데이트 및 패치를 제공하고, 시스템 운영자에게 업데이트를 알려야 한다.
▲시스템 동작도 항상 모니터링해야 한다. 시스템 운영자 및 개발자들은 AI 시스템 로그를 지속적으로 분석하여 이상 및 보안 위험에 대비하는게 중요하다. 이 밖에 ▲적절한 데이터와 함께 모델 폐기를 보장해야 한다. 시스템 운영자 및 개발자들은 이를 위해 소유권을 이전하거나 공유한 후, 교육 데이터 또는 모델을 안전하게 폐기하도록 한다.
이를 발표한 영국 과학기술부튼 “해킹 및 방해 행위로부터 AI 시스템을 보호하는 것부터 안전한 방식으로 개발 및 배포되도록 하는 것까지 망라하고 있다”면서 “이들 규정은 개발자가 성장을 주도하는 안전하고 혁신적인 AI 제품을 구축하는 데 도움이 될 것”이라고 취지를 밝혔다.
英, ‘사이버보안 인력 국제연합’도 결성
영국은 이 규정 외에도 캐나다, 두바이, 가나, 일본, 싱가포르와 협력, 새로운 ‘사이버 보안 인력 국제 연합’도 출범시켰다. 이 연합은 사이버 보안 기술 격차를 해소하기 위해 함께 노력하기로 합의했다. 또 “연합 회원들은 사이버 보안 인력 개발에 대한 접근 방식을 조정하고, 공통 용어를 채택하며, 모범 사례와 과제를 공유하고, 지속적인 대화를 유지하기로 약속했다”면서 “특히 여성이 사이버 보안 전문가의 4분의 1에 불과하기 때문에 개선할 필요가 있다”고 지적했다.