‘AI생태계 보안’, AI 시대 최대의 현안으로 부상
LLM 앱 환경의 ‘안전성, 투명성, 위험관리, 신뢰도’ 등 중요 프롬프트 주입 공격, 정보 침해, 사기, 침입, 가용성 저하 등 방지
[애플경제 전윤미 기자] ‘AI 붐’이 지속될수록 AI생태계의 보안도 강조되고 있다. 여느 사이버 보안 문제뿐 아니라, AI 모델 자체로 인한 보안 문제를 안고 있다. LLM을 사용하는 애플리케이션 환경에서는 프롬프트 주입 공격(prompt injection)이나, 정보 수집(information gathering), 사기, 침입, 조작된 콘텐츠, 가용성 저하 등으로 AI모델 자체의 정상적 기능에 문제가 생긴다.
이를 위해 지능정보사회진흥원, 사이버 보안업체 이글루코퍼레이션 등에 의하면 AI보안을 위한 다양한 기술과 방안이 연구되고 있다.
AI 보안 및 안전성 프레임워크 마련
우선 ‘AI 보안과 안전성’을 위해 SAIF, 즉 AI 안전 프레임워크가 있다. AI 시스템의 보안을 중심으로 개발된 프레임워크로 AI가 안전하게 배포되고 실행될 수 있는 보안 구조를 제시하는 것이다. 특히 AI 시스템이 외부 공격, 악의적 조작, 오작동 등에 대응할 수 있는 강력한 방어 매커니즘을 구축하는 것이 목적이다.
또 ‘AI 모델 보안’을 위해 AI 모델이 외부 공격에 노출되지 않도록 보호하는 보안 프로토콜을 강화한다. ‘데이터 보안’을 위해 학습 데이터와 결과 데이터의 무결성과 기밀성을 유지한다 ‘적대적 AI 공격 방어’를 위해 AI 모델을 대상으로 한 적대적 공격(adversarial attacks)을 예방하고 완화한다.
또 AI보안을 위한 제도적 프레임워크 등도 제시된다. AI 보안에 대한 합리적인 규제를 통해 안전한 AI기술 개발과 사용을 보장한다. 또 AI 시스템이 개발될 때부터 보안 요구 사항을 충족할 수 있도록 하는 보안 표준을 마련한다. 정부와 민간 기업이 협력, AI 보안에 대한 공통된 규칙을 만들고, 이를 준수할 수 있도록 정책을 개발한다. AI시스템의 보안에 대한 투명성을 높이고, 감사 및 평가를 통해 보안 수준을 유지한다.
‘AI의 투명성·설명 가능성·윤리’ 강조
AI 투명성 및 설명가능성, 윤리 관점도 중요하다. 이를 위한 투명한 파운데이션 모델도 대안으로 제시된다. 이를 위해 AI 모델의 투명성을 측정하고, 기초 모델의 데이터와 학습 과정에 대한 공개를 촉진한다. 대규모 언어 모델이나 이미지 모델과 같은 기초 AI 모델이 어떻게 학습되고, 어떤 데이터를 사용하는지에 관한 모델 작동 방식이나 투명성에 초점을 둔다.
‘데이터 투명성’도 중요하다. AI 모델이 학습한 데이터의 출처와 내용을 명확하게 공개한다. ‘모델 투명성’도 강조된다. 즉, AI 모델의 내부 작동 메커니즘을 설명할 수 있도록 설계한다. 또한 AI의 예측 결과나 의사 결정 과정이 이해 가능하고 설명 가능해야 한다.
‘AI TRiSM’, 즉 AI 신뢰, 리스크, 보안 매니지먼트도 필요하다. 이는 AI 시스템의 신뢰성, 위험관리 그리고 보안을 강화하기 위한 프레임워크다. AI 모델이 윤리적이고 안전하게 사용되며, 신뢰할 수 있는 결과를 제공하는 것을 목표로 한다.
이를 이해 AI 모델 생성, 배포, 유지관리 과정 신뢰성을 확보한다. AI 사용으로 인한 위험 요소를 식별하고 완화하는 메커니즘도 작동케한다. 또 AI 모델이 해킹, 데이터 변조, 적대적 공격으로부터 보호될 수 있도록 설계한다.
‘FATE’, 즉 AI 시스템에서 공정성, 책임성, 투명성, 그리고 윤리적 문제를 해결하기 위한 접근 방식이 필요하다. 의사결정 과정에서 편향이나 차별을 방지하고, AI 사용의 윤리적 책임을 충족한다.
‘공정성(Fairness)’, 즉 AI 시스템이 특정 인종, 성별, 나이, 사회적 계층 등 편향적이지 않고 공정하게 작동하도록 설계한다. ‘책임성(Accountability)’, 즉 AI 의사결정과 결과에 대한 책임을 명확히 하고 문제 발생 시 추적하고 수정 가능한 메커니즘을 마련한다. ‘투명성’(Transparency), 즉 AI 모델과 데이터 사용의 투명성을 강화해 결과의 신뢰도를 높인다. ‘윤리성(Ethics)’, 즉, AI가 윤리적이고 사회적으로 수용 가능한 방식으로 사용되도록 보장한다.
‘AI 위험 관리 및 거버넌스’ 중요
미 국립표준연구소는 “생성AI로 인해 발생하는 고유한 위험을 식별, 관리하는 AI RMF(AI Risk Management Framework)를 지난 4월 발표했다.
이를 위해 AI 시스템의 설계 및 운영 중 발생할 수 있는 잠재적인 위험 요소를 식별하고, 이러한 위험이 AI 결과에 미칠 영향을 평가했다. 또한 발견된 위험에 대해 적절한 대응책을 마련하고, AI 시스템이 발생할 수 있는 문제에 대비할 수 있도록 지속적으로 조정하고, 업데이트하도록 했다. AI가 법적 규제나 표준을 준수할 수 있도록 보장하며 관련 규제 요건을 준수하지 않을 경우 발생할 수 있는 리스크를 관리한다.
한편 오픈소스웹앱 보안 기구(OWASP)는 “AI 보안에 대한 글로벌 토론의 오픈 소스화를 구성한 ‘OWASP AI Exchange’를 토대로 AI 위협, 취약성 및 제어에 대한 포괄적인 AI 보안 표준 및 규정 개발을 위한 오픈 협업 프로젝트를 진행하고 있다”고 밝혔다.