적대적 위험, AI 자산관리, 보안교육, 법적 문제 등
“LLM 앱의 취약점 이해, 효율적 대응책 마련 위해 필수”
[애플경제 김예지 기자] 생성AI가 대중화되면서, 기업이나 조직으로선 LLM이 이젠 필요 불가결한 업무 수단이 되고 있다. 그러나 이를 도입하는 과정에선 반드시 유념해야 할 조건이 있다는게 전문가들의 조언이다.
특히 웹 앱 보안을 추구하는 비영리단체 OWASP(P(Open Web Application Security Project)는 LLM 기반의 애플리케이션을 개발, 사용하는 기업이 제대로 그 취약점을 이해하고, 구축해야 할 사이버 보안 체크리스트를 공개한 바 있다.
이를 다시 인용한 윤대균 아주대 교수는 “이는 LLM 관련 보안 위험을 식별하고 평가하는 체계적인 방법과, AI 거버넌스 프레임워크 구축을 위한 지침, LLM 구현과 운영 과정에서 고려해야 할 핵심 보안 사항, 관련 법적, 윤리적 문제에 대한 인식 등을 골자로 한다”고 밝혔다. 한국지능정보사회진흥원 이슈 리포트를 통해 이에 관한 내용을 다시 분석, 소개한 윤 교수는 “해당 체크리스트는 기업이 LLM 기술을 안전하고 책임감 있게 도입, 혁신을 추구하면서도 잠재적 위험을 최소화할 수 있도록 돕는 것을 목표로 한다”고 의미를 부여했다.
OWASP 제시한 13가지 체크리스트
이에 따르면 OWASP 체크리스트는 모두 13가지다. 그 중 제일 먼저 ‘적대적 위험’ (Adversarial Risk)의 경우 경쟁자나 공격자가 LLM을 ‘악용’함으로써 발생할 수 있는 위험을 지적한 것이다. 즉, 경쟁자나 잠재적인 공격자들이 AI를 어떻게 활용하는지 늘 주시하고 있어야 한다는 얘기다. “LLM이 어떻게 경쟁적 또는 악의적 공격의 대상이 될 수 있는지 분석하고, 대비책을 마련하는 것”이 골자다.
다음으론 ‘위협 모델링’(Threat Modeling)이다. 즉, LLM을 도입, 운영하는 과정에서 발생할 수 있는 잠재적 위협을 체계적으로 식별하고 평가하는 방법론을 말한다. 즉 “가능한 포괄적인 보안 위협 시나리오와, LLM이 제공하는 서비스와 데이터 흐름을 분석해 사전에 보안 통제를 강화하는 것”으로서 “이를 통해 LLM이 직면할 수 있는 다양한 공격 벡터와 위험 요소를 사전에 파악, 방어 전략을 수립할 수 있다”는 것이다.
‘AI 자산관리’도 주요 점검 대상이다. 즉 회사 안 또는 외부에서 생성된 조직 내의 모든 AI 관련 자산을 체계적으로 관리하는 것이다. LLM을 포함한 AI 모델이나, 데이터 소스, 툴, 그리고 이들의 소유자와 상태를 종합적으로 관리하는 프로세스를 구축, AI 자산 현황을 명확히 파악하고, 필요한 경우 적절한 보호 조치를 취할 수 있다. 예를 들어 SBOM(Software Bill of Material) 표준이나 활용도 여기에 포함된다.
‘AI 보안이나 프라이버시 교육’도 중요하다. 모든 직원이 LLM과 관련된 보안 위험과 프라이버시 문제를 이해하고, 이에 대한 대응 방법을 숙지해야 한다. AI 기술의 기본 원리, 보안 인식, 개인정보 보호법 준수, 그리고 LLM의 윤리적 사용에 관한 교육이 이뤄져야 한다.
LLM 도입에 의한 ‘비즈니스 목표와 계획’을 수립하는 것도 중요하다. 이를 통해 LLM 도입의 타당성을 평가하고, 비즈니스 목표를 달성하기 위한 계획을 세우는 과정이다. LLM이 제공하는 경제적 가치, 예상 비용, 리스크, 투자 수익률 평가 등이 포함된다. “이를 통해 조직은 LLM의 도입이 실제로 비즈니스에 어떤 긍정적인 영향을 미칠지 명확히 이해하고, 전략적으로 접근할 수 있다”는 것이다.
‘거버넌스’도 중요 점검 사항이다. 즉, LLM 사용과 관련된 모든 활동을 관리, 감독하는 체계적인 절차를 구축하는 것이다. 데이터 관리, AI 시스템의 책임 및 권한 분배, 정책 수립, 그리고 법적 및 규제적 요구사항을 준수하는 것 등이다. “이를 통해 LM 사용의 투명성을 보장하고, 법적, 윤리적 문제를 예방할 수 있다”는 설명이다.
‘법적 고려 사항’도 반드시 챙겨봐야 한다. 즉, LLM의 사용과 관련된 법적 위험을 식별하고, 이에 대한 대응 방안을 마련하는 것이다. 제품 보증, 이용 약관, 지식재산권 보호, 개인정보 보호 규정 준수, 책임 소재 명확화 등이 포함된다. 이를 통해 조직은 법적 분쟁을 예방하고, LLM 사용과 관련된 법적 책임을 명확히 할 수 있다.
규제 준수 여부도 LLM 도입의 중요 조건이다. 즉, LLM 사용과 관련된 모든 법적 및 규제적 요구사항을 충족하는 것을 의미한다. 이는 국가나 지역별로 다른 AI 관련 법률과 규정을 준수해야 하며, 데이터 보호법, 개인정보 보호법, 그리고 AI 시스템의 투명성 및 윤리적 사용을 보장하는 규제를 포함한다. “이를 통해 조직은 법적 리스크를 최소화하고, 규제 기관의 요구에 맞는 AI 시스템을 운영할 수 있다”는 것이다.
LLM 사용과 구현 범위, 모듈․리스크 카드 등
‘LLM 솔루션 사용과 구현’의 범위를 확정해야 한다. LLM을 조직의 인프라에 통합하고 운영하는 과정 전반에 관한 것이다. 즉 LLM의 배포, 데이터 보안, 접근 제어, 모델 유지 보수, 그리고 성능 최적화 등을 포함한다.
LLM의 테스트, 평가, 검증, 확인도 중요하다. LLM의 기능성과 보안성을 검증하기 위한 전반적인 테스트 및 평가 과정이기도 하다. 모델의 성능 평가, 보안 취약점 테스트, 데이터 무결성 검증, 그리고 결과의 일관성 평가 등을 포함한다. 그래서 “LLM이 예상대로 동작하고, 보안 기준을 충족하는지를 기업이 확인할 수 있다”는 것이다.
모델 카드나 리스크 카드(Model Cards and Risk Cards)를 만들 필요도 있다. 이는 LLM의 투명성과 신뢰성을 보장하기 위한 도구다. 모델 카드는 LLM의 설계, 데이터, 성능, 편향성, 그리고 사용 제한 사항을 문서로 만든 것이다. 리스크 카드는 모델을 사용하는 과정에서 발생할 수 있는 잠재적 위험 요소와, 이를 완화할 수 있는 전략을 기술한 문서다.
RAG, 즉 LLM 최적화도 중요하다. LLM 도입 후 성능을 개선하고, 특정 도메인이나 사용 사례에 맞게 모델을 튜닝하는 과정이다. 모델의 정확도를 높이고, 응답 시간을 단축하며, 리소스 사용을 효율화하는 등의 과정을 포함한다. 이를 통해 조직은 LLM의 활용도를 극대화하고, 비즈니스 요구에 맞는 최적의 성능을 달성할 수 있다. “예를 들어 검색 증강 생성(RAG)을 통해 새로운 정보를 업데이트 함으로써 지속적인 모델 학습을 지원할 수 있다”는 것이다.
‘AI 레드팀 훈련’도 필요하다. 이는 LLM의 보안성을 평가하기 위해 공격 시나리오를 시뮬레이션하고, 잠재적인 보안 취약점을 탐지하는 것이다. 실제로 공격자가 시스템을 어떻게 공격할 수 있는지를 파악하고, 보안 방어 체계를 강화하도록 한다 이를 통해 LLM의 보안성을 지속해서 평가하고, 개선할 수 있다.