전체메뉴

[애플경제 김향자 기자] 생성AI가 산업계에 빠르게 보급되면서, AI 보안 도구나 오류를 방지하기 위한 기술 투자도 급증하고 있다. 앞서 삼성, SK 등 국내 대기업들은 물론, 애플 등 해외 빅테크들도 생성 AI로 인한 보안 문제에 대응하기 위한 투자를 하거나, 아예 도입 자체를 꺼리기도 한다.

실제로 생성AI는 민감한 데이터를 클라우드로 전송하는 과정에서 보안 허점이나 데이터 유출의 위험성이 크다는 지적은 끊이지 않고 있다. 최근엔 이를 방지하기 위한 방안으로 ‘모델옵스’(ModelOps)나 개인정보 보호 강화 기술(PET)가 주목받고 있다.

경영진들, 생성AI에 대한 열정만큼이나 우려도 커

이들 보안 도구는 생성AI가 필요하긴 하지만, 보안 문제나 출력의 오류 등을 방지해야 하는 모순 속에 등장한 것이다.

최근 가트너가 실시한 조사에 따르면 생성 AI를 채택한 기업이나 조직의 3분의 1 이상(34%)이 데이터 유출과 같은 사이버 위험을 방지하기 위해 이미 AI 애플리케이션 보안 솔루션에 투자하고 있는 것으로 나타났다.

특히 가트너의 새로운 보고서에 따르면 이같은 상황에서 많은 기업이나 기관은 애플리케이션 보안 솔루션 외에도 ‘개인정보 보호 강화 기술’(PET)이나, ‘AI 모델과 운영 통합’(ModelOps), 모델 모니터링 등의 방안으로 대처하는 경향이 늘어나고 있다. 이에 대한 투자를 실행하거나 계획하는 경우도 많다.

이를 통해 경영진들은 생성AI에 대한 열정과는 별개로, 그로 인한 부정확하고 유해한 출력을 방지하고, 독점 정보가 공용 AI 서비스를 통해 유출될 가능성을 방지하기 위한 백업 옵션을 도입하기 위한 노력을 기울이고 있다. 이는 국내외를 막론하고 공통적인 현상으로 파악된다.

특히 가트너의 설문조사에 참여한 응답자 중 57%는 “AI 생성 코드에서 민감한 데이터가 유출될 가능성”을 우려했고, 58%는 “잘못된 출력이나 편향을 보이는 모델”을 가장 우려했다.

‘애저 오픈AI’ 등 공용 AI 옵션에 대한 ‘불신’ 강해

가트너는 “많은 기업들은 생성 AI로 인해 데이터나 개인 정보가 침해당할 위험에 대해 매우 우려하고 있다”면서 “특히 ‘애저 오픈AI’와 같은 공용 AI 옵션에 대해선 거의 실현이 불가능할 정도의 보안 조치나 신뢰를 기업체들이 요구하고 있는 실정”이라고 전했다.

이들 기업은 실제로 “뭘 믿고 오픈AI나 구글, 마이크로소프트에게 우리의 데이터를 노출할 것인가”라거나, “(제공된 데이터를 두고 이들 빅테크가) 공유하지 않는다거나, 모델 개선이나 교육용으로 사용하지 않는다는 말을 어떻게 믿나”며 의구심을 감추지 못하고 있다. 만약 데이터가 유출되거나, 손상되면 책임질 것이냐는 얘기다.

물론 이전에도 SaaS나 클라우드 애플리케이션의 경우도 이런 문제가 계속 제기되어 왔다. 그러나 LLM은 그 정도를 뛰어넘는 위험 수준이란 것이다. “모델 내부에서 무슨 일이 벌어지고 있는지 아무도 모르기 때문에 더욱 불신과 경계심이 높아지고 있다”는 가트너의 분석이다.

이에 가트너는 “기업으로선 자사의 데이터가 유출되거나, 생성AI의 다른 모델을 훈련하는 데 사용되는 것을 원치않을 경우, 온프레미스 AI 모델을 실행할 수도 있다”고 권했다. 즉, “제3자 환경에서 데이터가 침해되는 것을 막을 수 있는 유일한 방법은 제3자 환경을 사용하지 않는 것”이라며 “자신만의 모델을 사용하고, 오픈 소스 모델을 다운로드하고, 직접 호스팅하면 된다.”는 것이다.

그러나 그건 이상일뿐 현실의 벽은 높다. “대부분의 기업은 이를 위한 자원을 갖고 있지 않다.”는 지적이다.

ML, 모델링 감시 자동화, 타사 생성모델에 이용 차단

그래서 유용한 방법인 ‘ModelOps’다. 이는 기업이 기계 학습(ML) 또는 AI 모델에 대한 감독을 자동화하여 운영 효율성과 안전 기대치를 준수하는지 여부를 측정하는 것으로 데브옵스(DevOps)와 유사한 거버넌스 방법이다.

개인정보호기술, 즉 ‘PET’도 한 방법이다. 암호화를 통해 사용 중 데이터가 노출되지 않도록 보호하며, 데이터를 불필요하게 노출하지 않게 함으로써 자사 데이터가 타사 생성 AI 모델을 훈련하는 데 사용할 수 없도록 한다.

또한 PET를 사용하면 AI 또는 ML 모델을 암호화하여 사이버 공격자가 민감한 데이터를 공개하기 위해 파고 들어오는 것을 방지할 수도 있다는 설명이다.

이같은 기술은 생성AI가 대중화될수록 그 유용성이 강조될 것으로 보인다. 애플은 지난 5월 직원들이 소스 코드와 같은 OpenAI 민감한 데이터를 전달할 수 있다는 우려로 직원들이 ChatGPT 또는 GitHub Copilot을 사용하는 것을 금지한 바 있다.

삼성 역시 직원들이 실수로 챗GPT를 통해 소스 코드를 유출했고, 이로 인해 회사는 지난 4월 제3자 AI 사용에 대해 내부 경고를 발령했다.