전체메뉴

[애플경제 엄정원 기자] 흔히 챗GPT에 갖가지 정보를 물어보거나, 이를 위해 프롬프트에 사용자의 지식과 정보 일부를 포함시키는 것은 당연한 일이다. 그러나 이런 행위를 통해 챗GPT를 비롯한 AI모델들을 통해 개인정보와 데이터가 유출되고 있어 큰 문제다.

이에 국내외 보안업계와 전문가들은 “기업이나 사용자들에겐 당장 정보 유출을 막을 ‘데이터 게이트웨이’가 필요하다”고 촉구하는 실정이다.

AI 편의성의 숨겨진 위험

이 문제는 챗GPT나 제미니, 클로드 등을 막론하고 공통적이다. 지금에 와서 마케팅이나 회사 업무, 광고, 홍보 등 모든 일상적 공간에서 AI챗봇은 필수가 되고 있다. 사이버 시큐리티 인사이더는 “그렇다보니 회사원이나 주부, 학생, 기업인, 정치인 등을 가리지않고 누구나 챗봇을 통해 정보를 얻는다”면서 “대신 자신의 프로필과 개인정보, 지식 등을 프롬프트에 포함시키기도 한다.”고 지적했다.

예를 들어 마케팅 분석가는 고객 데이터베이스를 챗GPT에 (프롬프트로) 붙여넣어 인사이트를 구매한다. 재무 관리자는 분기별 실적을 역시 챗GPT에 업로드, 프레젠테이션을 작성한다. HR 담당자도 챗봇을 통해 직원 평가를 공유, 요약 초안을 작성한다.

이 때 프롬프트 작업은 줄과 몇 초에 불과하지만, 돌이킬 수 없는 위험을 초래한다. 데이터가 AI 시스템에 입력되면 모델 자체에 내장, 영구적으로 사용할 수 있다. 사용자로선 이를 삭제할 수도, 검색할 수도 없다. 본인도 알지 못하는 상태에서 언제까지든 그 자리에 보관되어 있다.

이런 일은 많은 사람들의 일상에서 매일 발생한다. 그 대부분은 나중에라도 이를 자동으로 차단할 수가 없다. 글로벌 보안업체 ‘카이트웤스’(Kiteworks)의 AI 데이터 보안 및 규정 준수 위험 보고서에 따르면, 거의 대부분의 사용자나 기업들은 이에 대한 별도의 문제의식 없이 그저 이런 무심하고 무방비적인 관행에 의존하고 있다.

그런 가운데 챗봇을 포함한 AI 관련 보안 사고는 날로 급증하고 있다. 얼마 전 발표된 스탠퍼드 대학교의 ‘2025 지수 보고서’에 따르면 1년 만에 무려 56.4%나 늘어났다. 그러나 방치할 경우 이는 단순한 보안 문제가 아니라, 재앙이라고 할 수 있다.

각국 AI챗봇 관련 규제 장치 마련했지만…

미국의 경우 정부 차원에서 지난 2024년에 59건의 AI (보안) 관련 규정을 마련했다. 이는 전년 대비 두 배 이상 증가한 수치다. 전 세계적으로는 75개국이 AI 보안 관련 법률을 제정하기도 했다. 반면에 미국의 경우 AI 기업에 대한 신뢰도는 50%에서 47%로 하락했다. 대신에 날로 많은 사용자들이 더욱 엄격한 개인정보 보호 장치를 지지하고 있다.

그러나 대부분의 현행 선진적인 법률로도 이를 완벽히 차단하는데 한계가 있다. 대표적으로 EU의 강력한 법적 장치인 GDPR 30조 역시 모든 데이터 처리 추적을 요구하도록 했지만, AI 업로드가 모니터링되지 않으면 불가능하다. CCPA(미 캘리포니아 소비자 개인장보법) 역시 사용자 요청이 있으면 개인 정보 삭제를 의무화하고 있지만, 대부분의 기업이나 사용자들은 AI 도구로 전송된 데이터를 찾을 수 없다.

HIPAA(미국 의료정보법)도 마찬가지다 AI 사용 추적이 이루어지지 않을 경우 존재하지 않는 대상에 대한 감사나 추적을 요구한다. 재무 정보를 AI 플랫폼에 붙여넣으면 규제를 우회할 수 있다.

어떤 감시장치도 없는 프롬프트 데이터 유출

이렇게 유출된 정보는 AI와 공유되는 데이터 대부분은 주민등록번호, 의료 기록, 신용카드 정보 등 온갖 개인 정보를 망라하고 있다. 그러나 공유되는 데이터의 내용조차 알지 못하는 경우가 많다.

예를 들어 ‘마이크로소프트 365’의 ‘코파일럿’ 환경에선 사용자 기업의 90%가 모든 직원에게 민감한 파일을 노출하고 있는 것으로 파악되었다. 평균 25,000개 이상의 열린 폴더가 존재한다. 세일즈포스 역시 모든 기업들이 최소 하나의 계정으로 모든 데이터를 내보낼 수 있도록 허용하고 있다. 또 대부분은 AI 크롤러가 찾을 수 있는 공개 링크를 허용하고 있다.

특히 ‘섀도 AI’ 사용은 상황을 더욱 악화시키고 있다. 데이터 보안업체인 바로니스(Varonis)에 의하면 대부분의 기업의 경우 사내에서 직원들이 승인되지 않은 AI도구를 사용하고 있다. 직원 한 사람당 평균 1,200개의 앱을 사용하고 있다. 또 절반 이상이 심층 접근 권한이 있는 위험한 ‘OAuth’ 앱을 사용하고 있다.

자격 증명이 유출된 경우 이를 탐지하는데 걸리는 평균 시간은 94일로 파악되고 있다. 그 중 ‘고스트 AI’ 사용자는 또 다른 약점이다. 많은 기업들은 활성화된 계정을 보유하고 있으며, 한 회사당 평균 15,000개에 달하는 계정을 보유하고 있어 공격자가 눈치채지 못하게 악용할 수 있다.

각 산업분야 망라, ‘데이터 유출’ 위기 팽배

미국의 경우 의료 기관은 HIPAA에 따라 환자 데이터 접근 권한을 면밀히 살펴야 한다. 그러나 의료 서비스 제공업체 중 AI 사용을 모니터링할 수 있는 곳은 35%에 불과하다. 전체 기업 중 일부만이 파일에 라벨을 제대로 부착하고 있을 뿐이다. 이는 GDPR과 HIPAA의 핵심 요건이기도 하다.

금융 업계도 데이터 유출을 최대 우려 사항으로 꼽고 있다. 그러나 이에 대한 통제 조치를 마련한 금융 기업은 소수에 불과한 실정이다. 그 중엔 매우 민감한 기록을 처리함에도 불구하고, AI 도구에 개인 데이터를 전송(프롬프트) 한다고 밝혔다. 정부 기관의 경우도 기술적 안전 장치를 갖추고 있는 경우가 많지 않다. 그 중 상당수는 여전히 AI 플랫폼(챗봇)과 민감한 데이터를 주고받는 실정이다.

사정이 이렇다보니, 기술 기업들은 신뢰성 문제에 직면해 있다. 모든 기업들이 AI 도구를 구축하고 있지만, 내부 오용을 방지하는 기업은 소수에 그친다.

한편 미국의 경우 24개 주에서 선거나 신원 도용에 사용되는 AI의 오용을 겨냥한 딥페이크 법안이 통과되었다. 앞서 지난해 최대 규모의 유출 사고로 인해 1억 9천만 건의 환자 기록이 유출되었는데, 이는 다중 인증(MFA)제도를 실시하지 않은데 따른 것이다. 이에 기존 HIPAA를 업데이트하는 등의 조치를 통해 MFA를 의무화할 예정이다.

기존 방어 체계가 실패하는 이유

앞서 ‘카이트웍스’(Kiteworks) 데이터에 따르면, 조사 대상 기업의 70%가 AI의 속도나 도달 범위에 적합하지 않는 정책이나 교육, 단순 경고에 의존하고 있는 실정이다. 그 중엔 ㅇ아예 AI 정책을 전혀 갖추고 있지 않은 경우도 적지 않다.

기존 AI챗봇들은 대화형 데이터 교환을 위해 설계되지 않았다. 부주의한 단 한 번의 시도로 수십 년 분의 기밀 정보가 유출될 수 있다. 더욱이 기존 도구로는 이를 감지조차 할 수 없다.

스탠퍼드 대학교의 연구 결과도 이를 뒷받침한다. AI 도입이 날로 가속화되고 있지만, 방어체계는 수 년이나 뒤처져 있다.

이에 사이버시큐리티 인사이더는 전문가들의 의견을 종합, “위험 격차를 해소하기 위해 조직은 다음 몇 가지 즉각적인 조치를 취해야 한다”고 대응책을 촉구했다.

이에 따르면 우선 정책 의도뿐 아니라 팀 전체의 실제 AI 사용량을 측정하는 ‘감사’, 그리고 별도의 게이트웨이 장치 등 자동화된 제어시스템이 중요하다. 또한 회사나 사용자의 실제 AI 사용량을 측정하고, AI로 유입되는 정보를 실시간으로 분류, 추적 및 제어를 해야 한다는 지적이다.