사용자 신상정보 꿰뚫고, 기업 사내 기밀 누설, “특히 ‘섀도AI’가 위험”
AI 빅테크들, ‘임시’ 채팅 기능, 암호화, 삭제 등 노력 불구, 효과 적어
‘섀도 AI’ 철저 관리·금지, 신속 감지, 대응 ‘사전 위험 관리’ 등
[애플경제 엄정원 기자] 자신의 내밀한 속내나 정보를 AI챗봇에 자세히 털어놓는게 위험 천만한 일일 수도 있다. AI의 충실한 응답과 출력을 끌어내기 위해 성심성의껏 요청한 프롬프트가 보안 위험을 초래할 수도 있다. 기업의 경우는 더욱 치명적이다. 특히 회사 차원의 승인이나 정식 구독이 아닌 ‘섀도AI’를 남용하는 것은 한층 위험이 크다는 지적이다.
이처럼 무심코 수년간 (AI챗봇과 ‘친근’하게) 나눈 AI와의 대화가 가장 큰 보안 사각지대가 될 수 있다는 얘기다. 특히 기업의 경우 “사이버 공격 위험을 방지하기 위해 AI 도구와 직원 간의 대화는 엄격하게 통제되어야 한다”는 목소리까지 나오고 있다.
흔히 사람들은 생성 AI챗봇의 ‘신통력’에 흥미와 호기심을 느끼곤 한다. 그러나 이는 심각한 문제를 안고 있다. 대표적으로 챗GPT나 클로드, 퍼플렉시티 등 LLM들은 겉보기에 아무런 문제가 없어 보이지만, 실은 사용자들과의 모든 대화가 보관되어있다. 사용자의 생각이나, 습관, 민감한 데이터에 대한 자세한 프로필을 구축할 수 있다. 다시 말해 특정이의 신상과 성격, 내면의 정서까지 꿰뚫고 있다는 얘기다.
사용자 프롬프트 기반, ‘AI성능 개선해’
오픈AI, 앤스로픽, 구글, 마이크로소프트 등은 기본적으로 사용자 프롬프트뿐만 아니라 생성된 출력, 메타데이터, 그리고 지속적인 피드백 루프를 통해 모델의 성능을 나날이 높여가고 있다. 이는 개별 사용자의 개인정보 보호에 대한 우려를 불러일으키기에 충분하다. 기업은 말할 것도 없다. 이미 이는 단순한 기우가 아닌, 믿을만한 연구나 조사에서도 현실로 드러나고 있다.
MIT의 연구 프로젝트(Project NANDA '2025 비즈니스 AI 현황')에 따르면, 특히 ‘섀도우 AI’ 사용이 급증하고 있다. 거의 모든 기업들이 챗봇을 사용, 자동화된 작업을 수행하는 반면, 회사 차원에서 공식적으로 챗봇을 유료 구독하고 있는 기업은 조사 대상 기업의 절반도 안 되는 것으로 나타났다. 나머지는 보안에 매우 취약한 ‘섀도AI’란 얘기다.
이런 ‘섀도 AI’에게 직원들은 자신의 신상 정보를 담은 대화와 상담을 일삼고, 특히 회사 업무나 공적 정보도 무심코 흘리고 있다.
회사나 조직의 승인된 도구 이외에 챗GPT처럼 편리한 소비자용 AI가 이제 많은 직장인들에게 필수가 되다시피한다. 민감한 기업 데이터가 일상적인 업무 흐름에서 일상적으로 공유될 수 밖에 없다. 그 만큼 기업에 대한 사이버 공격 표면이 크게 확대되고 있다.
물론 공식적으론 오픈AI 등 주요 AI업체들은 저장 데이터를 암호화하고, ‘임시’ 채팅을 제공하는 등 사용자의 개인정보 보호를 위해 나름의 노력을 기울이고 있긴 하다. 그러나 이런 노력은 큰 의미가 없다는 지적이다.
오픈AI와 뉴욕타임스의 소송에서도 보듯이, 채팅 기록을 업체가 삭제한다고 해도 소용없다. 또 다시 작업자와 ‘섀도 AI’ 도구 간의 상호작용으로 기업이나 개인에게 악영향을 미치게 된다. 중국 ‘딥시크’의 취약한 데이터베이스도 그런 사례다. 해당 데이터베이스에는 모든 사용자들의 채팅 기록, 비밀 키, 백엔드 세부 정보와 같은 민감한 정보가 포함되어 있었다.
설사 AI 플랫폼의 데이터베이스가 (보안을 위해) 잘 구성되어있다고 해도, 유출에 취약할 수 있다. 비공개 채널에서 민감한 데이터를 강제로 유출하게 하는 엔지니어링도 발견되곤 한다. 더욱이 “섀도 AI는 단순히 정보를 유출하는 것이 아니라, 정보 이면에 있는 (사용자의) 사고 과정까지 유출한다”는 우려도 제기된다. 이는 곧 “사이버 범죄자에게 ‘잃어버린 키’를 찾는 것과, 아예 ‘마스터 키’를 받는 것의 차이와 같다”는 의견이다.
다양한 ‘대화’, 사이버공격의 무기로 악용
대부분의 기업 환경에서 사용되는 공식 도구와 인프라는 오용 및 악용을 방지하기 위한 안전 장치를 갖추고 있다. 이는 엔터프라이즈급 로깅, 네트워크 분리, 엄격한 온보딩 절차 등을 포함한다. 그러나 이런 보안 조치가 거의 효과가 없을 수도 있다. 예를 들어 회계사가 기밀 스프레드시트를 제3자 LLM에 업로드하거나, 이사회 구성원이 AI를 사용하여 영업 비밀에 대한 참조가 포함된 내부 메모를 작성하는 경우가 그런 사례다.
이런 행위는 업무 패턴이나, 독점 정보, 직원 건강 기록과 같은 기밀 데이터를 노출시킬 가능성이 크다.
특히 클라우드 AI가 확산되면서 위험성은 더욱 커지고 있다. 특히 지난 1월 딥시크가 출시된 후 국내에서도 이를 금지하는 기업들이 많았다. 딥시크와 같은 도구를 사용하는 것은 “기밀 정보를 출력해서 넘겨주는 것만큼이나 위험하다”는 것이다.
‘섀도우 AI’에 대한 경고가 잇따르면서, 많은 기업들은 이 기술에 대한 전면적인 금지 조치를 서두르게 되었다. 예를 들어, 삼성은 자사의 독점 코드가 플랫폼에 업로드된 것을 발견한 직후인 2023년부터 직원들의 챗GPT 사용을 금지하고 있다.
보안 교육 회사 ‘아나그램’에 따르면 당시 많은 직원들이 고객 기록, 재무 데이터, 내부 문서 등 민감한 데이터를 AI 도구에 게시했다고 인정했다. 또한 일부 직원들은 일을 더 빨리 처리하기 위해 ‘섀도우 AI’의 위험성을 알고도 이를 사용하는 것으로 나타났다. 실제로 ‘아나그램’은 “많은 직작인들은 편의성을 위해 규정을 스스럼없이 무시한다”며 “이에 대한 경각심이 매우 중요하다”고 강조했다.
IBM의 엔터프라이즈 AI 거버넌스팀은 블로그에서 ‘섀도우 AI’ 위험을 완화하기 위한 네 가지 핵심 요소를 제시했다.
즉 AI 모델 및 사용 현황을 추적하는 ‘중앙 집중식 인벤토리’를 통한 ‘수명 주기’를 관리하는 것이다. 문제를 신속하게 감지, 대응하는 사전 위험 관리, 관련 팀의 수동 처리를 줄이기 위한 간소화된 규정 준수와 윤리적 감독 등이 필요하다. 또한 AI 침투 테스트 및 무단 사용을 방지하기 위한 보안 관리도 중요하다. 물론 직원을 위한 정기적인 AI 정책 교육도 필수다.