AI 에이전트, “자칫 기업체 ‘내부의 적’” 우려

[애플경제 엄정원 기자] ‘호사다마’(好事多魔)격’이라고 할까. ‘AI에이전트’가 광범위하게 생활화되면서, 새삼 이로 인해 보안 사각지대가 생길 수 있다는 우려가 나오고 있다.

인간에게 유익한 어떤 신기술이든 시간이 지날수록 부작용이 생길 수 밖에 없다. 특히 늘 논쟁이 중심에 서있는 AI기술인 만큼 ‘AI비서’에 갈음할 만한 AI에이전트 역시 그런 위험은 진작부터 예상된 바다.

사용자 통제 범위 벗어나 작동할 수도

인간을 대신해 작업을 수행하거나 결정을 내리는 자율 소프트웨어로서 AI에이전트는 날로 기업 등에서 많이 사용되고 있다. 예를 들어 거래처 영업 담당자에게 통보하거나, 각종 업무용 데이터나 자료를 입력을 처리하는 등 반복적인 작업을 대신 처리, ‘가성비’ 높은 업무 환경을 조성한다.

하지만 AI 에이전트는 사용자의 통제 범위를 벗어나 작동할 수도 있다. 거의 ‘AI 동료’ 수준의 자율적 판단 능력을 갖고 있는 만큼, 때론 스스로 뭔가를 판단, 실행할 수 있기 때문이다. 그런 경우 당연히 새로운 보안상 위험이 따를 수 밖에 없다.

국내 보안업체 ‘시큐레이어’ 관계자는 “사용자들로선 그런 AI 에이전트의 작업을 항상 들여다보고 있을 수 없는 상황”이라며 “더욱이 AI에이전트들 ‘저희들끼리’ 상호 작용하면서 작업 순서나 범위를 스스로 만들어낼 가능성이 크다”고 했다.

그는 특히 “신원 인증 등과 관련해 문제가 심각해질 수도 있다”고 했다. 예를 들어 AI 에이전트가 스스로 로그인하고, 중요 데이터에 접근한 다음 제멋대로 작업을 시작하거나 중단하도록 ‘조작’하는 일도 벌어질 수 있다. 심지어 작업자나 업무상 절차, 혹은 작업 공정계획과 무관하게, 또는 그런 절차와 계획을 무시한 결정을 마음대로 이행할 경우마저 생각해볼 수 있다. 이는 자칫 ‘대형 사고’를 부를 수 밖에 없다.

앞서 시큐레이어 관계자는 ‘개인 의견’임을 전제로, “아직 국내에선 ‘AI에이전트’가 산업계 전반에 본격적으로 도입되고 있진 않다”면서도 “그럼에도 불구하고, 중요 사내 정보와 시스템에 접근하는 AI 에이전트를 적극적으로 식별하거나 ‘매핑’하는 기업은 극소수에 불과할 것”이라고 밝혔다. 그야말로 새로운 개념의 ‘보안 사각지대’란 우려다.

AI 에이전트 적극 식별, 매핑 기업 극소수

또 다른 중견 보안업체안 피앤피시큐어의 한 관계자도 비슷한 의견이다. “비록 국내에선 미국 등 해외보단 AI에이전트가 대중화된 상태는 아니지만, 미리 적절한 보안 조치가 취해지지 않으면 예측하기 힘든 피해를 볼 수도 있다”고 경계했다.

이 회사는 ‘세계보안엑스포’ 등 보안 관련 행사에서 다양한 사이버보안 프로그램을 선보이곤 한다. 해당 관계자는 “만약 해커들이 새로운 공격 수단으로 AI에이전트를 적극 악용하기로 마음먹으면 문제가 심각해질 것”이라며 “특히 컴퓨터와 서버 사이의 트래픽을 자신의 컴퓨터로 우회시켜 AI에이전트를 가로챈 다음 온갖 ‘분탕질’을 할 수도 있다”고 우려했다. 그럴듯하게 속일 수 있는 작업 동작을 모방하거나, 시스템이나 사용자를 속여 무단 접근을 허용하도록 함으로써 엄청난 피해를 안길 수 있다. 그는 “그럼에도 불구하고, 국내에선 아직 이에 대한 절실한 경계심이나 보안 대책을 수립하는 경우는 많지 않은 것으로 안다”고 했다.

심지어는 AI 에이전트가 고의적으로 악행을 의도하지 않더라도, 문제를 만들 소지가 있다. 대부분의 기업들이나 사용자들이 AI 에이전트에 대한 기술적 이해와 지식이 부족한 경우가 많다. 그런 경우 과연 AI에이전트가 어떤 수준에까지 자율적이고 광범위한 작업을 할 수 있을지 알 수 없다는게 문제다. 자칫 AI에이전트의 역량, 접근 권한, 책임 소재를 인간이 알 수 없는 ‘섀도우 사용자’가 될 수 있다는 것이다. 인간이 통제하기 힘든 ‘말썽꾼’이 될 가능성이 크다는 얘기다.

AI에이전트가 빠르게 대중화된 미국의 사례에선 그 위험성이 현실화되고 있다. 미국의 보안업체 ‘비욘드ID’(BeyondID) 조사에 따르면, 미국 IT업계에서 워크플로에 AI 에이전트를 도입할 경우 발생할 수 있는 보안 문제도 심각한 것으로 나타났다. 특히 다수의 응답자들은 “AI에이전트가 사용자를 ‘사칭’하는 것”이라고 걱정했다.

그런 이유로 현지 IT업계 경영진들 중엔 ‘非인간 신원 보안’을 최대 보안 과제 중 하나로 간주하는 것으로 나타났다.

미국에선 AI에이전트 보안 위협 현실화

현지에선 특히 의료 분야가 가장 위험한 것으로 나타나, 국내에서도 반면교사로 삼을 만하다. 미국에선 이미 진단이나 예약과 같은 작업에 AI 에이전트를 빠르게 도입했다. 그러나 신원 관련 공격에는 여전히 매우 취약하다. 다수의 의료 분야 IT 담당자들이 이런 공격을 경험했거나 ‘신원’ 관련 규정 기준에 못미쳤다고 밝히기도 했다.

기술매체 테크스토리는 “특히 AI 에이전트 스스로 기밀 사안인 ‘건강 정보’를 처리하고, 의료 시스템에 접근하며, 제3자와 내통(?)하며 사람 관리자의 감독 없이 자의적으로 행동하는 경우가 많다”고 했다. 특히 “미국 기업의 셋 중 하나 정도만이 사내 AI 에이전트에 대해 적극적인 관리와 통제에 나서고 있어, ‘보안 사각지대’의 여지가 매우 큰 상황”이라고 우려했다.

이에 많은 기업들이 이같은 보안 위험을 피하기 위해 AI에이전트 도입을 회피하기도 한다. EU의 집행 위원회는 이달 온라인 회의에서 AI 기반 가상 비서(AI 에이전트) 사용을 금지하기도 했다.

그럼에도 불구하고, AI 에이전트는 더욱 강력해지면서 급속도로 보급되고 있다. 테크스토리는 “2024년 말부터 보급된 ‘AI 에이전트’는 올들어 더욱 급증할 것으로 예측했다”고 밝혔다. 또 오픈AI, 아마존, 앤스로픽 등은 모두 에이전트 성능 고도화에 막대한 투자를 하고 있다. 가트너에 따르면 2028년까지 기업 소프트웨어 애플리케이션의 33%에 에이전트 AI가 포함될 것으로 예상했다.