고성능 AI들…“개발 단계 저항력, 배포 후엔 무력해질 수도”
국제보안행사 ‘RSAC 2025’ 이슈화, “5년 내 AGI 출현 전 과제”
AI 기반 정교한 코드 생성 능력의 해커들에 대응해야I
[애플경제 이윤순 기자] 고도의 프런티어 모델이나 에이전트 시스템에 대한 보안이 큰 과제로 등장하고 있다. 특히 역동적으로 진화하는 이런 AI 네트워크의 위험을 평가하는데 상대적으로 소홀할 수 밖에 없다는 지적이다. 이에 “이런 고도의 AI 모델 도입과 관련된 보안이나 안전 위험 평가를 위해 훨씬 더 세부적인 작업이 필요하다”는 것이다.
구글 딥마인드, 엔비디아, AI 보안연구소 등 ‘우려’
특히 미국 샌프란시스코에서 열리고 있는 국제 보안 컨퍼런스인 ‘RSAC 2025 컨퍼런스’에서 이런 목소리가 새삼 높다. 구글 딥마인드, 엔비디아, 그리고 영국 AI 보안 연구소 등은 이처럼 AI에이전트나 복잡한 AI시스템 등 고도의 AI 모델 위험 평가와 관련된 보안 팀이 직면한 현실을 지적했다.
영국 AI 보안 연구소의 CTO인 제이드 렁은 ‘시큐리티 인사이더’ 등에 “에이전트 AI 시스템의 잠재적 위험에 대해 여전히 많은 의문이 남아 있다”며, “그럼에도 불구하고, 현재는 안전과 보안 평가가 AI 시스템의 급속한 발전을 따라가지 못하고 있다”고 지적했다. 또한 “많은 AI 기업들이 위험한 역량 평가 도입을 위해 노력하고 있지만, AI가 ‘진화하는 과학’이란 점을 간과하고 있다”고 덧붙였다.
이들 현장 전문가들에 의하면 일단 많은 기업들은 상당한 투자를 하고 대규모 팀을 구성, 나름대로 열심히 노력하긴 한다. 그러나 아직 팀을 구성하지 못하거나, 인력을 확보하지 못한 경우가 많다. 그래서“일부 기업들이 이 문제에 대해 매우 적극적으로 나서고 있지만, 훨씬 더 많은 노력이 필요하다”는 얘기다.
이에 또 다른 전문가들은 “AI 시스템이 더욱 복잡해짐에 따라 기업들은 전체 AI 시스템을 평가하는 방식으로 전환해야 한다”는 주장도 펴고 있다. 이들에 의하면 에이전트 AI나 프런티어 모델과 같은 고성능 AI는 적절한 보안 대책을 마련하는게 더 까다롭다. 그래서 기업 시스템에 적합한 지속적인 보안과 이에 대한 평가가 필요하다.
범용으로 설계된 모델이 그런 사례다. 예를 들어 범용이다보니, 3,000가지 작업을 수행하도록 되어 있을 수 있다. 그러나 “이를 도입한 기업으로선 단 하나의 작업만 수행하도록 하고, 그 작업을 매우 구체적이고 제한적으로 하도록 강제할 수 있다.”는 것이다. 특히 AGI(Augmented Intelligence)가 대표적이다. 이런 초지능 AI는 이를 통제할 수 있는 능력이 한층 중요할 수 밖에 없다.
이번 RSAC 2025에서도 구글 딥마인드의 부사장인 존 플린은 “AI 개발자들부터가 모델을 학습시킬 때부터 그 결과를 완벽하게 예측할 수는 없다”고 말했다. 이에 “사후 학습의 일환으로 리더보드에 집중하는 전담팀이 필요하지만, 이것만으로는 충분하지 않다”고 했다.
그에 따르면 특히 보안팀이 애초 평가한 사이버 공격에 대한 모델의 저항력과 실제 배포 후 나타나는 해킹 대응력과는 서로 다른 경우가 많다. 즉, AI를 애플리케이션 내부에 적용하고 ‘함수 호출 하네스’를 사용하며, 간접 공격 가능성이 잠재된 상황에서는 애초 개발 당시와는 전혀 달라질 수 있다는 얘기다.
“AGI의 초지능 역량 걸맞은 통제력 갖춰야”
이에 고성능 AI 모델의 보안 역량을 평가하는 방법부터 개발자들에게 교육하거나 주지시켜야 한다는 지적이다. 예컨대 데이터 과학자와 보안 담당자들이 함께 중지를 모으는 것도 방법이다. 이번 컨퍼런스에선 또 “국제 사회가 이러한 위험에 대한 정보를 공유하고 복잡한 AI 보안 시스템을 벤치마킹하기 위한 개선책을 마련하는 것이 중요하다”는 주문도 이어졌다.
현재까지의 사이버보안의 대원칙은 공격자들의 수법, 특히 AI를 활용하여 더욱 효율적으로 공격을 개시하는 방식에 대응하는 것이었다. 그러나 해커들은 AI를 사용하여 날로 발전된 여러 형태의 악성코드 내지 각종 정교한 코드를 생성하고 있다. 특히 “AI 모델이 프로그래밍 언어 작성에 매우 능숙해지고 있는 현실을 악용하고 있다”는 우려도 크다.
코딩을 측정하고 모델에 평균 ‘ELO 등급’(원래 체스에서 유래한 용어)을 부여하는 식의 각종 벤치마크를 보면, 최근 모델의 코드 생성 능력이 엄청나게 정교해지고 있다. 그런 만큼 전문가들 간엔 해커들이 AI로 이러한 모델에 대해 공격을 할 수 있다고 단언하는 분위기는 아직 아니다.
특히 인공 일반 지능(AGI)의 보안에 대해선 보안 업계에서도 의견이 엇갈리고 있다. 일각에선 “AGI가 2030년까지 구현될 수 있다”고 예측하기도 한다. 그런 만큼 그 전에 이를 평가할 적절한 프레임워크를 갖추는 것이 더 중요하다는 주장이 나오고 있다.
구글 딥마인드 존 플린은 “AGI가 지닌 초지능의 역량을 측정하고, 이를 다시 통제할 수 있는 능력을 갖추는게 중요하다”면서 “현재로선 양자 사이의 큰 괴리가 큰 만큼, 이를 극복하는게 과제”라고 강조했다.