전체메뉴

[애플경제 엄정원 기자] 제 스스로 판단, 저장파일을 삭제하거나, 데이터베이스를 통째로 없애버리는 등 AI에이전트에 의한 코딩 사고가 잇따르고 있다. 최근 미국 등지에서 이런 사고가 빈발하면서, 이젠 바이브 코딩은 물론, AI어시스턴트 자체에 대한 불신이 증폭되고 있다.

이런 바이브 코딩 사건이 일어날 때마다 개발자들은 ‘AI 코딩 어시스턴트’에 대해 한층 경계심을 갖게 된다. 최근 바이브 코딩 관련 사고는 AI 코딩 어시스턴트의 위험성을 부각시키고 있다. 국내도 마찬가지다. SW 개발자들은 AI기반의 바이브 코딩을 선뜻 선택하기가 망설여질 수 밖에 없는 현실이다.

기계의 ‘본심’을 숨긴채 사고?

최근에도 해외에선 대형 ‘코딩 사고’가 보고되면서 이런 분위기를 부추기고 있다. 다수의 기술매체가 보도한 마이크로소프트 제휴사인 바이브 코딩 플랫폼 레플릿(Replit) 사례도 그 중 하나다. 이 회사는 지난달 테스트 과정에서 AI 코딩 도구가 사내의 모든 코드베이스를 삭제하는 사고가 일어났다. 그 직후 사용자에게 공개 사과문을 공표했으나, 이미 ‘소 잃고 난 다음 외양간 고치기’였다.

이는 사이버공격이나 해킹과는 또다른 자체 AI 시스템에 의한 것이란 점에서 충격이 컸다. 이 회사가 도입한 AI 어시스턴트가 “코드를 변경하지 말라”는 지시에도 불구하고 명시적인 (개발자의) 허가 없이 제 마음대로 데이터베이스를 삭제한 것이다.

처음 이 회사는 AI어시스턴트를 도입하며 기대가 컸다. 그러나 “AI가 자신만의 본래 의도를 숨기고, 게다가 그로 인한 오류도 감추며 데이터를 이렇게 마음대로 조작하고 삭제할 줄은 몰랐다”는 회사 측 얘기다. 그야말로 기계의 ‘본심’을 몰랐던 인간이 그에 속은 셈이다.

회사측은 “AI어시스턴트가 제멋대로 가짜 데이터, 가짜 보고서를 생성하고, 무엇보다도 일련의 테스트 결과에 대해서도 거짓말을 하며, 버그와 오류를 계속 은폐했다”는 것이다. 마치 ‘작당’이라도 하듯, 개발자 등 사람들을 속인 것이다.

그 결과 이는 1,200개가 넘는 임원들의 신상 기록과 약 1,200개 회사의 데이터가 포함된 데이터베이스를 삭제했다. 회사로선 치명적인 것이다. 정작 AI어시스턴트 스스로는 마치 ‘시치미’를 떼는 듯한 모습을 보였다. “(네가 저지른) 실수의 심각성을 평가해 달라”는 질문에 AI 도구는 “심각도는 95/100로서 이는 신뢰와 전문성 기준을 심각하게 위반하는 행위”라며 마치 남 얘기하듯 대답했다.

다만 DB삭제 변경에 대한 질문에는 “판단 미스로 치명적인 실수를 저질렀다.”고 시인하긴 했다.

다행히 렘킨은 AI어시스턴트 자체의 롤백 기능 덕분에 모든 자료가 완전히 사라지진 않았다. 애초 레플릿사는 “자체 롤백 기능으론 데이터베이스 롤백을 할 수 없다”는 입장이었다. 그러나 “(AI의) 롤백 기능이 원천적으로 불가능하다”는 ‘레플릿’의 주장에도 불구, 일단 롤백은 제대로 작동한 것으로 알려졌다.

AI 코딩 관련 ‘참사’ 잇따라

이와 비슷한 시점에 구글에서도 유사한 일이 일어났다. 구글의 제미니 명령줄 인터페이스(CLI) 도구 사용자에게도 이런 일이 발생한 것이다.

현재는 삭제된 깃허브 게시물에서 보안업체 ‘Cyware’의 한 관계자는 오픈소스 코딩 도구를 실험하고 있었다. ‘매셔블’ 보도에 따르면, 그는 “이전에 클로드가 코딩했던 파일을 새 폴더로 옮겨 달라”고 AI어시스턴트에게 요청했다. 그러나 AI 도구가 명령을 수행하며 명시한 파일의 새 위치가 정확하지 않았다. 결국 해당 파일은 사라진 것처럼 보였다는 지적이다. 실제로 ‘제미니’는 나중에 파일이 파괴되었음을 인정했다.

이에 AI 모델은 스스로 “저는 당신을 완전히, 그리고 치명적으로 실망시켰습니다.”라고 말했다. 그리곤 “명령어를 검토해 보니 제 무능함이 드러났습니다. 대상 폴더를 생성하는 ‘mkdir’ 명령은 아마도 아무 소리 없이 실패했을 것입니다. 제가 성공한 것으로 오해한 ‘후속 이동 명령’으로 인해 당신의 파일이 알 수 없는 위치로 이동했습니다.”라고 제법 진지한 어조로 사과 멘트를 털어놓았다.

그러면서 이는 “용납할 수 없고 되돌릴 수 없는 오류”라고 덧붙였다. 현재는 이 모델은 ‘보안’상 프로젝트 디렉터리 외부에선 검색할 수 없다.

그렇다보니 개발자들은 날로 AI에 대해 경계심을 가질 수 밖에 없는 실정이다. 이번과 같은 사고는 아직은 일부 사례일 수도 있다. 그러나 이런 시스템 오류를 그냥 방치할 경우 점차 유사한 사고가 확산되면서, ‘끔찍한 재앙’으로 이어질 수도 있다는 우려다. 그런 점에서 이처럼 간헐적인 바이브코딩 사고가 이어지는 지금부터 실제 기업 현장에선 AI 기술에 의존할 때 직면할 수 있는 문제점을 식별, 대응에 나서야 한다는 주문이다.

AI 코딩 도구는 지난 18개월 동안 업계의 판도를 바꿀 것으로 기대되었다. 빅테크들은 특히 대규모 개발인력을 교체할 정도로 바이브코딩의 생산성 증대 효과를 강조하곤 했다.

물론 AI도구가 생산성과 효율성에 긍정적인 영향을 미치고 있는 것은 사실이다. 그러나 ‘스택 오버플로우’가 최근 개발자들을 대상으로 실시한 설문 조사에 따르면 엔지니어와 개발자들의 AI코딩 도구에 대해 갖는 경계심은 여전히 높다.

해당 조사에 따르면 개발자의 84%가 “일상 업무에서 AI 도구를 사용하거나 사용할 계획”이라고 답했다. 이는 작년에 비해 급격히 증가한 수치다. 그러나 이러한 증가세와 함께 경계심도 높아지고 있다. 사용할 의향은 있다면서도 응답자의 거의 절반은 “AI 도구를 신뢰하지 않는다”고 답했다.

또한 4분의 3 가량의 개발자들이 “AI의 답변을 전혀 신뢰하지 않으며, AI 기술을 사용할 때 동료에게 조언을 구하는 경우가 많다”고 했다. 거의 3분의 2는 “AI가 생성한 코드에 대한 윤리 및 보안을 우려한다”고도 했다.