전체메뉴

[애플경제 전윤미 기자] ‘AI서울 서밋’의 ‘서약’(Pledge)이 발표된 직후 외신과 전문가들의 첫 일성은 “MS, 아마존, 메타, 구글이 과연 AI모델이 너무 위험하다고 해서, (돈이 되는) 개발을 중단할까?”였다. 자칫 서울에서 맺은 ‘서약’이 구두선에 그칠 가능성이 크다는 시각이다.

IT프로포탈 등 기술매체들조차 “과연 어느 정도까지 ‘위험한 AI’인지, 끊임없이 진화하는 AI기술을 한 시점의 제도와 법률로 규제할 수 있을 것인지가 문제”라며 회의적인 입장을 보였다. 세계 최초의 EU ‘AI법’ 시행을 불과 열흘 남짓 앞두고 발표된 ‘AI 서울서밋’의 ‘서약’이 자칫 휴지조각이 될 수도 있다는 우려다.

전례 없는 ‘약속’…현실성 떨어져 ‘휴지조각’ 우려도

뉴욕타임스는 일찍이 “AI 안전에 대한 약속은 한 시점까지만 지속될 것이며, 그 때마다 더 강력한 법안에 대한 새로운 요구를 불러일으키곤 하는게 문제”라고 지적한 바 있다. 그럼에도 불구하고 이번 ‘서울 서밋’에서 AI 빅테크들은 자체 AI 모델 중 일부를 안전하게 구축하거나 배포할 수 없는 경우 이를 중단할 수도 있다는 취지의 ‘서약’에 서명했다. 이는 전례가 없는, 획기적인 ‘사건’으로 평가되고 있다. 그런 만큼 “애당초 지키지 못할 약속이 될 가능성이 크다”는게 주요 외신과 전문가들의 평가다.

더욱이 이번 ‘서약’엔 AI기술로 거대한 자본을 형성한 아마존, 앤스로픽, 구글, IBM, 메타, 마이크로소프트, 오픈AI 등이 두루 망라되어있어 더욱 의구심을 불러일으키고 있다. 그럼에도 이들은 일단 훈련 전이나 훈련 도중, 또는 배포 시점을 포함해 AI 라이프사이클 전반에 걸쳐 자사의 프론티어 모델이나 시스템이 제기하는 위험을 평가할 것이라고 약속했다.

또 모델이 제기하는 위험 가운데 “허용할 수 없는 것으로 간주되는” 한계점을 설정하는 데 동의했다. 만약 “이 한계를 위반한다면 더 이상의 개발을 중단하겠다”고 다짐했다. 서약서는 또 “극단적인 위험을 임계값 아래로 유지하기 위해 완화 조치를 적용할 수 없는 경우, 기업은 모델이나 시스템을 전혀 개발하거나 배포하지 않겠다고 약속한다”고 명시했다.

더 넓은 의미의 AI 안전이란 면에서, 이들 기업은 새로운 위협에 대처하기 위해 선구적인 AI 모델의 내․외부 레드팀 구성 등을 실행하기로 합의했다. 또한 ‘항상’ 정보를 공유하고, 오디오 또는 시각적 콘텐츠가 AI에서 생성되었는지 여부를 사용자가 알 수 있도록 (워터마크 등으로) 하는 방법을 개발하고, 모델 기능이나 제한 사항을 공개적으로 밝히기로 했다. 다만 “이러한 약속은 자발적이어야 하며, 많은 주의 사항이 따른다”고 단서를 달았다.

이번 ‘서울 서밋’의 참가 기업들은 또 AI 안전 전략을 서로 공개적으로 투명하게 제공하기로 합의했다. 단, 민감한 상업 정보가 공개되지 않는 한, 더 자세한 AI 정보는 공유하기로 합의했다. 또한 “세계의 가장 큰 과제(AI 안전)를 해결하는 데 도움이 되는 최첨단 AI 모델과 시스템을 개발하고 배포할 것”이라고 약속했다.

생성AI 빠른 혁신 속도, 규제가 못따라잡아

그러나 영국 소재 법률 회사인 Clyde&Co의 한 관계자는 “생성 AI 공간의 빠른 혁신 속도로 인해 기술이 유동적이고 끊임없이 진화하는 특성으로 인해 규제 장치(법안)를 확정짓는게 매우 어렵다”고 이번 ‘서약’의 실현 가능성에 대해 의문을 표시했다.

그는 “새로 서명된 ‘서울 선언’은 AI 규제에 대한 글로벌 기본 원칙을 확립하기 위한 올바른 방향으로 나아가는 단계이지만 이 모든 것에는 시간 제한이 있다는게 한계”라고 했다. 즉 “AI 개발은 규제가 따라잡을 수 없을 정도로 빠르게 진행되고 있다. 규제가 시행되자마자 시대에 뒤떨어지게 될 수 있기 때문”이란 지적이다.

이번 ‘서울 서밋’은 지난해 영국 블레츨리 파크에서 열린 제1차 ‘AI 안전 서밋’에서 AI에 대한 큰 우려를 제기한 데 따른 것이다. AI는 큰 발전을 가져올 수 있지만 새로운 사이버 보안 위협, 새로운 생명공학 위험, 허위 정보의 증가 등 큰 위험을 초래할 수도 있다는 우려가 바탕에 깔려있다.

앞서 블레츨리 선언문에서는 “이러한 AI 모델의 가장 중요한 기능으로 인해 고의적이든 의도적이지 않든 심각하고 심지어 재앙적인 피해가 발생할 가능성이 있다.”고 경고한 바 있다. 현재 중국과 EU를 제외한 많은 국가에서는 AI 위험에 관한 구체적인 법률을 제정하는 노력 못지않게 광범위하고 자발적인 접근 방식을 선호하는 경향이 두드러지고 있다.

그런 가운데 ‘AI 안전’의 실천을 위한 걸림돌이 이번 ‘서울 서밋’에서도 노출되었다는 지적이다. 즉, ‘AI 안전’이 무엇을 다루어야 하는지에 대해 모두가 동의할 만한 규준이 없다는 점이다. 또 한 국가가 엄격한 규제를 시행할 경우, 그보다 좀 더 완화된 접근 방식을 취하는 다른 국가나 지역에 비해 경제적으로 손해를 입을 수 있다는 우려도 제약 조건으로 작용한다.

“기존 AI모델 평가 방식부터가 허점 투성”

AI와 데이터의 공적 역할을 연구해온 단체인 ‘Ada Lovelace Institute’의 연구자들은 현재 많은 나라들이 취하고 있는 ‘자발적인 접근 방식’은 몇 가지 큰 결함이 있다고 경고하고 있다. 즉 기업이 자발적으로 행하는 기존의 AI 모델 평가 방식은 조작하기 쉽고, 모델을 조금만 변경하면 전혀 엉뚱한 결과를 초래할 수 있다고 경고한다. 또한 기초 모델을 분석하는 것으론 그 모델을 기반으로 구축된 앱의 위험과 영향을 거의 예측할 수 없다는 것도 맹점으로 꼽힌다.

그래서 “‘제약’ 산업처럼 기업의 방식이 규제 기관이 정한 표준에 적합해야 하고, 규제 기관이 제품 출시 여부에 대한 궁극적인 결정권을 갖는 것도 방법”이라며 “규제 기관이 AI모델이나, 교육 데이터 및 문서에 대한 액세스 권한을 제공하도록 기업에 강제할 수 있는 권한이 필요하다”는 주장이다. 또 규제 당국이 사기범죄 등을 유발할 만한 음성 복제 시스템처럼, 매우 위험해보이는 모델이나 제품의 출시를 차단할 수 있는 권한을 가져야 한다고 강조하기도 한다.

실제로 위험하거나 매우 위험한 모델의 출시를 차단하거나, 안전하지 않은 제품을 시장에서 제거하는 데 필요한 집행 권한이 없으면 평가 자체가 의미없다는 주장이 설득력을 얻고 있다. 더욱이 AI가 배포되는 속도가 너무 빨라서, 정부와 기업이 이러한 시스템을 테스트하고 관리하는 능력을 능가하는게 현실이다. 그런 만큼 이번 ‘서울 서밋’의 서약이 ‘지키지 못할 약속’이 되지 않기 위해서라도 이런 문제의식이 필요하다는 주문이다.