딥페이크 성범죄, “한국, 美캘리포니아 ‘AI법’ 수입할 만?”

[애플경제 김홍기 기자] AI에 대한 강력한 규제를 핵심으로 한 미국 캘리포니아주의 ‘AI법’이 마침내 법제화되었다. 세계의 주요 AI 기업 대부분이 있는 캘리포니아가 기술 규제에도 가장 먼저 나선 것이다. 지난 18일(현지시각) 미국 캘리포니아주의 개빈 뉴섬 주지사는 38개의 AI 관련 법안 중에서 특히 “지나친 규제”라며 논란이 뒤따랐던 SB 1047 등을 제외한 8개의 법안에 최종 서명, 즉시 발효되었다.

특히 이들 법안은 한국을 포함해 세계적으로 문제가 되고 있는 딥페이크 영상에 대한 강력한 제재와 처벌 규정을 담고 있어 관심을 끈다.

이에 따르면 앞서 일론 머스크가 카말라 해리스의 가짜 딥페이크 영상을 X에 리포스트한 것은 불법이 된다. 이처럼 유권자들을 속여 다가올 선거를 겨냥한 AI 딥페이크 영상을 게시하거나 리포스트하는 소셜 미디어 사용자들은 불법으로 처벌받게 된다. 이를 유포한 소셜미디어도 강력한 규제 대상이다. 최근 국내에서 만연하고 있는 AI딥페이크 성범죄의 경우, 캘리포니아 ‘AI법’을 만약 적용한다면, 이론적으론 이를 유포한 텔레그램이나 소셜미디어들이 모두 대상이 된다.

38개 법안 중 ‘딥페이크’ 관련법 8개 서명

앞서 개빈 뉴섬 주지사도 서명 직후 “발효된 법안 ‘AB 2839’를 사용하여 사기성 콘텐츠를 퍼뜨린 엘론 머스크를 포함한 다른 사람들의 리트윗을 잡을 수 있다”고 강조했다. 뉴섬은 X트윗을 통해 올해 초 머스크가 리포스트한 AI 딥페이크 영상을 언급하며 이같이 밝혔다. 그느 트윗 후반에 “더 이상 딥페이크를 포함하여 사기성이 있는 콘텐츠가 포함된 광고나 기타 선거 커뮤니케이션을 고의로 배포할 수 없다.”고 일갈했다.

캘리포니아의 새로운 법률은 AI 딥페이크 배포자를 강력 처벌한다. 특히 악의적으로 퍼뜨린 사람을 가중 처벌하는 점도 눈에 띈다. 또 소셜 미디어에서 AI 딥페이크를 본 사람은 해당 영상에 대해 가처분 신청을 할 수 있으며, 판사는 게시자에게 삭제를 명령하거나 게시한 사람에게 금전적 손해 배상을 명령할 수 있다. 이는 “2024년 대선을 앞두고 선거 관련 AI 딥페이크에 대한 미국의 가장 강력한 법률 중 하나”라는 평가다.

나아가서 이는 미 연방 차원의 입법에도 영향을 줄 뿐 아니라, 다른 많은 나라들에게도 참고가 될 전망이다. 특히 AI딥페이크 성범죄로 몸살을 앓고 있는 한국의 경우, 캘리포니아 AI법을 참고할 만하다는 의견도 없지 않다. 특히 AI 딥페이크를 악의적으로 게시하거나, 이를 받아서 다시 게시하는 모든 소셜 미디어 사용자를 대상으로 한다는 점에서 의미가 크다.

특히 이날 “머스크가 딥페이크를 리포스트한 혐의로 법적 조치를 받을 수 있는가”라고 묻는 기자의 질문에 뉴섬 지사는 가능성을 배제하지 않아 주목을 받았다. 뉴섬 주지사는 이날 기자 회견에서 “머스크 씨가 핵심을 놓친 것 같다. 패러디는 캘리포니아에서 여전히 건재하지만, 딥페이크와 선거 조작은 민주주의를 해친다.”며 사실상 법적 처벌의 여지를 인정했다.

이 법은 또 TV, 라디오, 전화, 문자 메시지 또는 인터넷을 통해 배포되는 모든 커뮤니케이션에서 선거 관련 AI 딥페이크를 금지한다. 또 정치 광고에만 국한되지 않고, 일반인의 게시물에도 적용된다.

이번에 발효된 미 캘리포니아의 8개 신규 AI 법률에 따라 불법이 되는 사항은 모두 AI딥페이크의 가장 대표적인 폐해를 부른 것들이다.

특히 논란이 많았던 SB 1047을 포함한 일련의 법안들은 AI 이미지 생성기에 의한 딥페이크 누드, 할리우드 스튜디오에서 죽은 공연자의 AI 복제본 생성에 이르기까지 다양한 규제를 망라하고 있다. 지금까지 뉴섬 주지사는 8개 법안에 서명했으며, 그 중 일부는 전례가 없는 강력하고도 광범위한 AI 법률이다.

딥페이크 누드, 선거용 딥페이크 강력 규제 등

가장 먼저 ▲딥페이크 누드에 대한 규제다. 뉴섬 지사는 딥페이크 누드의 제작과 확산을 방지하는 두 가지 법률에 서명했다. 그 중 SB 926은 이 행위를 범죄화함으로써 AI가 생성한 자신과 비슷한 누드 이미지로 누군가를 협박하는 것을 불법으로 간주하고 있다. 이는 한국의 AI딥페이크 성범죄와 같은 사례를 막기 위해서도 가장 적합한 법률이라고 할 수 있다.

또 SB 981은 소셜 미디어 플랫폼이 사용자가 자신과 비슷한 딥페이크 누드를 신고할 수 있는 채널을 설정하도록 하고 있다. 그런 다음 플랫폼에서 해당 딥페이크 누드 사건을 조사하는 동안 해당 콘텐츠를 일시적으로 차단해야 하고, 불법임이 확인되면 영구적으로 삭제해야 한다. 현재 AI딥페이크 성범죄의 근본 대책을 요구하고 있는 국내 시민사회의 요구와도 일치하는 대목이다. 국내 여론도 이같은 미국 캘리포니아주법과 유사한 강력한 입법이 국회에서 조속히 이뤄져야 한다는 지적이다.

뉴섬 지사가 서명한 법안 중 SB 942는 가짜와 위조를 막기 위해 ▲‘워터마크’를 의무화했다. 즉, 대중이 AI가 생성한 콘텐츠를 식별할 수 있도록 하는 것이다. SB 942는 널리 사용되는 생성AI 시스템이 콘텐츠 출처가 되는 데이터로부터 AI가 생성했다는 사실을 공개하도록 했다. 예를 들어, 오픈AI의 달리(Dall-E)에서 만든 모든 이미지는 이제 메타데이터에 AI가 생성했다는 것을 나타내는 작은 ‘태그’가 필요하다. 이미 많은 AI 회사가 이를 실행하고 있다. 사용자들은 이에 출처가 된 데이터를 읽거나, AI가 생성한 콘텐츠임을 감지할 수 있게 된다. 시중엔 이에 도움이 되는 무료 도구도 여러 개 있다.

선거에 영향을 미칠 수 있는 ▲선거용 AI딥페이크를 단속하는 세 가지 법률도 발효되었다.그 중 AB 2655는 페이스북이나 X와 같은 대규모 온라인 플랫폼이 선거와 관련된 AI 딥페이크를 제거하거나 레이블을 지정하고, 이러한 콘텐츠를 공표할 수 있는 채널을 만들 것을 의무화했다. 만약 이들 플랫폼이 해당 법을 준수하지 않는 경우, 후보자와 선출된 공무원은 가처분 구제를 요청할 수 있다.

또 다른 법률인 AB 2839는 유권자를 속일 수 있는 AI 딥페이크를 게시하거나, 다시 게시하는 소셜 미디어 사용자를 겨냥한 것이다. 트럼프가 유명 뮤지션 테일러 스위프트가 자신을 지지하는 양 조작된 AI딥페이크 영상을 자신의 ‘Truth Social’에 게시하는 것도 불법이 된다. 특히 일론 머스크는 정확히 이 법률을 위반한 것으로 판명되어 앞으로의 일이 주목된다.

AI가 생성한 정치 광고는 이제 또 다른 새로운 법률인 AB 2355에 따라 전면 공개가 필요하다. 이는 또 AI가 생성한 음성을 사용하는 로보콜을 불법으로 만들었다.

고인 포함, 영화 등 저작권도 강력 보호 명시

뉴섬 지사가 이번에 서명한 두 가지 법률도 눈길을 끈다. 그 중 AB 2602는 미국 최대의 영화 및 방송 배우 노조인 SAG-AFTRA가 요구해왔던 것이다. 즉, 특정 스튜디오가 배우의 음성이나 모습을 AI가 생성한 복제본을 만들기 전에 배우의 허가를 받아야 한다는 내용이다. 이는 앞으로 캘리포니아 미디어 산업에 새로운 기준을 제시할 것으로 보인다.

또 다른 법률인 AB 1836은 사망한 연기자의 유가족의 동의 없이 고인의 디지털 복제품을 만드는 것을 금지한다.

한편 뉴섬 주지사는 9월 말까지 나머지 AI 관련 법안 30개를 검토, 서명 여부를 결정해야 한다. 그는 17일 열린 세일즈포스의 ‘2024 Dreamforce 컨퍼런스’에서 세일즈포스 CEO인 마크 베니오프와의 대담을 통해 ‘SB 1047’에 대해선 신중을 태도를 보여 주목을 끈다.

그느 “공적 담론과 의식 측면에서 다소 과장된 법안이 하나 있는데, 바로 SB 1047”이라며 “AI의 입증 가능한 위험이나, 가정적인 위험을 뚜렷이 식별하기 어렵다. 법률로 이 모든 것을 해결할 수는 없다”고 다소 회의적 태도를 보였다.