전체메뉴

[애플경제 전윤미 기자] 각종 언론보도 기사나 크리에이터들의 콘텐츠를 무단으로 베끼는 사례가 여전히 근절되지 않고 있다. 특히 AI 기업들이 학습과 데이터 수집을 위해 이런 행위를 반복하면서 언론사나 창작자들과의 분쟁이 끊이지 않고 있다.

국내뿐 아니라 해외 각국에서도 공통된 현상이다. 이에 미국의 ICT 기업 클라우드플레어가 기존보다 훨씬 기능을 강화한 ‘AI크롤러 차단 앱’을 배포, 새삼 인기를 끌고 있다. 그 동안 이런 무단 ‘크롤러’ 행위가 지속되면서, 이 회사는 더욱 강화된 기능의 ‘무단 클롤러 방지’ 버전을 배포한 것이다. 웹 브라우저 운영자들은 이를 크게 반기는 분위기다.

무단 콘텐츠 스크래핑 ‘여전’

AI 기업들이 여전히 무제한으로 크리에이터들의 콘텐츠를 스크래핑하는 경우가 많다. 이에 클라우드플레어는 AI 크롤러가 허가나 보상 없이 콘텐츠에 접근하는 것을 차단하는 새로운 기능을 발표했다. 크리에이터나 콘텐츠 제작자들은 이를 활용하면, 접속한 AI크롤러에 요금을 부과할지, 아니면 차단할지를 오래 고민할 필요가 없다. 웹사이트 소유주들로선 크롤러를 차단하거나, 비용을 지불하도록 판단 기준을 제공하고 있다.

외신을 종합하면 클라우드플레어 CEO 매튜 프린스는 1일 직접 이를 언론에 공개하며, “1일부터 기본적으로 해당 기능이 제공되며, 웹사이트 소유주가 AI 크롤러의 콘텐츠 접근 여부를 선택할 수 있도록 한다”고 밝혔다.

현재는 일부 고객을 대상으로 비공개 프리뷰로 ‘크롤링당 과금’ 기능을 제공하고 있다. 웹 소유자나 크리에이터 등은 AI 크롤링 봇이 콘텐츠를 스크래핑하기 전에 가격을 책정, “돈을 내라”고 요구할 수 있다. 이로 인해 AI 기업들은 크롤링 용도를 명확히 밝히고, 훈련이나, 추론, 또는 검색 목적으로 사용되는지 여부를 공개해야 한다. 그래서 “웹사이트 소유자가 어떤 크롤러를 허용할지 결정하는 데 도움이 될 것”이란 얘기다.

클라우드플레어, 한층 강화된 ‘3가지 옵션’

이번에 한층 보강한 새로운 시스템에 따라 콘텐츠 제작자와 웹사이트 소유자는 개별 AI 크롤러를 상대할 때 세 가지 옵션을 선택할 수 있다.

우선은 ‘허용’이다. 즉, AI 크롤러가 선택한 콘텐츠에 무료로 접근할 수 있도록 허용하는 것이다. 다음 옵션은 아예 ‘차단’하는 것이다. 해당 옵션을 사용하면 AI 크롤러의 접근을 완전히 차단할 수 있다. 이는 AI크롤러를 운영하는 AI기업이 요금을 지불하고 구매할 수 있는 기회조차 제공되지 않는다.

세 번째는 정식으로 요금을 ‘청구’하며 크롤러를 허용하는 것이다. 콘텐츠 제작자와 웹사이트 소유자는 이런 방법을 통해 접속에 따른 요금을 부과할 수 있다.

그러나 이번 클라우드플래어의 새로운 크롤링당 ‘과금’ 모델은 비공개 베타 단계(출시)에 진입하기도 전에 심각한 ‘스푸핑’을 극복해야 했다.

클라우드플레어 개발팀은 어떤 크롤러에 무료로 접근할지, 어떤 크롤러엔 유료로 접근할지, 그리고 어떤 크롤러에 완전히 접근할지를 선택할 수 있는 기능을 통해 해커가 특정 크롤러를 스푸핑하는 것을 방지해야 했다. 스푸핑 방지를 위해 ‘웹 봇 인증’을 활용했다. 이 기술은 ‘Ed25519’ 키 쌍과 HTTP 메시지 서명을 활용, 각 요청을 처리하는 방식이다. 이는 궁극적으로 크롤러의 신원을 확인하고, 사례별로 접근 권한을 부여하거나 거부한다.

‘Ed25519’ 키는 타원곡선 암호 알고리즘을 사용하는 공개키 암호화 방식이다. 기존의 RSA와 비교해서 안정성은 비슷하지만, 상대적으로 길이가 짧다. 덕분에 컴퓨터 연산 속도가 느려지지 않으면서 동일한 안정성을 기할 수 있다.

문제는 ‘공정한 보상’과 무단 침해 방지

이같은 클라우드플래어의 새로운 방식은 온라인 콘텐츠에 대한 통제권을 원래 제작자와 소유자에게 돌려주려는 시도라고 할 수 있다. 최근 크리에이터들의 커뮤니티인 ‘크리에이티브 커먼즈’(Creative Commons)가 “AI 학습에 창작물을 사용할 경우 반드시 보상을 제공해야 한다”며 나름의 프레임워크를 발표한 것과도 같은 취지다.

물론 이러한 계획이 창작자에게 더 많은 혜택을 제공할지는 두고 볼 일이다. 다만 기존의 무단 콘텐츠 절취에 대한 경각심을 불러일으킨다는 점에선 의미가 크다는 평가다.

클라우드플레어 측은 이같은 새 기능을 발표하면서 “(웹 브라우저 소유자의) 선택이 이분법적일 필요는 없다고 생각한다”면서 “종전과는 다른, 더욱 섬세한 옵션, 즉 접근 요금을 부과하는 방식이 필요하다”고 강조했다. 즉 “일괄적인 차단이나 무상 개방형 접근 대신, 콘텐츠 소유자가 인터넷 규모로 콘텐츠를 수익화할 수 있도록 지원하기 위한 것”이란 취지를 재확인했다.

클라우드플레어 CEO인 매튜 프린스는 “인터넷이 AI 시대를 살아남으려면 게시자에게 마땅한 통제권을 부여하고 창작자, 소비자, 미래의 AI 개발자, 그리고 웹의 미래까지 모두에게 효과적인 새로운 경제 모델을 구축해야 한다”면서 “콘텐츠 원본은 인터넷을 지난 세기 최고의 발명품 중 하나로 만드는 요소이며, 창작자들이 계속해서 오리지널 콘텐츠를 만드는 것이 중요하다.”고 강조했다. 그의 이런 주장은 일개 기업의 ‘이윤 동기’를 넘어선, 공익적 의미도 적지 않다는 평가다.

모든 신규 도메인 가입시, ‘AI 크롤러’ 여부 점검

그는 또 “‘AI크롤러’들은 제한 없이 콘텐츠를 스크래핑해 왔다”고 언급하며, “AI 기업의 혁신을 지원하는 동시에 창작자에게 권한을 돌려주는 것을 목표로 한다”고 밝혔다. 그러면서 “이는 모두에게 효과적인 새로운 모델을 통해 자유롭고 활기찬 인터넷의 미래를 보호하는 것”이라고 주장, 공감을 얻고 있다.

앞서 클라우드플레어는 지난 2024년 9월 ‘AI 크롤러’ 차단 옵션을 도입하는 등 문제 해결을 위한 여러 조치를 취해 왔다. 출시 이후 전 세계적으로 100만 명이 넘는 사용자들이 사용했지만, 이는 극소수에 해당하는 수치다. 그런 가운데 이번엔 그 기능을 대폭 강화하고, 일부 무료 베타 버전도 배포, 저변을 넓히고 있다.

회사측에 따르면 이번 조치는 일단 (웹 브라우드 소유자들의) 권한을 강화하기 위한 ‘첫 단계’일 수 있다. AI 기업들은 콘텐츠를 스크래핑하기 전에 웹사이트의 이젠 ‘명시적 허가’를 받아야 한다. 특히 모든 신규 도메인에 가입할 때마다, ‘AI 크롤러’ 허용 여부를 묻게 된다.

결국 모든 신규 도메인이 기본적으로 제어 기능을 제공하게 된다. 이는 종전처럼 웹페이지 소유자가 (차단 또는 요금 청구) 설정을 일일이 수동으로 변경, 거부할 필요가 없다는 뜻이다. 언제든지 설정을 쉽게 할 수 있고, 접속자가 콘텐츠에 자유롭게 접근하고 싶은 경우 크롤링을 활성화할(허용할) 수도 있다.