저작권법, 개인정보보호법, 부정경쟁방지법, 정보통신망법 등 저촉 살펴야
크롤링 대상 사이트의 ‘robos.txt’ 유의, 규제내용 확인 후 웹크롤링 바람직
[애플경제 이보영 기자]오픈소스처럼 공익적 특성도 갖추고 있는 ‘커먼 크롤’은 그러나 이를 대중화하기 위해선 법적, 제도적 제약 조건을 유의하며, 이를 극복해야 한다는 지적이다. ‘커먼 크롤’은 웹에서 크롤링한 데이터를 누구나 쉽게 접근하고 분석, 저장·관리하는 만큼, 저작권법이 개인정보보호법 등에 저촉되어서는 안 된다는 얘기다.
일단 ‘커먼 크롤’을 본격 시행하기 위해선 현행 지식재산권법이나 민법상 불법행위 여부 등에 관한 정밀한 검토를 할 필요가 있다. 이에 대해 한국지능정보사회진흥원이 ‘커먼크롤 닷컴’ 등 국내외 기관과 언론 자료를 분석, 요약한 바에 따르면 우선 지식재산권 차원의 저작권법이 대표적이다.
이 경우 타인의 저작물을 크롤링하여 수집하는 경우 저작권 이슈가 발생할 수 있는 데이터를 수집대상에서 제외할 것을 권하고 있다. 특히 “수집된 데이터를 부정경쟁에 활용될 수 있는 형태(DB 등)로 제공하지 않아야 하며, 부정경쟁방지법에 해당되는 사례에 대한 안내도 필수”라고 당부했다.
개인정보 보호법과 위치정보법도 중요하다. 개인정보 및 위치정보가 포함되어 있는 데이터 수집을 개인정보 이슈가 발생하지 않도록 주의해야 한다. 또 수집된 데이터에 대하여 비식별화 또는 가명정보처리 후 처리하는게 바람직하다. 특히 “개인정보 보호 등 비식별화에 대한 주의사항에 유의할 것”도 지적했다.
부정경쟁방지법이나 정보통신망법 등도 살펴야 한다. 즉, 데이터를 부정하게 사용하는 경우나, 웹 크롤링 데이터의 판매 등 형법에 따른 부정한 사용에 대한 금지, 부정 사용에 대한 사례 공지 등을 유의해야 한다.
특히 부정경쟁방지법적 측면에서 저촉되지 않는 범위에서 웹 크롤러 또는 웹 봇이 웹 사이트를 긁거나 액세스할 수 있도록 해야 한다. 기술적 보호 조치의 위반은 피해야 하며, 웹 크롤링을 사용하여 웹사이트에 액세스하려고 할 때 먼저 페이지의 ‘robots.txt’를 확인하는 것이 바람직하다는 주문이다. 또한 한국지능정보사회진흥원은 “플랫폼 및 웹사이트 운영자의 이용약관이 데이터 크롤링을 명시적으로 금지하는 경우 사업체가 상업적 목적으로 플랫폼에서 데이터를 추출하는 은 허용되지 않음을 유의할 것”을 당부하고 있다.
이용약관에 의한 통제나 이용약관에 의한 사용금지도 유의할 대목이다. 이런 주의사항이 언급된 경우 민법상 불법행위가 되지 않도록 안내할 필요가 있다. 즉, 크롤링 대상 사이트의 이용약관에 대한 위반행위도 금지된다. “만약 크롤링이 이용약관상 금지되어 있는 사이트에서 크롤링을 하게 되면 불법행위책임(민법 제750조)이 문제될 소지가 있다”는게 진흥원의 해석이다. 다만 그렇더라도 회원 등록이 필요없고 누구나 볼 수 있는 콘텐츠를 크롤링하는 경우에는 상기 이용약관 위반은 문제가 되지 않을 것으로 보고 있다.
기타 불법행위책임도 뒤따른다. 즉, 크롤러 웹사이트의 액세스를 제한하기 위한 조치(robot.
txt 등)가 취해지고 있는 경우, 민법상 불법행위가 되지 않도록 주의할 필요가 있다. 즉 크롤러 웹사이트의 액세스를 제한하기 위한 조치(robot.txt 등)가 취해지고 있는 경우 그러한 조치를 깨고 크롤링한 경우는 민법상 불법해위에 해당된다는 해석이다.
진흥원은 전문가의 논문(김현숙, ’크롤링을 이용한 공개데이터 수집 · 활용의 법적 쟁점에 대한 비판적 검토‘, 2020)을 인용하여, 이같은 관련법규 적용에 대한 방법론을 나름대로 시사하고 있다. 즉 눈문이 밝힌 바, “웹 크롤링 기술을 활용한 공개데이터는 데이터 종류·유형·가공·정제 여부에 따라 허용 범위를 유연하게 적용할 필요 있고, 가공 전의 단순 데이터는 사회 공동의 자산이라고 할 수 있어 사회 전체의 공공복리를 발전시키는 것이라면 허용하는 것이 효율적”이라는 내용이다.
또 “웹크롤링 수행 프로세스가 브라우저를 자동으로 조정하여 데이터를 웹 사이트에 요청하고 데이터를 웹 사이트로 내려받기 때문에 웹크롤링 행위 자체는 합법”이라는 입장도 밝히고 있다. 이런 시각에서 웹 크롤링의 원칙적 허용에 방점을 찍고 있다. “사업체가 인터넷에서 공개적으로 사용 가능한 데이터에 대해 법을 준수 방식으로 사용하려면 해당 활동이 허용되는 프레임워크 내에서 이루어져야 한다”는 것이다.
다만 웹 크롤링이 불법인 경우는 명확하게 구분하고 있다. 즉 웹 크롤링으로 수집된 데이터를 복제하여 상업적 목적으로 데이터 자체를 판매하며 금전적 이익을 취하는 경우다. 단, 연구자가 특정 현상을 분석하기 위해 데이터를 수집하고 논문을 작성한 경우는 예외다. 또 자동화 프로그램을 통해 상대 서버에 문제를 일으키는 경우도 문제다. “웹 크롤링으로 서버에 부하를 줄 정도로 웹 크롤링 알고리즘을 조작하는 것은 피해야 한다”는 지적이다.
진흥원은 결론적으로 합법적인 웹 크롤링의 범주를 분명히 하고 있다. 즉 “웹 사이트는 자동화 프로그램에 대한 규제 여부를 robos.txt를 통하여 웹사이트의 규제내용에 대해서 확인할 수 있다”면서 “ robots.txt는 법적 효력이 있는 내용이 아니지만, 허용되지 않는 페이지에 대해 웹 크롤링을 하지 않는 것이 바람직하다”는 권고다.