(2-②) 美캘리포니아 ‘AI안전법’-“‘뉴욕주법’ 비해 규제 약화”

[애플경제 이윤순 기자] 이번 미 캘리포니아 주 ‘AI안전법’((SB53)은 당초 취지가 무색할 만큼 실리콘밸리와 빅테크 등의 로비와 압력으로 많은 규제 조항이 완화되거나 삭제되었다. 이는 역시 의회 통과 후 주지사 서명을 기다리고 있는 뉴욕 주법과는 대조적이다. 뉴욕주 ‘AI 안전법’은 애초 캘리포니아주 ‘SB53’이 의도했던 강력한 규제 수준을 고수하고 있다.

우선 업계 로비의 영향으로 캘리포니아 주 의원들은 AI 기업이 해킹 사고를 보고하도록 의무화한 한 조항 가운데, 신체적 피해가 발생한 경우를 제외하곤 대부분의 내용을 크게 완화했다. 이에 비해 곧 제정될 뉴욕 법안은 인명 사고 뿐 아니라, 심각한 피해 가능성이 있는 경우에도 보고를 의무화하도록 했다.

부상·사망시 벌금 수준 크게 완화

캘리포니아 법은 AI 기업이 안전 계획에상의 민감한 정보를 숨길 수 있도록 허용하는 반면, 뉴욕 법안은 공무원이 연방법으로 보호되는 부분을 제외한, 편집된 부분까지 검사할 수 있도록 허용했다. 또한 캘리포니아는 50명이 부상 또는 사망하거나 최소 10억 달러의 피해를 유발하는 사건조차 벌금을 대폭 삭감했다. 초안의 1천만 달러에서 현재 사건당 100만 달러로 인하되었다. 이에 비해 뉴욕주는 재범 시 최대 3천만 달러의 벌금을 부과하도록 했다.

다만 몇 가지 중요한 개혁안은 통과되었다. ‘SB 53’ 최종안은 대형 AI 기업들이 자사의 안전 계획을 온라인에 게시하도록 규정하고 있다. 또한 기업들이 중대한 안전 사고를 ‘캘리포니아 비상 서비스국’(COES)에 보고하도록 규정하고 있다.

지난 7월 공개된 캘리포니아 주 법안의 초안은 AI 기업이 안전 위험을 초래할 수 있는 핵심 코드의 도난이나, 무단 수정과 관련된 침입 사건을 공개하도록 했다. 그러나 지난 9월 5일에는 그런 사건으로 인해 사람이 부상당하거나 사망한 경우에만 보고하는 내용으로 바뀌었다.

규제의 핵심 ‘모델 가중치’

특히 고급 챗봇에 대한 규제의 핵심은 ‘모델 가중치’다. 챗GPT, 클로드, 제미니, 그록 등과 같은 대규모 언어 모델이 대상이다. 이들은 대부분 인터넷에서 수집된 방대한 양의 데이터를 읽고 인코딩함으로써 다양한 주제에 대해 인간과 같은 대화 능력과 전문성을 보여준다.

예를 들어 테러리스트가 치명적인 팬데믹을 일으키는 데 사용할 수 있는 ‘바이러스 제작 단계별 지침’과 같은 위험한 정보를 유출하지 못하도록 안전 규칙이 추가되었다. 이런 모델 가중치를 수정할 경우엔 그야말로 안전 조건을 무장해제할 수 있게 된다.

보안업체 ‘시큐어 AI 프로젝트’는 “‘모델 가중치’ 도용이 치명적인 결과를 초래할 수 있다”고 강조한다.

그러나 전문가들은 뉴욕주가 성안한 ‘AI 안전 및 교육법’(RAISE Act)은 그런 우려의 소지를 없앴지만, 캘리포니아 법안은 미흡하다는 평가다. 미국의 싱크탱크 ‘미래생명연구소’는 “‘모델 가중치’ 유출은 전체 모델을 불안정하게 만들기 때문에 당국과 대중에게 매우 심각한 위험 신호”라며 “이게 부상의 원인이 되고, 생물무기 제작의 빌미가 되며, 통제 불능 사고의 시발점이 될 수도 있다”고 지적했다.

뉴욕 주 안전장치 충실히 지켜

그런 안전 장치를 뉴욕주는 충실히 지킨 셈이다. 즉 안전 사고가 “‘심각한 피해’ 위험 증가를 입증할 수 있는 증거가 있는 방식”으로 발생할 경우 보고 대상이다. 이 법안은 사용자의 요청 없이 모델이 자율적으로(제 마음대로) 작동하는 상황, 모델의 도난이나 탈출, 인간의 통제력 상실, 또는 기타 무단 사용 등 다양한 위험 시나리오를 예상하며 대응하도록 했다.

즉 “모델은 안전 가드레일을 갖도록 훈련된다”면서 “설령 핵심 코드가 도용되더라도 모델에는 여전히 어느 정도 안전 장치가 있을 수 있다. 그러나 모델을 완벽하게 제어할 수 있다면 학습을 통해 그 안전 장치들을 없앨 수 있다”고 위험성을 경고했다. 그러나 캘리포니아 법안은 그 역할을 하지 못했다고 말했습니다.

이 법안의 발의자인 뉴욕주 상원의원 앤드류 구나르데스의 홍보 담당 이사인 빌 리클링은 ‘베타뉴스’에 “여기엔 실제로 심각한 피해가 포함될 것”이라며 “하지만 아직 피해로 이어지지 않은 사건들도 포함될 수 있다”고 강조했다.