AI 서비스 대상 규제를 선도하는 캘리포니아

최근 미국 사회에서는 챗봇, 이미지 생성, 음성 합성 등에 생성형 인공지능(이하 AI)의 활용이 폭발적으로 증가하면서 개인정보 침해, 허위 정보의 확산, 노동시장 충격 등 부작용에 대한 우려가 커지고 있다. 특히 기술혁신의 중심지인 캘리포니아는 AI의 활발한 사용과 더불어 잠재적 위험을 제도적으로 관리해야 한다는 사회적인 요구가 높아지고 있다. 이에 캘리포니아 의회는 2024년을 기점으로 AI와 관련된 주요 법안을 심의 및 의결하고 있다. 대표적인 법안은 아래와 같다.

SB 942 캘리포니아 AI 투명성 법안(California AI Transparency Act)은 생성형 AI 서비스를 제공하는 기업을 대상으로 대상 콘텐츠에 AI가 사용되었는지를 판별할 수 있도록 제공해야 한다는 내용을 담고 있다. 법안에서는 AI 생성 콘텐츠를 대상으로 한 △식별도구 무료 공개, △명시적 표시 옵션 제공, △메타데이터 삽입을 의무화하고 있다. 해당 법안은 적용 대상을 생성형 AI 시스템을 창작·코딩·제공하는 자로, 캘리포니아 내 월간 사용자 수 100만 명 이상의 대중적 접근이 가능한 경우로 정의하고 있다. 이에 따라 해당 정책이 시행되는 2026년 1월 1일부터 대형언어모델(LLM) 기반 챗봇인 ChatGPT와 구글 바드(Bard), 콘텐츠 생성 플랫폼인 Midjourney와 Adobe Firefly와 같은 온라인 서비스에 대한 추가적인 의무가 부과될 예정이다.

AB 2839 선거 딥페이크 규제 법안(Elections: Deceptive Media in Advertisements)은 선거기간 중 AI를 활용한 허위 선거 관련 광고와 미디어 커뮤니케이션을 금지하는 내용을 담고 있다. 해당 법안의 입법 목적은 AI 기반 조작을 활용한 허위 광고 또는 오도가 선거의 신뢰도를 훼손하는 것을 방지하기 위함이며, 이에 적용 대상에 후보자와 공직자 뿐만 아니라 선거관리자와 투표기계 등 선거 장비를 포함한다. 캘리포니아는 2024년 9월 17일 해당 법안을 즉시 발효하였으며, 이후 미국 20여 개 주가 유사한 규제를 도입하였다.

SB 896 생성형 AI 책임 법령(Generative Artificial Intelligence Accountability Act)은 캘리포니아의 주정부를 대상으로 한 AI 사용에 따른 위험성 평가와 사용자 대상 고지 의무를 규정하고 있다. 캘리포니아는 해당 법안이 공정성, 투명성, 사생활 보호 의무 및 책임에 기반한 AI 활용과 잠재적 위험에 대비한 정부 운영을 목적으로 하고 있다고 밝혔다. 이에 따라 캘리포니아의 모든 주정부 기관과 부서는 △AI의 혜택과 위험성을 분석한 보고서를 제출해야 하며, △공공서비스에 AI가 적용된 경우 AI에 의한 서비스임을 고지하고, AI가 아닌 사람과 직접 연락할 수 있는 방법을 안내해야 한다. 해당 법안은 2025년 1월 1일부터 적용되고 있다.

<미국 주(州)별 AI 관련 법안 입법 현황 (2016-2024 합계)>

[자료: Artificial Intelligence Index Report 2025]

이 외에도 캘리포니아 소비자 개인정보 보호법(CCPA)은 자동화된 의사결정 기술(ADMT; Automated Decision-Making Technology)의 일환으로서 생성형 AI를 명시하며, 해당 기술의 사용 시 소비자의 권리 보호를 명시하고 있다. 또한 “생성형 AI 학습 데이터 투명성 법안(AB 2013)”은 AI 서비스 개발에 사용된 데이터의 출처, 소유자, 유형 등을 설명한 자료를 공개하도록 의무화하고 있다.

캘리포니아에서 AI 규제가 늘어나는 이유

이처럼 캘리포니아는 주 차원에서 AI 활용의 투명성, 딥페이크, 공공기관의 AI 사용 등 AI가 사용되는 다양한 상황과 맥락에 따른 규제를 도입하는 움직임이 이어지고 있다. 선거 딥페이크 규제 법안(AB 2839)의 사례에서 알 수 있듯, 캘리포니아는 미국 내 다른 주들에 비해 더 빠른 움직임을 보이고 있다. 미국 내에서는 이러한 선도적 움직임의 원인을 아래와 같이 크게 두 가지 요인으로 분석하고 있다.

피해 확산 생성형 AI의 급속한 확산으로 인한 실제 피해 사례가 보고되는 경우가 늘어나며 이에 따른 정치적 압력이 증가하였다는 분석이다. 실제 미국 내에서는 딥페이크에 의한 선거 관련 허위 콘텐츠 유포, 챗봇에 의한 자살 유발 가능성 논란과 같이 AI 서비스의 부정적인 사례가 보고되고 있다. 이에 기술 남용에 대한 현지 유권자와 관련 단체의 우려가 입법으로 이어졌다는 시각이다.

연방 규제의 공백 미국 연방정부 차원에서의 일관적인 AI 관련 규제의 부재를 극복하고 거버넌스를 선도하기 위한 움직임이라는 분석도 존재한다. 미국 내에서도 경제적, 사회적 파급력이 큰 캘리포니아에서 AI와 관련된 국내의 거버넌스 초안을 제시하고자 하는 목적이라는 해석이다. 또한 실리콘밸리를 포함한 관련 산업의 선두 주자로서 책임 있는 AI(Responsible AI)와 소비자 보호에 앞장섬으로써 선도적 지위를 확보하려는 의도라고 해석되기도 한다.

AI 규제 확대에 따른 기업 리스크 요인

이와 같은 캘리포니아의 입법은 생성형 AI 기반 서비스를 이용하는 소비자의 권리를 보장하고 부정적인 방식으로 AI를 사용하는 것을 방지하기 위한 합리적인 움직임으로 평가된다. 그러나, 다른 한 편으로 이러한 규제가 AI 관련 산업의 리스크 요인으로 작용할 수 있다는 비판적인 목소리도 있다. 아래는 캘리포니아가 최근 제정 또는 검토 중인 관련 법령에 따라 기업들에게 부과되는 의무와 그에 따른 리스크 요인을 분석한 결과이다.

비용 상승 AI 기술과 서비스의 투명성을 위하여 캘리포니아의 관련 법령은 기업에게 모델 개발부터 서비스 결과까지 다양한 단계에 대한 의무를 부과하고 있다. 대표적으로 △AI 학습용 데이터의 기록·보관·추적 체계 구축, △AI 모델 검증 및 감사 프로세스 구축, △리스크 평가 및 정보공개 등 합법적으로 AI 서비스를 제공하기 위하여 기업이 유지해야 하는 컴플라이언스 체계가 점차 넓어지고 있다. 이에 따른 비용이 상승하고 있으며, 이는 특히 중소기업과 스타트업에게 부담으로 작용한다.

데이터 리스크 AI 서비스 개발에 사용된 원천 데이터에 대한 정보 공개 의무가 확대되며 학습용 데이터의 저작권과 개인정보 사용에 대한 리스크도 확대될 전망이다. 관련법에 따라 캘리포니아 주민들에게 제공되는 AI 서비스는 데이터의 출처, 개인정보 포함여부를 포함하여 데이터의 수집부터 제3자 제공까지 모든 흐름을 공개 및 보관하여야 한다. 기업의 입장에서는 데이터 전체 주기를 안전하게 관리하고 원천 데이터를 검증하기 위한 추가적인 노력이 필요하게 된다.

규제의 복잡성 생성형 AI 기술에 대한 캘리포니아와 다른 주 간의 규제 차이가 기업의 법적 리스크 관리 부담과 컴플라이언스 비용 증가를 초래하고 있다는 비판이다. 대표적으로, 뉴욕은 AI 채용 지원 서비스에 대한 편향성 감사를 의무화하고 있으며, 일리노이는 생체 데이터 분석 시 제공 주체의 동의를 규정하고 있다. 이처럼 관련 규제의 다양성은 대부분의 생성형 AI 서비스가 온라인으로 제공된다는 점을 고려할 때, 기업에게 더욱 큰 부담으로 작용한다.

AI 규제 확대에 따른 기업 전략

캘리포니아의 AI 분야 규제 확대 기조에 따라 현지 기업들은 관련된 리스크 분석과 대응에 적극적으로 나서고 있다. 실리콘밸리에서는 늘어나는 규제로 인한 기술 혁신의 속도 저하를 우려하는 시각과 함께 비교적 규제에서 자유로운 환경에서 성장하던 AI 서비스에 대한 자성적인 목소리도 나오고 있다. 거대 언어 모델(LLM)을 기반으로 한 생성형 AI 산업에 대한 보다 엄격한 기준이 필요하다는 목소리에 힘이 실리고 있는 것이다. 이에 기업들 또한 관련된 규제가 아직 시행되기 전임에도 선제적인 움직임을 보이고 있다.

라벨링 AI가 생성한 콘텐츠에 “AI 생성물”임을 나타내는 명시적인 표시를 제공하는 방식이다. 최종 결과물 내, 메타데이터, 또는 숨은 태그 방식으로 AI가 생성 주체임을 밝혀 소비자가 이를 인지할 수 있도록 하는 콘텐츠 크레덴셜(contents credentials) 방식이 주로 사용된다. 구글, 마이크로소프트, 오픈AI가 제공하는 생성형 AI 서비스에는 콘텐츠 크레덴셜 방식이 이미 적용됐으며, 이 마커가 삽입된 제작물의 생성 이력은 메타데이터로 저장된다.

<생성형 AI 라벨링>

[자료: ChatGPT 생성 이미지]

안전장치 확보 AI 서비스 전체에 새로운 기술적 안전장치를 추가하는 접근 또한 이루어지고 있다. 일부 기업은 미성년자 보호를 위하여 로그인을 통해 사용자의 연령에 맞춘 주제와 콘텐츠만 제공하는 필터링 시스템을 도입했다. HITL(Human-in-the-loop)로 불리는 단계를 통해 AI를 통한 의사결정 시 사람의 개입을 의무화하는 방식도 사용되고 있다. AI 진료보조 솔루션 사용 시 최종 진단 결과는 의사가 반드시 검토하도록 절차화한 사례가 대표적이다.

거버넌스 강화 기업 내부에서 AI 윤리·법무·컴플라이언스 관련 투자의 확대도 관측된다. 정기적인 위험성 평가 및 문서화 프로세스 구축, 모델과 데이터에 대한 출처 추적의 의무화 등의 업무를 전담하는 팀을 신설하거나, 운영 정책을 설립하는 방식으로 운영된다. 또한 구글, 아마존 등 빅테크들은 최근 AI 모델 학습 데이터와 정책에 대한 문서를 적극적으로 공개하고 있다. 

향후 전망 및 시사점

이러한 빅테크의 자율 규제(Self-regulation) 움직임은 관련 시장에 진출하려는 한국 기업에게도 몇 가지 시사점을 제공한다. 캘리포니아는 고용, 공공기관 등 특정 분야나 용도에 사용되는 AI를 보다 세부적으로 규정하는 움직임을 보이고 있으며, 미국 내 다른 주에서도 공통적인 움직임을 확인할 수 있다. 이에 주(州) 단위로 세분화된 요구사항에 맞춘 모델과 서비스 설계 요구가 커지고 있다. 

실리콘밸리 내에서는 규제 준수 솔루션에 대한 수요가 증가하고 있으며, 이는 컴플라이언스 테크(compliance tech)라는 새로운 업종의 탄생으로 이어졌다. 윤리적 AI, AI 책임성과 관련된 분야 또한 법무 및 컨설팅 분야에서 확대되고 있다. AI 모델의 개발 방식 뿐만 아니라 원천 데이터셋, 그리고 사용자에 의한 서비스의 사용까지 기업의 전체 비즈니스 모델에 대한 개선이 요구되고 있기 때문이다.

이에 관련 시장 진출을 계획하고 있는 우리 기업들은 △지역별 관련 정책에 대한 우선적 검토, △데이터셋부터 서비스 이용까지의 영향성 사전 평가, △법률적 리스크에 대응하기 위한 로컬 파트너십을 우선적으로 검토해야 한다. 빠르게 발전하고 있는 생성형 AI 시장에 맞춘 캘리포니아의 규제를 바탕으로 미국의 AI 산업의 방향을 가늠하고, 서비스 정책을 재조정하는 시점이 필요한 까닭이다.

자료: Governor of California, California Legislative Information, Politico, California Lawyers Association, Stanford University Human-Centered Artificial Intelligence, KOTRA 실리콘밸리무역관 종합