AI(인공지능) 법규제에 대한 논의가 세계적으로 본격화되고 있다. EU는 2024년 5월 세계 최초로 AI 규제법을 통과시켰으며, 미국은 지난해 바이든 정부가 '안전한 AI 개발 및 관리를 위한 연방정부와 기관의 조치 사항을 규정한 행정명령'을 발표한 바 있다. 이렇게 AI 법안 제정을 위해 주요국에서 속도를 내고 있는 가운데, 일본 또한 올 8월 ‘AI 제도연구회’를 신설하고 법규의 방향에 대한 검토를 시작했다. ChatGPT의 등장으로 기업들이 AI 개발과 활용을 서두르고 있지만, AI를 안전하게 사용하기 위해서는 적절한 규칙이 필요하다. 본고에서는 일본의 AI 규칙 제정 현황과 법규의 움직임을 주시하며, 선제적으로 조직 체계를 정비한 기업과 법의 테두리 안에서 AI 관련 툴을 유용하게 활용하는 기업을 소개한다.

일본 정부, AI 법 규제 본격 논의

올 1분기까지만 해도 일본의 AI 관련 법규는 주로 가이드라인 제공을 통한 자율규제 기조를 보여왔다. 총무성과 경제산업성은 올해 4월 'AI 사업자 가이드라인'을 발표해 AI를 개발, 제공, 이용하는 사업자를 대상으로 사업 추진의 방향을 제공했다. 이 가이드라인은 2019년 3월 일본 내각부가 정리한 ‘인간 중심의 AI 사회 원칙’을 바탕으로 하고 있으며 기존 ‘AI 개발 가이드라인’ 등 3개 가이드라인을 통합하고 해외 동향과 신기술을 반영해 작성됐는데 ‘인간 중심’, ‘안전성’, ‘프라이버시 보호’ 등 10개 항목을 포함해 AI를 개발·제공·이용하는 기업이 AI에서 발생하는 리스크를 줄이고 규칙을 준수하면서 AI 사업을 발전시킬 것을 요구하고 있다.

<AI 사업자 가이드라인의 ‘각 주체 공통 지침’>

[자료: 총무성/경제산업성]

다만, ‘AI 사업자 가이드라인’은 기업이 가이드라인을 참고해 필요한 부분을 취사선택하면서 자율적으로 대응할 수 있도록 지원하는 취지기 때문에 기업 입장에서 선택의 폭이 넓기도 하지만 사업 추진의 갈피를 잡지 못할 수 있다.

이러한 배경하에 일본 정부는 지난 8월 2일 총리 관저에서 AI 규제법 제정을 위한 'AI 제도연구회'의 첫 회의를 개최했다. 가이드라인 발표 이후 몇 개월 지나지 않은 시점에서 본격 법 규제 논의에 들어서게 된 것은 기업의 재량에 맡기기에는 AI의 리스크가 다양하고, 또 점점 커지고 있기 때문이다. 해외 법 제도에 정통한 대학교수, 변호사, 관련 업계, 경제단체, 소비자 단체 등의 전문가들로 구성된 AI 제도연구회에서는 AI 관련 법 정비의 필요성 여부, 구체적인 적용 범위와 법체계 등에 대해 논의할 전망이다. 첫 회의에서는 “생성형 AI의 리스크는 단기간에 변화한다. 뒤처지지 않도록 해야 한다”, “법규제의 규제 대상을 명확히 해야 한다”, “외국 기업도 포함해서 규제해야 한다”라는 등의 의견이 나왔다. 동 연구회는 AI 개발자와 전문가를 대상으로 청문회를 거쳐 올 3분기 중 중간보고 및 법안을 완성하고, 이르면 내년 정기국회에 법안 제출 및 2026년도 본격 시행을 목표로 하고 있다.

사내 조직을 재정비한 NTT

일본은 대기업을 중심으로 AI 사용에 대한 규칙과 법규의 움직임을 주시하며 조직 체계를 정비하고 있다. NTT 그룹은 2024년 7월 사내 조직개편을 통해 기술 기획 부문 내 AI 거버넌스 실을 신설했다. AI 거버넌스 실의 구체적인 구성원은 공개된 바 없으나, 그룹사의 AI 리스크 관리 상황 모니터링과 평가, 인재 육성 등을 담당할 예정이다.

지난 6월에는 그룹 계열사가 활용하는 기본 방침인 ‘NTT 그룹 AI 헌장’ 등의 규정을 제정하고 자사의 대규모 언어 모델(LLM) ‘츠즈미(Tsuzumi)’를 개발하는 등 AI 상용 서비스 전개와 동시에 AI 리스크 관리에도 힘쓰고 있다.

또한 AI 리스크 관리를 위해 최고 책임자인 'Co-CAIO(Co-Chief Artificial Intelligence Officer)' 직책을 2인 체제로 신설해 각각 사외용 서비스 대상 AI와 사내업무 절차 대상 AI를 담당하게 한다. AI 거버넌스실은 Co-CAIO를 보좌하는 역할도 맡고 있다. 각 그룹사에는 AI 프로젝트의 리스크 평가와 저감을 위한 AI 리스크 관리 책임자를 배치했으며, 이들은 지식재산권 및 법무 담당자와 함께 2023년 여름부터 매월 1회씩 상황 확인과 후속 조치를 위한 정보 공유를 진행하고 있다.

<NTT그룹의 AI 리스크 분류>

[자료: 닛케이 XTech 자료를 토대로 도쿄 무역관 작성]

NTT는 AI 이용 리스크에 대한 사례별 색상 분류를 그룹 내에서 통일했다. 빨간색은 ‘금지 수준’, 노란색은 ‘고위험’, 파란색은 ‘제한적 위험’을 의미하며 위의 세 가지로 분류된다. 각 유형에 해당하는 사례는 발생하는 안건에 대응하면서 축적해 나간다. 계열사들은 AI 프로젝트를 진행할 때 프로젝트 매니저와 소속 AI 리스크 관리 책임자가 리스크를 색깔 분류에 따라 판단하면서 이중으로 점검한다. 노란색으로 분류되는 ‘고위험’은 특히 구분이 어려운 부분으로, 어느 수준까지 리스크를 줄여야 하는지가 관건이다. 최종 판단은 사내 전문가인 AI 리스크 관리 책임자가 담당해야 하기 때문에 향후 AI 리스크 관리 책임자의 전문성을 높여야 할 필요가 있다. NTT 측은 정부의 AI 법규가 완성될 경우 이에 즉각적으로 대응해 나갈 방침이다.

AI 윤리 원칙을 수립한 히타치

히타치는 AI 규칙 대응을 위해 사내 데이터사이언티스트팀을 포함해 보안, 법무 등 다양한 분야의 전문가들과 함께 2021년 2월에 AI 윤리 원칙을 제정하고 AI 윤리를 준수하는 체계를 정비했다. AI 윤리 원칙은 AI 활용에 있어 ① 계획(지속 가능한 사회 실현을 위한 AI 개발 및 활용), ② 사회 도입(인간 중심의 관점에서 AI를 사회에 도입), ③ 유지 관리(제공 가치가 장기간 지속될 수 있도록 AI를 유지 관리)의 3단계 행동 규범을 설정하고 있다. 또한, 모든 단계에 공통적으로 적용되는 7가지 실천 항목—안전 중시, 사생활 보호, 공평성 실현, 적절한 개발 및 활용, 투명성 및 책임성 중시, 보안 중시, 법령 준수—도 정해놓았다.

이 원칙을 바탕으로 히타치는 연구개발, 제품 개발 기획, 시스템 도입 및 PoC(Proof of Concept) 등 다양한 단계에서 상기 7가지 실천 항목을 기준으로 AI의 리스크를 평가하고 있으며 2021년부터 3년간 1000개 이상의 AI 프로젝트를 평가해 왔다.

또한, 생성형 AI의 리스크에 대응하기 위해 2023년 5월 ‘Generative AI 센터’를 설립했는데 데이터사이언티스트, AI 연구자, 사내 전문가로 구성된 CoE(Center of Excellence) 조직이다. 같은 해 12월에는 히타치 전체의 AI 혁신과 거버넌스를 추진하는 최고 책임자로 'CAXO(Chief AI Transformation Officer)' 직책을 신설했다. Generative AI 센터는 AI 부문에서의 사업적 우위를 확보하기 위해 AI의 국제 표준화 규칙 제정에도 관여하고 있다.

점검 툴 도입으로 리스크 헷지하는 세븐은행

AI 리스크에 대비하기 위해 자체적으로 점검 툴을 도입한 기업도 있다. 세븐은행은 신규 ATM 설치 후보지 선정 과정에 AI를 활용하고 있다. 구체적으로는 가동 중인 ATM의 평균 이용 건수와 설치 장소 인근의 유동 인구 데이터 등을 조합해 AI 모델을 만듦으로써 사람이 발견하지 못한 장소를 후보지로 선정하고 있다.

세븐은행은 2022년 7월, 로버스트 인텔리전스사가 개발한 AI 모델의 평가와 리스크를 검증하는 툴 'Robust Intelligence'를 도입했다. Robust Intelligence는 AI에 대한 공격과 AI 시스템의 리스크와 취약점을 체크하는 툴을 활용해 EU에서 통과된 AI법과 AI 국제 규칙을 위한 ‘히로시마 AI 프로세스’를 포함한 다양한 AI 규칙에 대응하고 있다. 이전까지 세븐은행은 코딩으로 리스크를 하나하나 직접 검증해 왔으나, 툴 도입 이후 리스크 검증을 자동화하고 AI 활용 기획과 모델링에 집중할 수 있게 됐다.

그뿐만 아니라 FAQ 검색엔진 개발사 Helpfeel은 고객용 FAQ 설계에서 AI가 질문의 의도를 체크하는 서비스를 제공하고 있다. 답변이 아닌 질문 의도를 기반으로 검색하는 독자적인 기술을 보유하고 있어 사용자의 질문에 대해 잘못된 답변이나 허위 정보를 생성하는 할루시네이션 현상을 방지하고 올바른 정보를 제공할 수 있는 것이 강점이다. 이 때문에 Helpfeel의 AI는 금융상품 거래법에 대응해야 하는 금융 분야 등 정확성이 요구되는 업계에서도 활용되고 있다.

시사점

AI의 보급이 빠르게 진행되면서 리스크도 다양해지고 있다. 스탠퍼드 대학교가 지난 4월 발표한 보고서에 따르면, 2023년 AI가 안전과 윤리 측면에서 악용된 사례는 123건으로, 전년 대비 32% 증가했으며 2년 전보다는 1.7배 증가했다. 같은 보고서에 의하면, 전 세계적으로 안면인식 기술 관련 규칙 등 AI 활용을 제한하는 법률은 매년 증가해 2023년에는 8건이 통과된 반면, AI의 능력을 높이는 법률은 4건 줄어 13건으로 감소하는 추세를 보였다.

한편, 정보통신업계 전문가 A 씨는 KOTRA 도쿄 무역관과의 인터뷰에서 "과도한 규제가 AI의 혁신을 저해해 사업이 위축될 우려가 있다"라며 "AI의 발전은 피할 수 없는 흐름이므로, AI와 공존할 수 있는 미래를 위해 관련 법규의 조속한 마련이 필수적"이라고 강조했다.

전 세계가 AI에 대한 법 규제를 추진하는 이유는 AI가 가져올 위험을 무시할 수 없기 때문이다. AI를 잘못 사용하면 그 AI가 내장된 제품이나 서비스가 이용자의 삶에 큰 영향을 미칠 수 있다. AI가 언제 어디서 위해를 가할지 예측하기 어렵기 때문에, AI를 개발, 제공, 이용하는 기업이나 조직은 리스크 관리를 철저히 해야 한다. 국내시장뿐 아니라 전 세계를 대상으로 비즈니스를 전개하려면 세계 각국의 AI 규칙 제정 동향을 파악하는 것이 필수적이다. 일본에서 AI 법 규제의 움직임이 시작된 만큼, 현지 진출을 희망하는 우리 기업은 수시로 업계 동향을 주시해야 할 것이다. 

자료: NTT, 히타치 등 각사 홈페이지, 닛케이신문, 닛케이XTech, 총무성, 경제산업성, KOTRA 도쿄 무역관 자료 종합