의성어·의태어를 수치화해 단어로 변환, 시적인 표현까지 가능 -
- 음악, 의료분야, 광고, 마케팅 등에 응용 기대 - 

□ 인공지능(AI)이 작사한 가사에 맞추어 노래하는 아이돌 '가면여자'

  ㅇ 일본 전기통신대학 사카모토 교수 연구그룹은 도쿄 아키하바라를 중심으로 활동하는 언더그라운드 아이돌 그룹 '가면여자'의 신곡의 AI 작사 프로젝트 성과를 공개했음.
    - 2017년 4월 AI가 작사한 신곡 '전(電)☆어드벤처'를 공개, 인터넷 상에서 '단어 선택이 이상하지만 멋있다', '사용하는 단어가 독특하다' 등의 의견을 받으며 화제가 됨.
    - 전기통신대학 사카모토 마사키 교수 연구 그룹과 아이돌 '가면여자'가 팀을 이루어 해당 그룹의 인기곡 '초☆어드벤처'를 이미지화 한 그림을 바탕으로, 변환 기술을 사용해 AI가 직접 작사함.

(좌)AI가 작사한 신곡을 라이브에서 선보이는 아이돌 그룹 '가면여자', (우)AI가 작사한 가사에 대해 설명하는 사카모토 교수

자료원: 아사히 신문

  ㅇ 2016년 8월 대학 연구 성과를 발표하는 이노베이션 재팬에서 사카모토 교수가 '가면여자'의 멤버와 만나게 됐던 것이 AI 활용 작사 프로젝트 콜라보레이션 기획의 계기였음.
    - 인간이 느끼는 질감을 연구하는 사카모토 교수는 인간이 느끼는 고급감, 자연스러움 등의 감정을 AI가 분석할 수 있다면 인간이 추구하는 가치 및 행동선택도 밝힐 수 있다는 생각에 연구에 몰입
    - 연구 성과를 사용해 '가면여자'와 함께 할 수 있는 것을 찾던 중, 작사를 생각해내고 그에 맞는 프로그램을 개발해 작사 작업에 착수함.

□ 색과 오노마토페, 색과 단어를 변환하는 2가지 기술로 언어를 수치화 

  ㅇ 사카모토 교수가 사용한 첫 번째 기술은 색과 오노마토페(의성어와 의태어를 통틀어 이르는 말)를 서로 변환하는 기술, 즉 오노마토페를 수치화하는 기술임.
    - 예를 들어, '부들부들'이라는 오노마토페를 입력하면, '부드러움'이 0.73, '여성적인'이 0.40 등의 수치로 표시되고, 이미지화하기 쉬운 색을 알려주며 단어를 정량적으로 표현함.
    - '부들부들'과 비슷한 '복슬복슬'은 부드러움, 따뜻함, 둔함 등의 단어의 수치가 높게 표시되는 등 구분이 세밀하게 이루어지는 걸 알 수 있음.
    - 오노마토페에 포함된 음이 인간의 감각에 어떻게 영향을 미치는지를 연구해 음와 음절의 관계를 데이터화함으로써 단어가 인간에게 주는 인상을 추측 가능함.

오노마토페를 입력하며 분석한 화면

자료원: itmedia news

  ㅇ 두 번째 기술은 단어와 색을 연관시키는 기술로, 벚꽃이라는 단어를 보면 분홍색을 떠올리는 구조를 인공지능도 가능하게끔 만든 프로세스임.
    - 약 1000개 단어에 해당하는 색 이미지를 약 100명의 피실험자에게 조사한 결과를 기반으로, 한 단어에서 떠오를 수 있는 모든 색의 상기확률을 산출할 수 있도록 함.
    - 데이터량이 1000개 단어에 한정되지 않도록, 저작권 프리 문장을 대량으로 AI에게 읽힘으로써, 같은 색을 연상시키는 단어를 습득하게 함.

  ㅇ 작사 과정에서는 상기 두 기술을 역전시켜가며 '가면여자'의 멤버인 츠키노 모아의 그림에 사용된 색상에서 오노마토페 단어를 생성, 이를 기반으로 가사를 만들어 나감.
    - 노래에 쓰이는 만큼 음과 가사가 맞아야 하는데, 이를 AI가 자동적으로 수행, 오류가 나는 부분은 재검토해 단어를 바꾸는 등 섬세한 작업을 수행할 수 있는 능력을 갖춤.

작사의 바탕이 된 '가면여자'의 멤버 츠키노 모아가 그린 그림

자료원: itmedia news

□ 의료, 광고업계에서도 AI의 다방면 활약을 기대 

  ㅇ 광고 영상을 제작하는 TVC는 2014년부터 사카모토 교수 연구실과 연계해 작업 중으로, 광고업계에서의 AI 활약도 기대되는 상황
    - 옥외광고를 담당하는 커뮤니케이션 사업본부의 야다 요헤이 부장에 따르면 광고영상은 이론보다는 창작자의 감성이 이전부터 중시된 분야로, AI 기술을 통해 시청자가 말과 색의 이미지를 어떻게 받아들이는지에 대한 연구가 뒷받침되면 광고의 인상 또한 바꿀 수 있을 것으로 보임.

  ㅇ NTT 커뮤니케이션 과학기초연구소는 물건에 접촉했을 때의 감각을 연구, 사카모토 교수의 오노마토페를 수치화한 시스템을 사용해 촉감 차이를 지도로 제작
    - 49종의 종이와 20종의 목재의 촉감 차이를 시각화해 지도로 만들었고, 이는 각 소재를 취급하는 판매자와 구매자의 요구 파악에 도움이 될 전망
    - 추상적인 '까칠까칠', '매끈매끈', '촉촉한' 등을 시각화 한 자료는 마케팅에도 유용하게 활용할 수 있으며 더욱 넓은 분야에서 활용 가능할 것으로 보임.

  ㅇ 또한 사카모토 교수의 연구를 기반으로 병원 등에서 환자가 호소하는 '욱신욱신' 등과 같은 병적 증상 오노마토페를 수치화할 수 있을 것으로 보이는 바, 모호한 증상을 구체적인 병명으로 연결 가능할 것으로 예측돼 의료 분야에도 응용할 예정

□ 시사점

  ㅇ 지금 일본에서는 AI를 이용해 접촉 감각과 소리를 수치화하고 시각화해 이를 기반으로 음악·마케팅·광고는 물론 의료 분야에 응용하는 연구가 활발히 진행되고 있음.
    - 색깔이나 형태에는 구애받으면서 시각이나 촉감은 맛볼 수도 없어 말로 표현하기 어렵다는 점에 착안해, 이를 수치화 및 시각화하는 방법을 연구하기 시작한 것이 계기

  ㅇ AI가 인간의 복합적 감정을 이해하고, 말과 소리, 색에 어떤 이미지가 있는지 규명할 수 있다면 다양한 분야에서 광범위하게 응용될 수 있을 것으로 엔터테인먼트, 의료, 광고 등 업계는 판단하고 있는 것으로 보임.
    - 수학적 방법을 동원해 감각과 소리에서 유사성을 찾아내는 작업은 AI에 의존하되, 이의 활용방법 판단은 개발자 및 사업기획자의 몫임.

  ㅇ 한국은 AI 분야에서 아직은 초보단계이지만 이는 다양한 분야에서 기술이 활용될 수 있으며 해외 진출의 무기로 활용할 수도 있다는 것을 반증함. 일본의 개발 동향을 참고해 응용 가능한 분야를 발굴해 경쟁에서 뒤처지는 일이 없도록 연구 개발에 박차를 가할 필요가 있음.

자료원: 아사히신문, 일본공업신문, itmedia news 등 일간지 및 KOTRA 도쿄 무역관 자료 종합