- 범용 AI에 추가학습을 통해 용도에 맞는 모델 개발 -

- 낮은 도입 장벽에 높은 작업 효율화로 더 큰 활용이 기대 -

아마존과 구글 등 대형 클라우드 벤더들은 기계학습을 마친 범용 모델에 추가학습을 시키는 타입의 인공지능(AI)의 개발과 실행 서비스를 지원하고 있다. 이를 활용하면 자사 독자적인 모델을 단시간에 저비용으로 개발할 수 있어 마케팅과 작업 효율화 등에 적용하는 기업이 늘고 있다. 일본에서는 실제로 어떠한 기업이 어떤 식으로 추가학습형 클라우드 AI를 활용하고 있는지에 대해 실제 사례를 통해 살펴보자.

1인당 5장의 이미지로 인물판정 AI개발이 가능

일본 후지TV는 아마존 웹 서비스(Amazon Web Services, 이하 AWS)와 구글 클라우드가 각각 제공하는 추가학습형 클라우드 AI서비스를 활용해, AI를 도입한 업무 시스템 ‘메타로’를 개발해 운용하고 있다.

메타로는 뉴스와 드라마 등 다시보기 영상의 정리정보인 ‘메타데이터’의 작성을 지원하는 시스템이다. 방송영상에 출연한 인물의 이름과 코너 명 등을 출력해내며 이는 메타데이터의 일부가 된다. 메타데이터는 방송내용과 출연자의 이름, 방송을 기획한 프로듀서의 이름, 방송에서 사용한 곡 등으로 다양하며 기존에는 담당자가 모두 수작업으로 입력해왔다. 하지만 작업부담이 큰 데다 방송에 따라 작업량의 차이가 커 메타로를 통해 이 작업을 부분적으로 자동화시켰다.

모델을 개발하기 위해 학습시킨 인물의 이미지 데이터는 AWS가 사양서에서 추천하고 있는 1명당 5장 정도다. 실제로 정면에서 찍힌 이미지라면 거의 정확하게 얼굴을 식별할 수 있을 정도의 정확도를 달성했다.

후지TV의 ‘메타로 v2’

자료: 후지TV

메타로는 현재 버전1을 운용하고 있으며, 버전2가 실증실험 단계에 있다. 버전1은 AWS의 ‘Amazon Rekognition’을 활용해 후지TV의 방송영상에서 실시간으로 인물을 판별해 이름을 출력하는 데에 그쳤으나 버전2는 Rekognition과 구글클라우드의 ‘Cloud Vision API’를 함께 활용하고 있어 방송의 다시보기 영상에서 출연한 인물의 이름과 코너명 등을 CSV파일로 출력해낸다. 메타로는 메타데이터를 작성하는 현장에서 호평을 얻고 있어 버전2의 실제 운용을 위해 개량을 진행하고 있다.

추가학습형 클라우드 AI로 디지털마케팅

일본의 제과 대기업 가루비(Calbee)는 디지털마케팅 ‘가루비 루비 프로그램’에서 미국 마이크로소프트(MS)의 AI 클라우드 서비스 ‘Azure Cognitive Services’의 범용 이미지 인식 AI ‘Computer Vision’과 추가학습이 가능한 이미지 인식 AI ‘Custom Vision’을 이용하고 있다. 루비 프로그램은 고객이 구입한 감자칩 등의 패키지를 지정된 방법으로 접은 후 사진을 찍어 전용 앱으로 전송하면 포인트가 쌓이는 방식이다. 2020년 9월에 개발한 시스템에서는 Custom Vision으로 패키지가 접혀있는 것을 인식하고 Computer Vision으로 패키지에 기재된 상품코드와 시리얼코드를 인식해 접수한다.

가루비는 루비 프로그램을 개발하기 전부터 고객이 제품 패키지에 있는 응모권을 잘라 엽서로 보내면 포인트를 제공하는 마케팅을 매년 진행해왔다. 하지만 고객데이터 확보와 고객 접근 방식에 한계를 느끼면서 고객과의 관계 구축을 위해 루비 프로그램을 도입했다. 이때 고객이 어떤 상품을 구입하고 캠페인에 응모했는지 알 수 있는 방법이 필요했다. 이에 착목한 것이 상품을 식별하기 위한 상품코드와 상품의 추적을 담보하기 위한 시리얼코드였다. 또한 고객이 ‘상품을 먹었다’는 것을 증명하기 위해 패키지를 접은 상태에서 상품을 찍도록 했다.

접은 패키지를 인식시키는 모델에는 추가학습이 가능한 Custom Vision을 채용했다. 서비스 개시 전까지 준비한 학습데이터는 약 1400장이다. 그중 약 500장은 패키지를 접은 이미지로 패키지의 사이즈와 촬영할 때의 각도, 조명 밝기, 손으로 잡고 촬영하는지 바닥에 두고 촬영하는지 등 다양한 조건으로 촬영한 이미지를 자사에서 준비했다. 남은 약 900장은 패키지를 접지 않고 개봉 정도를 변화시킨 이미지를 준비했다.

루비 프로그램의 사전·사후처리

자료: 가루비(Calbee)

가루비사에 따르면 상품코드와 시리얼코드의 인식에는 범용 이미지 인식 AI인 Computer Vision을 채용했으나 코드를 인식시켜본 바, 기대한 만큼의 정확도는 나오지 않았다. 가루비는 정확도 개선을 위해 이미지의 사전, 사후 처리를 실시했다. 사전처리에서는 고객이 촬영한 이미지에서 상품코드와 시리얼코드가 찍힌 곳을 잘라내 코드가 수평을 이루도록 각도를 조정했으며, 이미지를 흑백으로 변환하거나 윤곽을 강조하는 등 다방면의 처리를 했다. 또한 사전처리한 이미지를 인식시킨 결과물을 상호 보완하도록 하는 사후처리도 더했다.

가루비는 서비스 시작 후에도 고객이 보내는 이미지를 추가학습시키는 등 모델의 정확도 향상을 위한 노력을 거듭하고 있다. 현재는 개발단계 대비 20% 이상의 정확도가 향상됐다.

스마트 농업에서도 추가학습형 AI 도입

건설, 재생에너지, 농업 분야 사업을 추진하는 도요그룹의 지주회사 도요홀딩스(HD)는 농업지원 시스템 연구개발의 일환으로, 구글 클라우드의 추가학습형 이미지 인식 AI클라우드 서비스 ‘AutoML Vision’을 활용해 양상추 재배 지원의 이미지 인식 모델을 개발했다. 육성 상태가 불량한 모종을 감지하는 ‘생육 불량 감지 모델’, 잎 표면에 하얀 곰팡이가 발생하는 백분병에 걸린 모종을 감지하는 ‘병해 감지 모델’이다.

수경 재배 양상추의 생육 불량은 뿌리가 물에 잠기지 않는 것이 주원인으로, 조기발견으로 예방이 가능하다. 도요홀딩스에 따르면 생육 불량 감지 모델의 판정 정확도는 98%이상에 달한다. 또한 백분병의 감지는 농장에서 5년 이상의 양상추 재배 경험이 있는 전문가조차 감지하기 어려운 작업이나 병해감지 모델은 판정 정확도 97%를 달성했다. 도요홀딩스에 따르면, 이 두 가지 모델로 인해 농장에서 양상추의 생육, 병해상황 확인작업의 수고를 98% 삭감할 수 있었다.

구글 클라우드의 이미지분석 클라우드 서비스 ‘Cloud Vision API’를 활용해 농장에서 이동하며 양상추의 사진을 촬영하는 자율주행 기기도 개발했다. 양상추를 재배하는 선반에 위치정보를 알 수 있는 라벨을 부착해두고 디바이스에 탑재한 OCR 기능을 통해 촬영지점을 인식하는 구조이다.

도요HD가 개발한 양상추 재배지원 모델

자료: 도요홀딩스

도요홀딩스는 3개의 이미지 인식 모델에 대해 각각 약 500장의 사진을 학습 데이터로 준비했다. 도요홀딩스가 판정기준을 정하고 이미지에 태그를 부여하는 작업은 외주에 맡겼다.

도요홀딩스는 모델 개발 후에도 추가학습과 모델 재구축 등 정확도 유지를 위한 운용 보수에도 힘을 쏟고 있다. 또한 촬영한 양상추의 사진으로 중량을 판정해 수확시기를 예측하는 ‘수확예측 모델’을 현재 개발 중에 있어 생육불량감지 모델, 병해감지 모델, 수확예측 모델을 조합한 시스템을 2023년부터 일반 판매할 예정이다.

시사점

기존의 추가학습형 클라우드AI의 가장 큰 장점은 개발에 드는 시간과 인원을 모두 줄일 수 있어 작업을 효율화시킬 수 있다는 점이다. 후지TV의 메타로는 AI개발 경험이 전무한 자사직원이 독학을 통해 모델을 개발한 것으로 알려져 있다. 도요홀딩스의 양상추 재배지원 모델도 실질적으로는 2명의 사원이 개발을 담당했다.

마이크로소프트사의 추가학습형 AI를 활용하고 있는 D사의 S매니저는 “모델의 정확도를 유지하기 위해서는 업데이트를 손쉽게 시도할 수 있는 환경을 준비한 뒤 운용해야 한다. 하지만 이용기업이 테스트 환경까지 사전에 만드는 것은 어렵기 때문에 이러한 테스트 환경까지 준비되어 있다는 점이 큰 이점이다”라며 만족감을 드러냈다.

다만 자사에서 원하는 모델을 높은 정확도로 개발해내기 위해서는 용도에 맞는 학습데이터 마련해 꾸준히 추가교육을 시키는 것이 중요하다. 추가학습에 사용하는 데이터가 저품질일 경우, 오히려 모델의 정확도를 저하시키는 요인이 될 수 있다. 높은 정확도를 유지하면서 모델을 운용하기 위해서는 추가학습에 사용하는 데이터를 선별해내거나 시험삼아 데이터를 학습시켜본 뒤 정확도 향상에 기여하지 않는다면 다른 데이터를 학습시키는 등 다양한 방법을 강구해보는 것이 중요할 것으로 보인다.

자료: 후지TV, 가루비, 도요HD 등 각사 홈페이지, 닛케이 컴퓨터, 닛케이XTech, KOTRA 도쿄 무역관 자료 종합