생성형 AI를 활용한 AI 에이전트가 주목받고 있다. AI 에이전트는 사용자가 자연어로 입력한 지시를 대규모 언어 모델(LLM)이 해석하고, 적절한 수단을 선택해 자율적으로 작업을 수행하는 시스템이다. 즉, AI 에이전트는 환경과 상호작용하고, 데이터를 수집하며 이를 바탕으로 미리 설정된 목표 달성을 위한 작업을 스스로 결정하여 실행한다. 목표는 사람이 설정하지만, 그 목표를 달성하기 위한 최적의 행동은 AI 에이전트가 스스로 선택한다. 흔히 AI 비서로 불린다.

일본에서는 독자적인 AI 에이전트 개발에 적극 나선 선진 기업들이 다양한 분야에서 혁신을 이끌고 있다. 이들은 고객 서비스, 업무 자동화, 데이터 분석 등 실질적인 활용 사례를 통해 기술력을 강화하며 경쟁력을 확보하고 있다. 일본 기업들의 AI 에이전트 개발과 적용 사례를 살펴봤다. 

영업 제안 자료를 자동 작성

KDDI 애자일개발센터(KAG)는 영업사원을 지원하기 위한 AI 에이전트 시스템 ‘회의록파쿤’을 개발 중이다. 이 시스템은 2024년 9월 실증 테스트를 완료했으며, 상담 녹음 데이터를 분석해 회의록을 자동 생성하고, 생성된 회의록과 웹 검색을 통해 수집한 데이터를 바탕으로 영업 제안 자료 초안을 자동으로 작성하는 기능을 제공한다.

AI 에이전트는 제안 자료 초안을 자동으로 생성하는 데 중요한 역할을 한다. 사용자가 회의록을 선택하면 시스템은 제안 자료 생성을 위한 맞춤형 프롬프트를 제공한다. 이후 프롬프트를 전송하면 몇 초 만에 고객사의 과제를 추출하고 분석해, 회의록과 검색 결과에서 도출된 정보를 바탕으로 자사 상품을 제안한다. 이를 통해 영업사원은 고객 맞춤형 제안 자료를 더 신속하고 효과적으로 준비할 수 있다.

<회의록파쿤 화면 예시>

[자료: KDDI 애자일 개발 센터]

시스템 구현에는 오픈소스 프레임워크인 ‘LangChain’을 사용해 ‘ReAct(Reasoning and Acting)’ 구조를 도입했다. 이 방식은 LLM이 사용자의 지시를 달성하기 위한 행동과 그 이유를 스스로 분석하고 처리하도록 설계돼 있다. LLM은 스스로 세운 행동계획에 따라 프로세스를 처리한다. 예를 들어, LLM이 '고객의 기업 정보를 검색한다'는 계획을 세우면, 이를 수행하기 위해 '미리 설정된 툴 중 웹 검색 툴을 선택해 사용해야 한다'는 판단을 내린다. 이에 따라 웹 검색 툴을 선택해 검색 작업을 실행하고, 필요한 작업을 반복해 행동 계획을 완성한다. 이러한 구조는 사용자 지시를 체계적으로 이행할 수 있는 기반을 제공한다.

회의록파쿤에 적용된 LLM으로는 미국 Anthropic의 ‘Claude 3 Opus’가 채택됐다. Claude 3는 답변 성능에 따라 세 단계의 모델이 있으며, Opus는 최상위 모델로 가장 높은 성능을 제공한다. LLM의 성능이 낮을 경우 행동 계획이 부실하거나 불충분할 가능성이 있기 때문에, AI 에이전트의 성능은 LLM의 품질에 크게 의존한다.

신청 업무 일원화와 데이터 분석 자동화

TIS는 사내 신청 업무를 효율화하기 위해 AI 에이전트를 개발하고 있다. 이 시스템은 사내 신청 문의 담당자를 AI 에이전트로 일원화해, 요청에 따라 적절한 사내 시스템에서 데이터를 가져오고 작업을 자동으로 수행한다. 예를 들어, 직원이 '다음에 받아야 할 교육을 선택해 예약해 주세요'라고 입력하면, AI 에이전트는 이를 해석해 직원의 기술 습득 정보를 검색하고 교육 예약 시스템에 접속해 필요한 교육을 자동으로 예약한다. TIS는 AI 에이전트를 사내 시스템과 연결할 때 보안 설계의 중요성을 강조하고 있다. 특히, 직급별 권한을 엄격히 설정하여 열람 권한이 없는 데이터에 접근하거나 잘못된 정보를 제공하는 일이 없도록 한다는 점을 명확히 하고 있다.

한편, 세종테크놀로지(Saison Technology)는 사내 데이터 분석을 간소화하기 위해 AI 에이전트 ‘ChatDDP’를 개발했다. 세종테크놀로지는 데이터 분석 시스템으로 ‘데이터 드리븐 플랫폼’을 사용해 구매 및 근태 데이터를 축적하고 분석하여 직원들의 데이터 활용을 촉진하고 있었다. 그러나 기존의 데이터 분석 시스템에서는 SQL 작성이나 BI 대시보드 구축과 같은 기술적 장벽이 존재해 일부 직원만 활용할 수 있었다. 이를 해결하기 위해 세종테크놀로지는 LangChain을 기반으로 한 AI 에이전트를 구현했다.

이 AI 에이전트는 사용자가 자연어로 질의하면 LLM이 자동으로 SQL을 생성하고 실행하며, 데이터베이스에서 필요한 데이터를 추출해 그래프를 자동으로 생성한다. 예를 들어, '부서별 유급휴가 평균 취득 일수를 알려줘'라는 질문을 입력하면 AI 에이전트는 사내 데이터를 검색해 관련 그래프를 생성한다. 이 시스템에는 OpenAI의 ‘GPT-4o’가 사용돼 자연어 질의에 대해 높은 정확도로 처리할 수 있다. 이를 통해 세종테크놀로지는 데이터 분석의 접근성을 높이고, 직원들의 활용도를 극대화하고 있다.

<ChatDDP 개요>

[자료: 세종테크놀로지(Saison Technology)] 

SaaS 기업의 AI 에이전트 서비스 제공

대형 SaaS(Software as a Service) 업체들은 고객사가 다양한 AI 에이전트를 활용할 수 있도록 서비스를 제공하고 있다. SaaS는 소프트웨어를 기기에 설치하지 않고 온라인으로 액세스하여 사용하는 서비스 모델이다. 세일즈포스 재팬은 2024년 10월 자율형 AI 에이전트 '에이전트포스(Agentforce)'의 일본 서비스를 시작했다. 에이전트포스는 사용 기업의 직원들이 직접 수행해야 했던 업무 중 일부를 자동으로 지원한다. 예를 들어, 영업 활동에서 잠재 고객 목록을 선별하고 상담 일정을 설정하는 등의 작업을 자동으로 처리할 수 있다. 사용자는 자연어 또는 로우코드를 통해 AI 에이전트의 작업 범위를 설정하며, 설정된 범위를 벗어난 업무가 발생하면 AI 에이전트는 해당 업무를 직원에게 인계한다.

<주요 대형 SaaS 업체의 AI 에이전트 관련 대응>

[자료: 닛케이XTech]

AI 에이전트는 생성형 AI를 단순히 채팅과 같은 기능에만 적용하는 것이 아니라, '경비 정산 프로세스'와 같은 일련의 업무 프로세스를 자동화하는 데에도 활용되는 특징이 있다. 이에 따라 하나의 AI 에이전트가 아닌 여러 AI 에이전트가 협력하여 업무를 지원하는 방식으로 발전하고 있다. 각 기업은 '고객 응대'와 같은 특정 업무 프로세스에 맞춰 생성형 AI를 제공할 계획이다. 예를 들어 오라클의 '근무조 관리 어시스턴트'는 단순히 직원들의 희망 사항을 반영한 근무조 편성에 그치지 않고, 관련 법규를 고려해 근무조를 최적화하는 기능을 제공한다. 이 외에도 오라클은 '직원 채용 어드바이저', '복리후생 분석가' 등 다양한 분야에서 AI 에이전트를 발표하며, 인사, 공급망 관리(SCM), 회계 등 영역에서 AI 에이전트를 적극적으로 도입하고 있다.

또한, 대부분의 기업은 미리 정의된 AI 에이전트 외에도 자체 개발 도구를 제공하고 있다. 세일즈포스는 'Agent Builder'라는 개발 도구를 마련했으며, 업무 자동화를 지원하는 로봇 관리 기능을 제공하는 UiPath도 AI 에이전트 개발을 지원하는 도구와 관리 툴을 곧 제공할 예정이다. 앞으로 더 많은 SaaS 기업들이 AI 에이전트 기능을 확장하여 업무 자동화의 범위를 넓혀갈 것으로 보인다. 또한, 기업들은 AI 에이전트의 정확도를 높이기 위해 데이터 관리용 데이터베이스나 RAG(검색 확장 생성) 기능을 제공할 계획도 세우고 있다.

시사점

AI 에이전트를 개발할 때 주의해야 할 주요 사항으로 사용량 관리와 로그 추적이 꼽힌다. AI 에이전트에 정통한 J사의 책임자는 KOTRA 도쿄 무역관과의 인터뷰에서 "단순한 질의응답에 비해 AI 에이전트의 사용량은 상당히 증가하며, 이에 따른 비용 상승이 불가피하다"고 지적했다. 또한, 로그 추적은 AI 에이전트 성능 개선에 핵심적인 역할을 한다. 사용자의 지시를 처리하는 과정에서 LLM이 어떻게 행동 계획을 수립하고 작업을 실행했는지를 정확히 파악하지 못하면, 시스템 정확도를 높이기 위한 개선 방향을 설정하기 어렵다.

KDDI 애자일개발센터(KAG)는 로그 추적을 위해 Langfuse라는 툴을 활용하고 있다. Langfuse는 LLM의 응답 내용을 중앙에서 관리할 수 있는 툴로, LLM의 응답과 행동 계획, 실행 과정을 단계별로 기록해 관리할 수 있는 기능을 제공한다. KAG는 이를 바탕으로 LLM이 호출하는 툴의 사용 조건과 프롬프트 설정을 지속적으로 개선하고 있다.

생성형 AI를 활용한 업무 프로세스 자동화는 앞으로 더욱 확대될 전망이다. LangChain 등 프레임워크를 활용해 기업 맞춤형으로 개발하거나, AWS와 마이크로소프트 등 대형 클라우드 서비스 업체가 제공하는 매니지드 서비스를 이용하면 비교적 쉽게 AI 에이전트를 구축할 수 있다. 특히, 자체 개발 역량이 부족한 경우에는 SaaS(Software as a Service) 업체가 제공하는 AI 에이전트를 활용하는 방안도 유효하다. 생성형 AI 기술이 제2막에 접어든 상황에서, AI 에이전트의 보급과 확산이 얼마나 빠르게 진행될지 주목된다.

자료: KDDI, TIS, Saison Technology 등 각 사 홈페이지, 닛케이신문, 닛케이XTech, KOTRA 도쿄 무역관 종합