지난 6월 4일부터 5일까지, 미국 캘리포니아 산타클라라 컨벤션 센터에서는 인공지능 및 빅데이터 전문 전시회 ‘AI & Big Data Expo North America 2025’가 성황리에 개최됐다. 본 전시는 TechEx North America 시리즈의 일환으로, AI 및 빅데이터를 중심으로 사이버 보안(Cyber Security), 사물인터넷(IoT), 디지털 전환(Digital Transformation), 지능형 자동화(Intelligent Automation), 엣지 컴퓨팅(Edge Computing), 데이터 센터(Data Centers) 등 총 8개 기술 분야가 통합된 공동 전시회로 운영되며, 기술 기반의 기업 혁신을 위한 종합적인 플랫폼으로 자리매김하고 있다.

<AI & Big Data Expo 2025 전시 현장 풍경>

[자료: KOTRA 실리콘밸리 무역관 직접 촬영]

TechEx는 단일 기술 영역에 국한되지 않고, 여러 산업의 기술 리더들이 한자리에 모여 AI 기술의 실제 도입, 운영 인프라, 사이버 보안 리스크, 조직 혁신 전략 등 엔터프라이즈 기술의 현재와 미래를 총망라하는 구조로 전시와 콘퍼런스가 병행됐다.

특히 올해 AI & Big Data Expo는 엔터프라이즈 AI, 생성형 AI, 머신러닝, 데이터 분석, 윤리적 AI, 자연어처리(NLP) 등 AI 전 분야를 포괄하는 테마 트랙으로 구성됐으며, IBM, AWS, SAP등 주요 글로벌 기업 관계자 250여 명이 연사로 참여해 산업별 도입 사례와 미래 예측을 공유했다. 전체 참석자의 70% 이상이 디렉터급 이상의 고위 임원으로 구성돼, 기술 교류뿐만 아니라 실질적인 사업화 및 파트너십 발굴을 위한 네트워킹의 장으로도 기능했다.

<AI & Big Data Expo 2025 콘퍼런스 현장>

[자료: KOTRA 실리콘밸리 무역관 직접 촬영]

AI 스케일업을 위한 기업의 전략 (Scaling AI for Transformation – Challenges and Solutions)

전시회와 더불어 진행된 콘퍼런스에서는 아마존웹서비스(AWS), 드롭박스(Dropbox), 오라클(Oracle), 오픈텍스트(OpenText), 벌처(Vultr) 등 클라우드 및 데이터 인프라 분야 대표 기업들의 임원들이 한자리에 모여 AI의 확산 과정에서 발생하는 현실적인 도전과 그 해법에 대해 논의했다. AI가 산업 전반에 실질적인 영향을 미치는 대규모 확산(scale-up) 단계로 진입하면서 겪게 되는 문제들, 특히 데이터 사일로(기업 내에 데이터가 개별 시스템 또는 DB에 구축되어 부서 간 정보 공유가 불가능한 상태를 의미), 학습 데이터의 신뢰도, 할루시네이션(오답 생성) 등을 중심으로 토론이 진행됐다.

AWS의 생성형 AI 혁신 센터 디렉터 Taimur Rashid는 “AI 전략, 데이터 전략, 그리고 비즈니스 전략은 별개가 아닌 하나의 통합된 프레임워크 안에서 작동해야 한다”라고 강조했다. 특히 자사 ‘SageMaker’ 솔루션을 소개하면서 이러한 통합 데이터 관리 프레임워크를 통해 데이터 사일로를 해소하고, 조직 내 다양한 시스템들을 연결해야 유의미한 AI 활용이 가능하다는 점을 사례 중심으로 설명했다. 그는 데이터가 흩어져 있는 환경에서는 아무리 좋은 모델도 성과를 내기 어렵고, 통합된 데이터와 좋은 AI 모델이 있다 해도 기업의 사업 전략과 접목돼야만 의미 있는 성과를 낼 수 있다고 강조했다.

한편, 드롭박스의 엔지니어링 VP Josh Clemm은 대규모 비정형 데이터가 새로운 도전 과제로 부상하고 있다고 밝혔다. 드롭박스는 이에 대응하기 위해 서드파티 콘텐츠를 통합 관리할 수 있는 'Dash' 플랫폼을 개발했으며, 이를 통해 분산된 문서, 채팅, 이메일 등 다양한 소스의 정보를 단일 인덱스(자료구조)로 연결하고 있다고 소개했다. 이는 AI가 보다 맥락 있는 응답을 제공할 수 있도록 지원하는 인프라로, 실무 환경에서의 AI 활용도를 높이기 위한 기반 기술로 평가된다.

벌처의 CMO Kevin Cochrane 는 기업들이 AI 도입 시 기술적 성능 향상뿐만 아니라, 윤리적 거버넌스를 전사적으로 설계해야 한다고 강조했다. 그는 AI 확산 초기 기업에서 겪은 “할루시네이션(오답 생성)” 이슈와 관련된 실제 사례를 언급하며, AI는 여전히 인간의 검증을 필요로 하는 기술임을 상기시켰다. AI를 전사적으로 확산시키기 전에 가장 중요한 것은 학습 데이터는 어떻게 수집하고, 데이터 신뢰도는 어떻게 확보할 것인지, 할루시네이션 방지는 어떻게 할 것인지 등 AI 도입의 리스크 관리의 중요성을 역설했다.

이번 세션은 단순히 기술적 관점에서의 AI 확산 전략이 아닌, 데이터 구조, 조직 구조, 기술-윤리 통합 전략 등 다양한 층위에서의 통찰을 제공했다. 특히, “AI 프로젝트의 성공 여부는 결국 데이터와 인프라에 달려있다”, “AI는 단순한 도구가 아닌 조직 구조를 재편하는 매개체다”라는 메시지가 공통적으로 강조되었으며, 기업들이 AI 도입 이후 ‘어떻게 확장하고, 어떻게 지속가능하게 운영할 것인가’에 대한 실질적 가이드라인을 얻을 수 있는 의미 있는 토론이었다.

IBM 부스에서 본 기업용 기업용 생성형 AI의 현재와 미래

AI & Big Data Expo 2025 현장에서 주목받았던 부스 중 하나는 IBM이었다. IBM은 내부 연구진이 집필한 신간 『Generative AI for Business』(O’Reilly Media, 2025)를 중심으로, 기업 내 생성형 AI(GenAI)의 실질적 도입과 성숙 주기(Maturity Cycle)에 대해 체계적으로 소개하는 세미나를 진행했다.

<IBM 부스>

[자료: KOTRA 실리콘밸리 무역관 직접 촬영]

IBM은 단순한 AI 기술 소개를 넘어, 조직이 생성형 AI를 어떻게 전략적으로 도입하고 진화시켜 나가야 하는가에 대한 단계별 로드맵을 제시했다. 특히 기억에 남는 부분은 "생성형 AI의 최종 단계에서는 다수의 에이전트가 자율적으로 협업해 기업 활동을 실행하는 '통합 자동화 시스템(Business General Intelligence)'으로 진화할 것"이라는 전망이었다.

IBM이 소개한 생성형 AI 성숙 주기는 다음과 같은 5단계로 구성된다. 첫 번째는 도입단계로, 이 시기에는 조직 내 한두 개 부서에서 소규모로 생성형 AI 기술을 시험해 보는 ‘개념 증명(Proof of Concept, PoC) 프로젝트를 수행한다. 두 번째는 확산단계이다. 초기 실험이 긍정적인 결과를 보이면, 이를 바탕으로 여러 부서에 걸쳐 활용 사례가 확대된다. 이 단계에서는 실제로 투자 대비 효과(Return on Investment, ROI)가 수치로 나타나기 시작하며, 조직 전반에서 AI 도입의 가치를 인식하게 된다. 세 번째는 내재화 단계로, 생성형 AI가 조직의 일상적인 업무흐름에 본격적으로 통합된다. 이때는 대규모 언어모델(Large Language Model, LLM)과 검색 기반 생성(Retrieval-Augmented Generation, RAG) 기술을 활용해 반복 업무를 자동화하고, 업무 효율을 크게 향상시키는 것을 목표로 한다.

*(참고) 검색 기반 생성(RAG)이란 검색과 생성 기술을 결합한 AI 시스템을 의미. LLM의 단점 중 사실 관계 오류 가능성과 맥락 이해의 한계를 개선하는 데 초점을 맞춘 방법으로, 대규모의 구조화된 지식 베이스를 모델에 연결하여 증거 기반 답변을 생성하고 추론 능력을 바탕으로 맥락 정보를 포함한다.

네 번째는 복합 시스템 구축 단계이다. 이 단계에 이르면 생성형 AI는 단순히 인간의 업무를 보조하는 수준을 넘어서, 여러 개별 AI 시스템들이 유기적으로 연결되어 복잡한 의사결정을 함께 수행할 수 있게 된다. 예컨대, 하나의 AI가 데이터를 분석하고, 다른 AI가 그 결과를 바탕으로 대응 방안을 제안하는 식으로 협업하는 구조가 마련된다. 마지막 다섯 번째는 자율 기업 시스템 단계로, 생성형 AI 활용의 가장 진화된 모습이다. 이 단계에서는 AI가 기업의 전략적 목표를 이해하고, 사람의 개입 없이도 실행 계획을 수립하고 수행할 수 있다. 예를 들어, AI가 전체 마케팅 전략을 수립하고, 이메일을 작성하며, 회의 일정을 잡고, 이후의 성과까지 분석하는 ‘완전 자동화’된 업무 시스템이 현실화되는 것이다.

세미나에서 강조된 또 다른 핵심 메시지는 "AI를 활용하지 않는 조직은 경쟁 우위 확보가 어렵다"는 점이다. 발표자는 "모든 부서의 임직원이 AI 툴을 사용할 수 있어야 하며, 개발자만이 아닌 AI 활용 역량이 있는 구성원 전체가 조직의 경쟁력이 된다"라고 강조했다. 실제로 IBM은 이 과정을 위해 사내 AI Center of Excellence(CoE)를 운영하며 전 직원의 AI 이해도를 높이는 데 적극적으로 투자하고 있다고 소개했다.

엔터프라이즈 AI 시장, 통합솔루션 vs 니치솔루션 혼재된 춘추전국시대

엔터프라이즈 AI 솔루션을 소개하는 부스가 특히 주목할 만했는데, 기업이 필요한 모든 툴을 하나의 솔루션으로 통합하는 통합솔루션과 특정 직군이나 산업군에서 필요로 하는 전문 서비스에 AI를 접목한 니치솔루션으로 구분되는 트렌드를 확인할 수 있었다.

(1) 종합 AI 솔루션: IBM & AWS

IBM과 AWS는 이번 전시회에서도 전방위 AI 솔루션 공급자로서의 위상을 입증했다. IBM은 자사 AI 플랫폼인 ‘Watsonx’를 중심으로 세 가지 핵심 제품군을 소개했다. 첫째, Watsonx.ai는 AI 모델을 개발하고 학습시키는 데 특화된 스튜디오로, 개발자가 오픈소스 및 IBM 자체 개발 LLM을 활용하여 AI 모델을 직접 학습, 조정, 검증할 수 있는 환경을 제공한다. 둘째, Watsonx.data는 다양한 종류의 데이터 소스를 통합 관리하여 AI 학습에 최적화된 데이터 플랫폼이다. 마지막으로 Watsonx.governance는 AI 모델 생성, 배포, 사용 전 과정에서 신뢰성을 확보하기 위한 리스크 분석 도구이다. 이처럼 IBM은 watsonx 기반의 "Agentic AI for business" 구현 사례들을 중심으로, 단순 챗봇 수준을 넘어 전사적 워크플로우를 수행하는 멀티에이전트 시스템 구성 전략을 적극적으로 소개했다.

AWS는 GenAI 애플리케이션을 위한 인프라, API, AI 서비스가 통합된 Bedrock, SageMaker 기반의 플랫폼을 소개하며, 보안성과 확장성을 강조했다. Bedrock은 다양한 대형 언어 모델을 (Anthropic 의 Claude, Met의 Llama, Amazon의 Titan 등)을 API 형태로 호출하여 애플리케이션에 적용할 수 있고 기업 내부 데이터와 같은 프라이빗 데이터를 기반으로 RAG 구축이 가능하여 보안이 중요한 기업 활용에 최적화되어 있다. SageMaker는 기계학습(ML) 모델의 구축, 훈련, 배포, 모니터링 등 AI 개발 전 주기 전체를 지원하는 플랫폼이다. 주로 내부 모델을 직접 개발하거나, 타사의 LLM을 기업 목적에 맞게 조정하고 최적화하려는 엔터프라이즈에 적합하다.

<종합 AI 솔루션을 소개한 AWS 부스 >

 [자료: KOTRA 실리콘밸리 무역관 직접 촬영]

(2) 니치솔루션 : 인사관리, 컴플라이언스, 보안관리 등 특화 시장 공략

기업 내 다양한 세부 니즈에 따른 솔루션을 제공하는 기업들도 눈에 띄었다. Visier는 HR 데이터 분석에 특화된 AI 솔루션을 통해 조직 인사 전략의 데이터 기반 의사결정을 강조했다. Visier의 AI 플랫폼은 직원 성과, 이직률 예측, 다양성 관리 등 다양한 지표를 실시간으로 분석해 인사 관리자들이 보다 전략적인 선택을 할 수 있도록 지원한다. 특히 AI를 활용한 ‘채용 성과 예측 모델’은 인재 확보와 유지에 어려움을 겪는 기업들에 실질적인 해법을 제시해 많은 관심을 끌었다.

컴플라이언스 분야에 특화된 Trustero는 기업 내 다양한 AI 수요 중 감사 대응과 규제 준수의 부담을 줄여주는 자동화 솔루션을 선보였다. 특히 ISO 27001, SOC 2, HIPAA 등 다양한 표준 인증을 준비하는 기업들에게 필수적인 기능을 제공하며, 컴플라이언스 항목별로 자동화된 감사 트래킹과 실시간 상태 리포팅 기능을 통해 기존 수작업 대비 리소스를 대폭 절감할 수 있도록 설계되어 있다. 민감 데이터를 다루는 스타트업부터 엔터프라이즈까지 활용도가 높을 것으로 보인다.

AI 활용이 늘어나는 만큼 사이버 보안 이슈에 대한 대응도 중요한데, Britive는 이에 대한 솔루션을 제시했다. Britive는 클라우드 환경에서의 권한 관리(PAM)를 AI로 자동화하여, 데이터 접근 권한을 실시간 분석 후 자동 제거하거나 승인 절차를 간소화하는 기능을 선보였다. 이는 GenAI로 인해 시스템 간 접근이 복잡해진 기업들에게 보안 측면의 부담을 덜어줄 수 있는 대응책으로, 보안 분야 관계자들의 관심을 끌었다.

AI 반도체 분야 유망 기업을 소개한 한국관

이번 한국관은 KOTRA가 한국반도체연구조합 및 한미AI반도체혁신센터와 함께 운영했으며, AI 반도체 분야 유망 기업 3개사가 부스로 참가했다. 참가기업들은 AI 솔루션 기업, AI 기능을 접목한 엣지 디바이스(IoT) 기업들이 주로 참가하는 전시회인만큼 AI 반도체를 소개하기에 최적의 기회라고 평가했다. AI 반도체라는 큰 범주 내에서 제품별 특성에 따라 활용 분야가 다르고, 시너지를 낼 수 있는 협력 기업에도 차이가 있어 기업별 목표에 따라 참관객 유치를 사전에 맞춤형으로 진행했다.

<AI & Big Data Expo 2025 한국관 상담 현장>

[자료: 한미AI반도체혁신센터(K-ASIC) 제공]

<한국관 참가기업 개요>

[자료: KOTRA 실리콘밸리 무역관 자료 종합] 

에임퓨처는 2020년 LG전자 R&D 센터에서 분사하여 설립된 AI 반도체 IP 기업으로, 이번 전시회에서도 고성능 NPU IP 'NeuroMosAIc' 시리즈와 엣지 AI 보드 솔루션을 중심으로 선보였다. NeuroMosAIc는 여러 개의 신경망 모델을 동시에 실행할 수 있는 구조적 특징을 갖고 있어, 멀티모달 AI(텍스트, 이미지, 오디오 등 다양한 형태의 데이터를 처리하고 결합하여 통합적 분석을 하는 AI)가 필요한 얼굴 인식, 음성 키워드 탐지 등 복합적인 AI 작업에 유리한 점이 강점이다. IP 라이선스를 통해 다양한 팹리스 및 설계기업들과 협력해왔으며, 전시회에서는 이를 바탕으로 스마트 로보틱스, AIoT, 스마트 시티, 자율주행 등 엣지 컴퓨팅 기반 응용 분야에 적합한 NPU 솔루션을 집중 소개했다. 현장 방문 기업 중 스마트 재활용 키오스크를 제조 및 운영하는 한 기업은 “재활용 쓰레기를 자동 분류해주는 자사 솔루션 가동을 위해 비싼 가격으로 GPU를 사용하고 있었는데, 에임퓨처의 NPU를 사용하면 더 낮은 가격으로 동일 성능을 낼 수 있을 것 같다”며 협력 방안을 긍정적으로 모색해보겠다고 밝히기도 했다.

디노티시아는 AI와 반도체 기술을 결합하여 생성형 AI의 기반 기술인 벡터 검색 및 RAG 기술에 특화된 솔루션을 제공하는 기업이다. 특히 세계 최초로 자체 개발한 VDPU(Vector Data Processing Unit를 활용한 벡터 데이터베이스 ‘Seahorse’와 퍼스널 LLM 디바이스 ‘Mnemos’ 는 관람객들 사이에서 많은 주목을 받았다. Seahorse는 RAG기반 생성형 AI에서 핵심이 되는 벡터 검색의 속도와 정확도를 획기적으로 개선한 제품이며, Mnemos는 사생활 보호와 오프라인 운영이 가능한 개인용 엣지 LLM 디바이스이다. 전시 부스를 찾은 CPU 시장 글로벌 리더인 A사는 기존 LLM이 가지고 있는 문제를 제기하면서 로컬 환경에서 구동되는 기업용 LLM 솔루션 개발을 디노티시아와 협력하는 가능성을 논의했다.

모빌린트는 2019년 설립된 국내 AI 반도체 스타트업으로, 고성능이면서도 저전력 특성을 갖춘 NPU 칩을 개발해 온 기업이다. 이번 전시회에서는 MLA100(엣지용 AI 가속 PCIe 카드)와 REGULUS(온디바이스 AI용 독립형 SoC)를 전면에 내세웠다. 특히 MLA100은 기존 GPU 대비 낮은 전력 소모와 발열, 높은 연산 효율을 동시에 갖춘 점에서, 엣지 서버나 AI Box 등 경량 AI 시스템 구축을 고민하는 기업들에게 실질적인 대안으로 소개되었다. REGULUS는 2024년 출시된 신규 제품으로, CPU, ISP, Codec 등이 통합된 초소형 AI SoC로, 소형 스마트 디바이스에 AI 기능을 내장하고자 하는 수요에 최적화된 솔루션이다. Mobilint는 전시회 내내 현지 엣지 AI 개발사들과 GPU 대체, 고효율 컴퓨팅 솔루션을 주제로 활발한 기술 교류를 진행하였다. 모빌린트 부스를 찾은 현지 대학교 데이터센터 프로젝트 담당 교수는 교내 실험용 데이터센터 운영 시 테스트해 보고 싶다는 제안을 하는 등 미국 시장 내 초기 레퍼런스를 쌓을 수 있는 기회를 얻기도 했다.

시사점

이번 AI & Big Data Expo North America 2025는 한국 참가기업들에게 단순한 제품 전시를 넘어, 글로벌 AI 솔루션 기업들과의 실질적인 협력 가능성을 모색할 수 있는 중요한 장이었다. 현장에서 만난 한국기업 담당자 C 씨는 특히 “생성형 AI 및 엣지 AI 분야에서 선도적인 기술을 보유한 다양한 글로벌 기업들과의 교류를 통해, 기존에는 고려하지 못했던 기업과의 협력이나 기술 응용 가능성에 대한 인사이트를 얻을 수 있는 의미 있는 자리였다”라며 이번 행사에 대한 소감을 전했다.

또한 엔터프라이즈 AI 시장의 트렌드가 단순한 모델 성능 경쟁을 넘어, 데이터 인프라 최적화, 윤리적 거버넌스, 에이전트 기반 자동화로 빠르게 진화하고 있다는 점을 이번 전시를 통해 확인할 수 있었다. 이 같은 흐름 속에서 한국 기업들이 자사의 기술을 어떻게 글로벌 생태계 내에 포지셔닝할 수 있을지를 점검해 보는 계기가 됐으며, 향후 미국 시장 진출 및 공동 개발 파트너 발굴 측면에서도 전략적 의미를 지닌 전시회였다. 

자료: AI & Big Data Expo North America, IBM, K-ASIC, AWS, KOTRA 실리콘밸리 무역관 자료 종합