‘기대와 실상 사이’··· 생성형 AI에 대한 현실 점검

새로운 최고 AI 책임자를 고용해야 할 정도로 생성형 AI가 중요할까? 코파일럿 키를 내장한 키보드를 구입해야 할까? 부풀려진 기대와 투자로 속에서 기업들은 생성형 AI에 대해 어느 정도의 성과를 거두고 있을까?

생성형 AI는 종전 일회성 머신러닝(ML) 모델에서 벗어날 가능성을 제시한다. 다양한 분야에서 활용될 수 AI 도구의 가능성이다. 그러나 모든 낙관적인 전망에는 함정이 있기 마련이다. 

여러 연구에 따르면 많은 사람들이 이미 정기적으로 생성형 AI 도구를 사용하고 있다. 최근 페이지듀티의 연구에 따르면 포춘 1000대 기업 중 98%가 생성형 AI를 실험하고 있다. 하지만 동시에 많은 조직이 생성형 AI에 대해 신중한 접근 방식을 취하고 있는 것으로 보인다. 예를 들어, 파운드리의 2023 AI 우선순위 연구에 참여한 IT 의사결정권자 중 4분의 1이 생성형 AI 기술을 시험적으로 사용하고 있다고 응답했지만, 이중 배포 단계로 나아간 비율은 20%에 불과했다. 

CCS 인사이트의 직원 기술 및 업무 환경 혁신 설문조사에 참여한 고위급 리더들의 응답도 비슷했다. 2023년 말을 기준으로 18%는 이미 전체 직원에게 생성형 AI를 배포했고 22%는 배포할 준비가 되었다고 답했다. CCS 인사이트의 엔터프라이즈 리서치 디렉터 볼라 로티비는 "단 올해 중 생성형 AI의 현실 활용을 기대하는 조직이 많다”라고 말했다. 

또 인텔의 2023년 ML 인사이더 설문조사에 참여한 AI 전문가와 같은 IT 팀들의 응답에 따르면, 2023년에 차세대 AI 솔루션을 비즈니스 현장에 도입한 조직은 10%에 불과했다.

현장 배포에 대한 준비
생성형 AI 투자, 파일럿 및 계획을 가진 기업은 많지만, 생산성 향상이나 ROI의 구체적인 내용에 대해 이야기하는 조직은 상대적으로 적다. 예를 들어 골드만삭스, IHG, 메르세데스 벤츠와 같은 많은 구글 고객사들은 최근 구글 클라우드 넥스트 컨퍼런스에서 제미니 생성형 AI 도구를 사용한 사례에 대해 발표했지만, 대개 배포가 아닌 파일럿 단계의 것들이었다.

물론 단순한 실험 수준을 넘어선 파일럿일 수 있다. 맥킨지에 따르면 산업 디자인 팀이 LLM 기반의 연구 요약 기능과 AI 이미지 생성 기능을 사용하는 경우 제품 개발 주기를 70% 이상 단축할 수 있다. 그러나 이러한 디자인 팀이 현실적으로 제조할 수 있는 제품을 만들기 위해서는 평가 및 수정 작업을 추가적으로 해야 한다. 또 정책을 설정하고 직원을 교육해야 한다. 

화장품 기업 에스티 로더는 고객 인사이트, 행동 연구 및 시장 동향에 대해 내부 챗봇 훈련과 같은 파일럿 프로젝트를 적용했다. 그러나 이러한 가치를 현실화하는 방법은 여전히 연구 단계에 있다. 

현실적인 가치를 이미 얻고 있다는 기업도 있다. 마이크로소프트는 자사 직원들이 마이크로소프트 365용 코파일럿을 비롯한 생성형 AI 도구를 통해 상당한 가치를 얻고 있다고 주장한다. 회사의 최신 업무 및 비즈니스 애플리케이션 부문 CVP인 제라드 스파타로는 "수준급 사용자들은 한 달에 10시간 이상을 절약하고 있다"라며, 사용자의 70%는 생산성이 향상되어 최대 1/3까지 더 빠르게 작업할 수 있다고 전했다.

그러나 포레스터의 수석 분석가인 JP 가운더는 한 달에 5시간 정도의 절약이 일반적이라며, 또 다른 문제는 조직 전체에의 확장 문제라고 말했다. 그는 이어 지금까지 코파일럿 도입이 ‘포켓’에서 이루어지는 경향이 있다고 지적했다. 이는 마케팅 및 영업, 서비스 및 지원, 제품 개발 등의 일부 부서에서 대부분의 생성형 AI 배포가 이루어지고 있다는 맥킨지의 보고서와 일치한다.

해당 보고서에 따르면 설문조사에 참여한 통신사들은 낙관적인 가운데에서도 효과 범위를 제한하고 있었다. 대다수는 생성형 AI를 통해 비용을 절감하고 콜센터 상담원의 생산성이 향상되고 개인화된 콘텐츠를 통해 마케팅 전환율이 개선되었다고 답했으며, 두 모델 모두 몇 달이 아닌 몇 주 만에 배포되었다고 답했다. 그러나 고객 서비스나 매핑 네트워크 인프라 외에는 그 영향이 미미했다.

조직 전체로 확장
마이크로소프트의 초기 테스트 고객 중 일부는 이미 광범위한 배포 단계에 진입했다. 빠르게 마이크로소프트 365 코파일을 테스트한 글로벌 로펌 기업 클리포드 챈스는 현재 애저 오픈AI를 기반으로 구축한 맞춤형 AI 도구인 ‘클리포드 챈드 어시스트’를 전체 직원에게 배포하고 있다. 이 회사는 생성형 AI의 모든 법적 결과물을 자격을 갖춘 변호사가 명확하게 확인하고 분류한다며, 주요 이점은 실시간 기록, 회의 요약, 회의에서 암묵적으로 약속하고 합의한 작업 등 지식 근로자의 생산성 향상이라고 전했다.

가운더는 “생산성을 높이고 시간을 절약하며 훌륭한 인간 비서가 될 수 있는 놀라운 기술이다. 그러나 지난 40년 동안 컴퓨팅 분야에서 출시되어 온 도구와는 다른 성격을 지닌다. 성공을 위해 알아야 할 특징들이 있다”라고 말했다. 그는 조직의 AI 지수를 평가하기 위한 몇 가지 질문을 다음과 같이 제시했다.

- AI와 프롬프트 엔지니어링의 작동 방식에 대한 기본적인 이해가 있는가?
- 교육을 받은 적이 있는가?
- 이러한 것들을 배울 수 있다는 자신감이 있는가?
- 참여하고 싶은 동기가 있는가?
- 무엇이 잘못될 수 있고 어떻게 윤리적 사용자가 될 수 있는지 알고 있는?

또 다른 문제는 직원들이 생성형 AI 도구를 워크플로우의 일부로 활용하도록 하는 것이다. "코파일럿에 대해 매우 낙관적이며 호의적인 이들이 있다. 하지만 사용자의 절반은 도구를 사용하지 않는다. 이는 교육에 대한 투자가 부족하기 때문일 수 있다”라고 그는 말했다.

그에 따르면 마이크로소프트 365용 코파일럿을 검토하는 거의 모든 주요 기업은 1시간 정도의 직원 교육만 계획한다면서, 10시간 정도가 적정 수치라고 제안했다. 가운더는 "이것은 핵심 기술이며, 교육에 투자하지 않으면 손해를 볼 수 있기 때문에 교육에 투자해야 한다"라고 말했다. 

현실 성공 사례
문서 엔지니어링과 같은 일부 분야에서는 이미 구체적인 생성형 AI 성공 사례가 나타나고 있다. 일례로 도큐가미(Docugami)는 문서 생성 및 데이터 추출에 사용할 수 있는 맞춤형 소형 언어 모델을 통해 고객의 복잡한 문서로부터 지식 그래프를 구축해 성과를 거두고 있다. 

회사의 진 파올리 CEO는 특히 보험 분야의 기업들이 가치 평가서, 보험 증서, 갱신 날짜, 위약금 및 책임이 포함된 보험 문서를 위해 도큐가미의 솔루션을 채택해왔다고 전했다. 과거에는 개별 고객과 전체 포트폴리오의 위험을 설명하는 중요한 정보를 반영해 새로운 견적을 생성하거나 재보험사에게 포트폴리오를 설명하는 작업이 수동으로 이뤄졌다는 설명이다. "이러한 시나리오는 몇 백 달러가 아니라 수백만 달러를 절약할 수 있는 실제 시나리오다"라고 파올리는 말했다.

회사의 앨런 예이츠 최고 비즈니스책임자는 또 생명과학 분야의 한 고객 기업의 경우 임상시험 문서화, 규정 준수 및 데이터 탐색을 위해 도큐가미의 플랫폼을 사용하고 있다면서, "이전에는 이 작업을 수행하는 데 6개월이 걸렸지만 지금은 1주일이면 충분하다”라고 말했다. 

생성형 AI를 본격적으로 활용하는 또 다른 분야로는 소프트웨어 개발이 있다. 하지만 초기에는 생산성 향상 효과가 낮을 수 있다. 시스코가 6,000명의 자사 개발자에게 깃허브 코파일럿을 배포했을 때, 생성된 코드를 수락한 비율은 19%에 불과했다. 지금은 코드 제안의 거의 절반이 받아들여지고 있다. 

한편 전문 지식이 부족한 시민 개발자가 로우 코드 플랫폼을 사용하는 경우 AI로 인한 이득이 훨씬 더 클 수 있다. 디지털 보험 에이전시인 N슈어닷컴은 자동화 흐름을 자연어로 설명할 수 있도록 함으로써 큰 성과를 거뒀다. 생성 및 구성하는 데 4시간이 걸리던 워크플로우가 파워 오토메이트용 코파일럿을 사용해 40분 만에 처리할 수 있게 됐다. 

또한 PG&E는 파워 플랫폼의 로우코드 코파일러스 스튜디오 생성형 AI 도구로 페기(Peggy)라는 IT 헬프데스크 챗봇을 구축해 직원 요청의 25~40%를 처리함으로써 연간 110만 달러 이상을 절감했다고 마이크로소프트 코파일럿 책임자 노아 게신은 전했다. 그에 따르면 페기가 직원들에게 SAP에 대한 액세스 권한을 잠금 해제하는 과정을 안내함으로써 헬프데스크 팀에서만 연간 840시간을 절약할 수 있었다. 

 

총 비용에 유의
주문형 생성형 AI 도구의 관련 비용을 정확하게 예측하기는 어렵기 때문에 배포를 주저할 수 있다. 개별 생성형 AI 서비스 비용을 저렴할지라도 전사적 배포에서는 큰 비용이 될 수 있기 때문이다.

링크드인의 수석 소프트웨어 엔지니어인 후안 보타로는 "외부 공급업체를 이용하든 내부에서 개발하든, 생성형 AI에서 가장 먼저 고려해야 할 사항은 비용”이라고 강조했다. 그의 팀은 최근 프리미엄 사용자를 대상으로 채용 공고에 적합한지, 어떤 기술이나 자격을 갖추면 채용 가능성을 높일 수 있는지 제안하는 새로운 생성형 AI 기능을 출시했다.

그는 "더 빠르게 움직이고 싶었지만, 사용 가능한 용량과 GPU가 충분하지 않아서 기다리기로 결정했다"라고 말했다. 새 워크플로우의 비용을 예측하기는 어렵고, 사람들의 상호 작용 방식이 매우 다르기에 사용량에 대한 가정을 확신할 수 없었기 때문이다. 대신 소수의 사용자에게 배포하고 그들의 행동을 통해 추론하기로 했다고 그는 덧붙였다.

보타로는 이어 "우리는 한두 달 만에 현재 프리미엄 경험에서 볼 수 있는 것과 매우 유사한 것을 만들 수 있었다"라고 전했다. 

CCS 인사이트의 로티비는 생성형 AI 파일럿의 경우 다른 클라우드 서비스와 마찬가지로 API 관리 게이트웨이를 통해 클라우드 AI 서비스에 대한 쿼터 및 아웃바운드 요청 속도 제한을 고려할 수 있다고 설명했다. 그에 따르면 대다수 기업은 생성형 AI의 사용을 특정 역할, 개인 또는 팀으로 제한할 계획이며, 이는 비용 문제 때문인 경우가 많다. "조직 전체에 적용하기에는 너무 비쌀 수 있다"라고 그는 말했다.

무엇을 ‘측정’할 것인가
가우더는 자체 보고된 생산성이 생성형 AI 성공을 측정하는 최선의 방법은 아니며, 배포에 따라 중요한 지표가 달라질 수도 있다고 지적했다. 그는 "티어 1 지원 전체를 생성형 AI에 맡기고 정말 좋은 자연어를 보유하고 있다면 성공률이 높아질 것이다. 하지만 인간의 경험은 다른 문제다. 통화 시간보다는 고객 만족도에 대한 측정 지표가 더 중요할 수 있다"라고 말했다.

또 인공지능 결과의 품질과 정확도를 측정하기란 까다로울 수 있다. 동일한 입력을 해도 매번 다른 결과가 나올 가능성이 높기 때문에 더 어려워진다. 때로는 평가를 위한 벤치마크를 만들어야 한다. 보타로는 “어떤 것이 옳은지 그른지를 정의하는 것은 매우 주관적이고 측정하기 어렵다"라고 말했다.

그의 팀은 도구를 평가하기 위해 좋은 응답이 어떤 모습인지에 대한 공유 지침을 만들었다. 마이크로소프트도 코파일럿 포 애저를 지원하는 애스크 런 API에 대해 답변 품질을 테스트할 근거 데이터와 메트릭을 나타내는 참조 데이터로 구성된 '황금 데이터 세트'를 구축한 바 있다.

가우더는 ROI 입증해야 한다는 압박감이 있지만 대다수 기업이 아직은 그 단계에 이르지 못했다고 경고했다. 영업용 코파일럿의 경우 전환율, 거래 흐름 또는 통화 해결까지의 평균 시간 개선을 참고할 수 있기는 하지만, 변수가 너무 많은 상황에서 직접적인 인과 관계를 가정하는 것은 주의해야 한다고 그는 덧붙였다.

아울러 정량화할 수 없는 이점도 TCO 측면에서 가치가 있을 수 있음을 감안해야 한다. 가우더는 "코파일럿을 제공함으로써 시간을 절약할 수 있을 뿐만 아니라 지루한 업무를 덜어준다고 가정해 보라. 이는 직원 경험 개선으로 이어질 수 있다. 직원 경험 혜택은 이직률을 낮추고 직원들의 동기 부여와 참여도를 높이는 경향이 있다"라고 말했다.

한편 보타로는 생성형 AI와 LLM에 대한 열망이 상황을 복잡하게 만든다고 말했다. "구축이 결정된 상황에서 가치를 측정하는 방법을 찾으려는 접근법이 흔하다. 이는 잘못된 접근 방식이다”라며, 일부 사용 사례에서는 기존 AI로도 충분할 수 있다는 가능성을 열어두라고 제안했다.

생성형 AI 실패 막으려면…
생성형 AI를 도입하는 것이 적절한지, 사용자가 부정확한 답변을 반박할 수 없는 진실로 받아들이는 것을 막는 방법은 무엇인지, 학습 세트에 저작권과 부적절한 자료가 포함되지는 않는 지와 같은 질문을 진지하게 검토해야 한다.

보고된 생성형 AI 실패 사례 다수는 모델 자체의 내재적 문제보다는 경계를 넘나드는 사용자의 무책임한 행동이나 조직이 충분한 AI 기반 보호 도구를 마련하지 않은 것에서 비롯된 경우가 많다. 딥페이크나 단순한 디지털 위조, 학습에 사용된 데이터의 저작권과 관련된 잠재적인 법적 위험, 민감한 데이터나 기밀 데이터에 생성형 AI를 사용할 때 규정 준수에 대한 문제 등이 생성형 AI와 관련된 주요 우려 요소로 손꼽힌다. 

아울러 클라우드 생성형 AI 서비스의 경우, 모든 클라우드 모델과 마찬가지로 공동 책임이라는 개념을 수용해야 한다. AI 제공업체는 안전하게 사용할 수 있는 모델과 서비스를 제공해야 하지만, AI 서비스를 채택하는 조직은 모델 카드와 투명성 노트를 읽고 사용 방식을 적절히 제한하고 있는지 테스트해야 한다.

가운더는 "일부 조직은 챗봇을 지나치게 확장하고 일관성 없는 답변을 제공하고 있음을 뒤늦게 깨닫는다”라며, "그렇다고 포기해야 한다는 말은 아니다. 고객에게 출시하기 전에 프로젝트를 철회하고 오프라인에서 반복 작업을 시도할 수 있다"라고 말했다.

한편 생성형 AI에 대한 조직의 성숙도는 일반적으로 기존 AI의 성숙도를 뒤따르는 경향이 있다. 가운더는 "예측 AI, 컴퓨터 비전, 머신러닝에 더 많은 투자를 해온 기업들에서 성공 비율이 높다. 자체 AI 도구를 구축하는 기업들은 여러 기술을 사용하고 있으며, 생성형 AI를 하나의 요소로 취급한다”라고 말했다. 

보타로 또한 생성형 AI에 대한 과대광고를 극복하는 방법으로 이를 또 하나의 도구로 보는 것이라고 말했다.

 

https://www.ciokorea.com/news/335605