긍정적 사고, 음식의 절제, 규칙적인 운동

CxO 또는 기술 전략 담당자라면 지난 몇 달 동안 AI에 대한 태도가 변화했을 가능성이 크다. 거대 기업의 생성형 AI 서비스가 헤밍웨이와 같은 이메일/문자 품질을 만들어줄 것이라고 기대하지 않으며, 이러한 서비스가 전반적인 수익과 주가를 높여줄 것이라고 기대하지도 않는다. GPU 칩도 일개 하드웨어로 무심히 바라보게 됐을 것이다. 그렇다고 해서 AI를 포기했다는 의미는 아니다. 현실을 직시했다는 뜻이다. 그렇다면 실제 행동 측면에서 현실의 기업들은 어떤 모습일까? '현실의' AI란 무엇일까?

일단은 점점 더 사내에서 실행하는 애플리케이션을 향해가고 있다. AI 계획을 공유한 292개 기업 중에서 164개 기업은 자체 호스팅 AI를 통해서 진정한 AI 혜택이을 얻을 수 있을 것으로 예상했다. 또 105개 기업만이 AI에 대해 잘 알고 있다고 답했고, 47개 기업은 확신을 가지고 있다고 답했다. 전반적으로 사내 AI(in-house AI)가 초기 단계에 있다고 말하는 것은 정확한 표현이다. 기업 내 AI 배포에는 많은 영역이 있으며 대부분이 아직 혼란스럽기 때문이다.

이러한 어려움에도 불구하고 벤더들은 셀프 호스팅 옵션을 내세우는 듯하다. 시스코와 주니퍼( HPE의 인수가 순조롭게 진행되고 있음)는 모두 엔터프라이즈 데이터센터에서의 AI에 더 집중하겠다는 의사를 밝혔다. AI 모델 제공업체들도 생성형 AI 도구의 라이선스를 강조한다. 두 그룹 모두 기업들의 구매를 고대하고 있지만, 앞서 언급한 혼란으로 인해 기업 대부분은 어떻게 시작해야 할지조차 모른다.

전반적으로 기업들은 AI 호스팅 계획의 시작으로 GPU와 데이터센터 장비를 생각하곤 한다. 그러나 응답을 분석한 결과 앞선 기업들은 그렇지 않다고 말하고 있었다. “애플리케이션 요구 사항에 대한 예상에 맞춰 하드웨어를 구매하면 안 된다. AI가 수행하기를 원하는 작업부터 시작한 다음 어떤 AI 소프트웨어가 필요한지 물어봐야 한다. 그런 다음 데이터센터 계획을 시작할 수 있다”라고 한 CIO는 말했다.
 

LLM과 SLM 비교
자체 AI 호스팅 경험을 가진 기업 다수는 챗GPT로 시작했다고 전한다. 퍼블릭 AI 서비스 중 하나에서 사용되는 대규모 언어 모델(LLM)의 프라이빗 버전을 호스팅해야 한다고 가정하는 것이다. 기업 3분의 1은 이러한 경로를 밟고 있었다. 그러나 3분의 2는 자체 호스팅하는 AI가 '오픈소스' 모델을 기반으로 해야 한다고 생각하고 있었다. 또 이들 중 대부분은 이제 특정 미션에 '전문화'된 AI 모델을 찾고자 한다고 응답했다. 

오늘날 사내 구현 형태로 제안될 가능성이 가장 큰 AI 프로젝트는 AI 챗봇이었다. 비즈니스 사례로서의 성공 가능성도 크다고 할 수 있다. 이러한 프로젝트는 대개 사전 판매 및 판매 후 미션, 즉 마케팅/영업 및 고객 지원을 목표로 한다. 이러한 애플리케이션을 우선적으로 고려하는 기업은 퍼블릭 AI 서비스나 클라우드 호스팅을 고려할 가능성이 높았다. 즉 독점 모델을 유지하는 기업들인 1/3의 대부분을 차지하고 있었다.

비즈니스 사례를 만들 가능성이 다음으로 높은 AI 애플리케이션 분야는 비즈니스 분석 및 인텔리전스다. 대부분의 기업이 AI를 자체 호스팅해야 한다고 처음부터 생각하는 분야이기도 하다. IBM 고객들은 이 분야에서 IBM의 왓슨X 전략을 이용하는 경향이 있으며, 모든 기업 중에서 모델 선택 방식에 가장 큰 자신감을 보이고 있었다. 다른 기업들 사이에서는 메타의 라마가 블룸과 팔콘 모델을 제치고 가장 선호하는 전략이 됐다. 하지만 이러한 변화는 상당히 최근에 나타났기 때문에 계획 측면에서는 앞서 있지만 구축은 뒤처져 있었다.

한편 고객 대면 업무의 챗봇 사용자, 의료 업계 종사자, 심지어 비즈니스 분석 분야에서 AI를 계획하는 많은 기업들이 소규모 언어 모델(SLM)에 점점 더 많은 관심을 보이고 있다. SLM은 특정 임무에 맞게 학습된다. 덕분에 환각의 위험을 획기적으로 줄이고 전문 영역에서 더 유용한 결과를 생성할 수 있다. 몇몇 SLM은 기본적으로 특수 임무에 맞게 조정된 LLM이기에 적당한 LLM을 선택하면 SLM 선택이 끝난다. AI 전략에 대해 신뢰할 수 있는 공급업체가 있다면 해당 공급업체와 미션별 SLM에 대해 논의하는 것이 현명한 수순이다. 전문 SLM을 사용해 본 기업(총 14개)은 SLM이 현명한 선택이었으며 호스팅 비용을 크게 절감할 수 있다는 데 동의했다.

GPU 및 이더넷 네트워크
하드웨어는 어떨까? 엔비디아 GPU를 떠올리기 쉽지만 기업들이 실제 구매하는 기기는 GPU가 포함된 서버다. 델이나 HPE, 슈퍼마이크로와 같은 벤더들이 기업의 GPU 정책에 영향을 끼친다. 기업들은 AI 호스팅을 위해 약 50개에서 거의 600개까지 다양한 수의 GPU를 보유하고 있었으며, 100개 미만의 GPU를 보유한 기업의 3분의 2가 초기 테스트 중에 추가했다고 보고했다. 500개 이상을 보유한 기업 중 일부는 현재 너무 많다고 생각하고 있었다. 대부분의 엔터프라이즈 셀프 호스팅 계획자는 200~400개 사이를 배포할 것으로 예상했으며, 450개 이상을 사용할 것이라고 답한 기업은 단 두 곳에 그쳤다.

GPU를 직접 설치하려는 기업은 거의 없었다. 즉 표준 서버용 GPU 보드를 구매하려는 경우는 드물었다. 그저 끼운다고 끝이 아님을 잘 알고 있기 때문일 터다. 좋은 GPU에는 빠른 메모리, 빠른 버스 아키텍처, 빠른 I/O 및 네트워크 어댑터가 필요하다.

한편 이더넷을 사용할지 인피니밴드를 사용할지에 대한 오래된 논란은 자체 호스팅 AI를 사용 중이거나 계획 중인 기업들에게 그리 고민거리가 아니었다. 이들은 이더넷이 정답이라는 데 동의하며, 가능한 한 빨라야 한다는 데도 동의했다. 우선순위 흐름 제어와 명시적 혼잡 알림 기능을 모두 갖춘 800G 이더넷은 기업에서 권장하고 있으며, 화이트박스 장치로도 제공되고 있다. 

기업들은 또 AI를 표준 서버와 혼용해서는 안 된다는 데 동의하고 있었다. AI 배포를 자체 고속 클러스터 네트워크를 갖춘 새로운 클러스터로 볼 수 있는 셈이다. 또한 학습이나 프롬프트 등 회사 데이터에 액세스하기 위해 데이터센터에 빠르게 연결하고 사용자 액세스를 위해 VPN에 연결하는 것이 중요하다.

여러 개의 AI 애플리케이션을 사용할 예정이라면 두 개 이상의 AI 클러스터가 필요할 수 있다. 필요에 따라 SLM 또는 LLM을 클러스터에 로드할 수는 있지만, 데이터를 보호하면서 동일한 클러스터에서 여러 모델을 동시에 실행하는 작업은 더 복잡하다. 

일부 기업에서는 하나의 LLM 도구를 선택하여 고객 지원, 재무 분석 및 기타 애플리케이션에 맞게 학습시킨 다음 다른 애플리케이션에 병렬로 사용할 수 있다고 생각하고 있었다. 문제는 응답을 격리하는 것이 어렵다는 점이다. 모델 내에서 미션을 혼합하는 것은 현명하지 않을 가능성이 크다.

그렇다면 최종 권장 사항은 무엇일까? 테스트... 테스트… .테스트다. 시간을 들여 모델 옵션을 평가해야 한다. 시간을 들여 구성을 선택하고, 특히 커밋하기 전에 AI를 시험해 볼 수 있을 때 가능한 한 자주 테스트하라. AI 전략을 수립한 후에는 제품, 비즈니스, 운영 중인 세금 및 규제 프레임워크의 변화에 따라 모델을 최신 상태로 유지할 수 있도록 계속 테스트하라. AI는 인간과 마찬가지로 상황이 변화함에 따라 재교육을 필요로 한다 그리고 인간 또한 AI에 대한 새로운 시각을 지속적으로 업데이트해야 한다. 

https://www.ciokorea.com/news/349969

생성형 AI의 가능성은 부인할 수 없다. 그러나 기업에서 이를 적용하는 데 대규모 언어 모델(LLM)을 꼭 선택해야 하는 건 아니다. IT 리더가 제어권을 유지할 수 있는 특정 데이터를 기반으로 하는, 그리고 에너지 소비가 적은 소규모 언어 모델이 뜨는 배경이다.

구글의 GPT-4가 튜링 테스트를 통과했다. 마이크로소프트가 AI 비서 코파일럿을 기업용 제품에 적용했다. 구글이 이탈리아에서 스마트폰용 제미니 앱을 출시했다. 이러한 가운데 CIO들은 기술적 흥분이나 상업적 현혹에 휘둘리지 않고 최신성을 확보하기 위해 생성형 AI 기술을 연구하고 있다.

이탈리아 연구 및 교육 커뮤니티 전용 광대역 네트워크인 GARR의 CTO이자 인프라 부서 책임자인 마시모 카보니는 "생성형 AI는 많은 이점을 제공할 수 있지만 적절한 검토가 필수적이다. 가능성을 과대평가할 위험도 몹시 높다. AI와 생성형 AI에 대한 첫 번째 위험은 이를 지나치게 믿는 것이다”라고 말했다.

최근 가트너는 생성형 AI 기술에 대한 전 세계 기업의 지출이 아직까지는 그다지 크지 않다고 추정했다. 또 올해 예상되는 총 5조 달러(2023년 대비 8% 증가) 규모의 IT 투자 중에서도 생성형 AI가 차지하는 비중은 크지 않을 것으로 전망했다. 오히려 전통적인 IT 서비스와 같은 전통적인 세력이 지출을 주도한다는 관측이다.

그럼에도 불구하고 대형 서비스 제공업체들은 생성형 AI 기술에 대한 지출을 늘리고 있다. 2024년에 하이퍼스케일러들이 지출하는 서버 비용 중 거의 60%가 AI 애플리케이션 서버에 집중될 전망이다. 하지만 기업들은 좀 더 신중한 입장이다. 가트너는 2023년에 논의, 2024년에 구현 계획, 2025년에 실행될 것으로 예상되는 생성형 AI의 주기를 '스토리, 계획, 실행'으로 보고 있다. 

CIO가 면밀히 검토하는 생성형 AI
바이오가스 및 바이오메탄 생산과 에너지 효율 분야에서 활동하는 이네바의 CIO 에도아르도 에스포지토에 따르면, 현재 이네바의 IT는 모두 마이크로소프트 시스템으로 구성되어 있고 이 생성형 AI 제품이 오피스 제품군과 완벽하게 통합된다. 회사가 현재 코파일럿을 테스트하는 배경이다. 그는 CFO, 법무 책임자, 기관 관계 및 규제 책임자 등 다른 관리자들과 함께 실험을 진행하고 있다고 전했다.

"우리는 수입과 지출에 대한 재무 분석과 같은 재무 분야에서의 사용을 테스트하고 있다. 가장 큰 기회가 있는 분야라고 생각한다. 아직은 법률 분야에서의 활용이 제한적이라고 보지만, 계약 관리와 법률 연구에 대해서도 생성형 AI를 사용하려고 시도 중이다"라고 그는 말했다. AI가 법률 자문을 제공하지는 않지만, 지속적으로 업데이트되거나 변경되는 방대한 양의 규칙을 탐색하는 데 도움이 되기 때문이다. 

그는 "AI로 생성된 새로운 법률에 대한 간단한 글머리 기호 요약본을 경영진에게 보내 검토를 요청하는 것만으로도 도움이 된다. 결국, 한 달에 30달러를 지불하는 소규모 기업 입장에서는 사무실에 사람이 한 명 더 있는 것과 마찬가지다"라고 설명했다.

하지만 에스포지토는 생성형 AI가 복잡한 업무를 완전히 자동화할 수 있을지에 대해서는 확신하지 않고 있다. "지속가능성이 한 이유다. 매개변수가 방대하고 훈련하는 데 많은 에너지가 필요하기 때문이다"라고 그는 말했다.

AI의 지속 불가능성
GARR의 카보니에 따르면 AI는 이미 몹시 에너지 집약적이며, 기술 비용의 부담을 더욱 늘린다. 그는 "전 세계 ICT는 2023년에 전체 에너지 비용의 9%, 즉 약 3,000억 달러어치의 에너지를 소비한다. 이 비중은 지난 10년 동안 최대 60% 증가했으며 앞으로 더 늘어날 것"이라고 말했다.

카보니에 따르면 훈련 측면에서도 문제가 있다. "생성형 AI는 기존의 인간 중심 접근 방식을 뒤집고 있다. 이제는 인간들이 시장에서 나온 모델에 적응해야 한다. 만약 생성형 AI 플레이어가 줄어들면 줄어들수록 기업 입장에서는 의존성이 커지고 통제력을 잃게 된다"라고 말했다.

또한, 생성형 AI의 진입 문턱이 높고 대부분의 기업이 제품간 차이를 구분할 지식 없이 서비스를 구매할 수 있기 때문에 소수가 결정을 주도할 가능성이 높다. 선택의 여지가 협소하고 기업 내 맞춤형 구축이 어렵다는 문제도 있다. "따라서 내 생각에는 사내에서 무언가를 구축하려는 접근법이 확산될 가능성이 크다"라고 그는 말했다.

빅 테크와 경쟁하는 기업
기업 간 경쟁이 치열해지고 있는 가운데, 카보니를 비롯한 많은 기업의 IT 임원들은 대형 공급업체의 모델 판매 방식이 여러 측면에서 불공평하다고 바라본다. "마이크로소프트와 구글 같은 기업은 제품 생태계를 보유하고 있으며, 데이터 시장의 최대 80%를 장악하고 있다. 이들은 또 지배력을 강화할 수 있도록 스타트업을 인수하려 한다. 따라서 경쟁할 수 있는 새로운 플레이어의 진입을 기대하기 어려운 상황이다”라고 그는 말했다.

카보니에게 이는 직접 탐구할 필요성을 의미한다. "활용할 수 있는 데이터가 많기 때문에 GARR에서 이를 직접 연구할 방침이다. 내부 지식 기반을 더 잘 정의하기 위해 생성형 AI 모델을 도출하는 것이 목적이다. 이를 위해 작은 언어 모델을 눈여겨보고 있다”라고 말했다.

SLM과 CIO의 통제권
소규모 언어 모델(SLM)은 GPT와 같은 제품의 기반이 되는 대규모 딥러닝 모델인 LLM보다 훨씬 더 작고 구체적인 데이터 세트에 대해 학습된 ML 알고리즘을 의미한다. 초기 테스트 결과, 더 효율적이고 비용이 적게 들며 작업 정확도가 부족하지 않은 것으로 나타나기도 한다. 에스포지토는 또한 SLM을 탐색한 결과 비즈니스 용도로 훨씬 더 유망하고 지속 가능하다고 보고 있다.

에스포지토는 "API를 통해 대규모 생성형 AI 모델을 사용하여 자체 데이터로 자체 생성형 AI 제품을 학습시키려면 상당한 에너지 자원이 필요하다. 비용이 많이 드는 디지털 동료다. 또 전기도 막대하게 공급해야 한다. 그래서 나는 소규모 언어 모델에는 매우 흥미를 느낀다. 기업들은 편견과 개인정보 누출의 위험이 적고 보다 타깃화된 무언가가 필요하다"라고 말했다.

예를 들어, 에스포지토는 IT 부서가 SLM을 가져와 클라우드에 배치하고 기업 문서 데이터베이스에만 액세스 권한을 부여할 수 있다며, 이를 통해 모델에 해당 문서와 관련된 질문만 할 수 있다고 설명했다.

"첫 번째 실험에서 에너지 소비가 줄어들었을 뿐만 아니라 환각 확률도 감소함을 확인했다. 결국 기업의 AI 모델은 모든 것을 알 필요는 없고 특정 애플리케이션에만 응답하면 된다. SLM 또한 번역, 시장 동향 분석, 고객 서비스 자동화, IT 티켓 관리, 비즈니스 가상 비서 생성 등의 작업을 수행할 수 있다. 도메인을 제한하고 전문화하여 IT 관리 하에 두는 것이 더 효율적이라고 본다"라고 말했다.

생성형 AI 비즈니스와 소규모 모델 저울질
일부 IT 리더에게는 통제권이 핵심이다. 브루노 케슬러 재단(FBK)의 증강 센터 책임자인 알레산드로 스페르두티는 AI 분야에서 민간 기업이 지배하는 현상에 부정적이다 "과거에는 주요 AI 시스템이 대학에서 개발되었지만 오늘날에는 그렇지 않다. 그 이유는 민간 기술 대기업이 공공을 넘어서는 자본력을 갖췄기 때문"이라고 그는 말했다.

사실 물리학 실험을 위해 여러 국가가 협력해 설립한 기관인 CERN처럼 공공 분야가 AI를 다시 통제할 수 있어야 한다는 관점이 있다. 그러나 유럽 연합의 AI 법처럼 정부가 AI 도구의 사용을 규제하는 한, 몇몇 민간 조직의 지배적 입지가 그리 문제되지 않는다는 시각도 있다.

스페르두티는 "물리학계과 다른 점이 있다. 물리학계에는 큰 사업성이 없는 반면 AI 분야에는 엄청난 이익이 걸려있다는 점이다. 이것이 바로 오늘날 마이크로소프트와 구글 같은 기업들이 치열하게 경쟁하는 이유다. 이 분야에 스타트업이 존재하지만 다른 분야에 비해 그 수가 적은 이유는 필요한 투자가 막대하기 때문이다. 스타트업들이 기존 플레이어의 우위를 위협하고 강력한 경쟁 구도를 만들기란 거의 불가능하다"라고 말했다.

이러한 관점에서 스페르두티는 검색 증강 생성(RAG) 시스템의 존재를 강조했다. 소규모 모델에서 로컬 데이터베이스에 저장된 문서에 대한 질문에 답하기 위해 LLM을 사용하는 방식으로 요긴하다는 평가다. 문서의 누출을 막을 수도 있다. RAG를 통해 기업은 데이터에 대한 통제력을 높이고 비용을 절감할 수 있다고 그는 강조했다.

스페르투티는 "로컬에서 오픈소스 언어 모델을 사용할 수도 있다. LLM보다 규모는 작지만 성능이 낮으므로 SLM으로 간주할 수 있다"라고 말했다.

비용 측면의 지속 가능성에 대해서도 의미를 지닌다. LLM과 달리 SLM을 사용하면 전력 관리 부담이 덜하다. 그는 "경제성 평가 작업을 반드시 해야 한다. 전력 비용, 모델 비용, 업데이트, 모델에 투입되는 인력 등을 고려하여 신중하게 선택해야 한다”라고 말했다.

주도권을 쥔 CIO: 거버넌스와 전문성
한편 카보니 SLM 선택에 따라 감당해야 할 부담이 있다고 지적했다. "하이퍼스케일러 LLM에서는 데이터 작업의 대부분이 통계적으로 수행되고 IT 부서는 특정 주제에 대해 모델을 학습시켜 오류를 수정함으로써 목표에 맞는 양질의 데이터를 제공하게 된다. SLM은 훨씬 적은 비용으로 더 적은 데이터를 필요로 하지만, 바로 이러한 이유로 통계적 효율성이 떨어진다. 매우 높은 품질의 데이터가 필요하다. 그렇지 않으면 일반 데이터를 사용하면 모델에 많은 오류가 발생할 위험이 있다"라고 말했다.

SLM은 구글, 마이크로소프트와 같은 거대 기술 기업에서도 이를 제안하고 광고하는 기술이다. 그러나 에스포지토는 기업이 이를 폐쇄형 시스템으로 유지하는 게 낫다는 입장이다. 그는 "SLM은 관리가 더 쉬우며 AI에서 부가가치를 창출하기 위해 회사의 중요한 자산이 된다. 나는 SLM을 맞춤형으로 개발하고 내부 폐쇄형 시스템으로 구축할 수 있도록 시스템 통합업체와 협력하는 것을 선호한다. 데이터 및 AI 거버넌스는 기업에게 필수적이다”라고 말했다.

결국 CIO의 역량이 중요하다는 언급도 있었다. 카보니는 "서비스 액세스 비용뿐만 아니라 서비스에 영향을 미칠 수 있는 능력을 평가하는 것도 중요하다. CIO는 제품을 구매하고 성과를 기대하는 데 그치지 않고 해당 제품이나 서비스에 영향을 미칠 수 있어야 한다"라고 말했다.

https://www.ciokorea.com/news/346364

엔터프라이즈 IT의 고질적 문제 중 하나는 인식과 현실 사이의 격차다. 그리고 생성형 AI(genAI) 벤더들또한 과대 약속에 대한 대가가 크다는 것을 곧 깨닫게 될 것이다.

준비되지 않은 기술을 밀어붙인 비기술 부문 고위 경영진(CFO, CEO, COO 및 일부 이사회 구성원)은 향후 도입에 저항하게 되기 쉽다. 아이러니한 점은 나중에 도입된 기술이 약속된 이점을 제공할 가능성이 더 높다는 것이다. ‘나중에 들려온 ’늑대가 나타났다”가 진실이었던 것과 비슷하다.

ROI를 실현하지 못한 비즈니스 사례는 흔하다. 곧 출시될 애플 아이폰에서도 그럴 가능성이 크다. 애플은 일부 아이폰 16 라인에 온디바이스로 작동하는 AI(브랜드명은 애플 인텔리전스)를 추가할 예정이다. 이론적으로 온디바이스 생성형 AI는 (클라우드에 비해) AI 응답 속도를 높일 수 있으며, 시리가 모든 앱에서 정보를 원활하게 가져오는 시나리오를 가능하게 한다.

이러한 설정은 결국 앱 역할을 바꿔낼 수 있다. 날씨 앱이 실행되어 시간별 일기 예보를 알려줄 때까지 기다릴 필요 없이 시리가 더 쉽고 빠르게 알려주는 식이다. 예를 들어, 필자는 습도만 알려주는 앱이 하나 있고, 문자 메시지, 이메일, 녹취된 음성 메일 외에도 6가지 이상의 커뮤니케이션 앱(왓츠앱, 웹EX, 시그널l 등)과 직접 메시지를 보낼 수 있는 앱(링크드인, X, 페이스북)을 사용하고 있다. 내가 이 모든 것을 관리해야 할 이유가 있을까?

이론적으로는 애플 인텔리전트는 모든 비트와 바이트 정보를 통합하여 일관된 형식으로 내 커뮤니케이션과 업데이트를 전달할 수 있을 것이다.

하지만 이상과 현실은 다르다. 친구이자 동료 기술자인 제이슨 펄로우의 글에 따르면, 애플이 제공하는 슬림화된 생성형 AI는 오히려 실망을 불러일으킬 수 있다.

“일반적인 iOS 또는 맥OS 기능 업그레이드와 달리, 애플 인텔리전스는 약 30억 개의 매개변수가 포함된 자체 개발한 대규모 언어 모델(LLM)인 애플 파운데이션 모델의 축소 버전을 로드한다. 수천억 개의 파라미터를 자랑하는 GPT-3.5 및 GPT-4와 같은 모델에 비하면 매우 작은 규모다. 데스크톱 컴퓨터에서 실행할 수 있는 메타의 오픈소스 라마 3조차도 80억 개의 매개 변수를 가지고 있다”라고 그는 기술했다.

게다가 애플 인텔리전스는 최대 2GB의 RAM을 차지한다. 램 부족 현상이 나타나거나 다른 아이폰 기능의 성능 저하가 나타날 수 있는 것이다. 또한 배터리 성능이 저하되어 기기의 다른 모든 기능이 저하될 수 있다.

결론은 이렇다. 이 초기 출시 버전은 배터리와 메모리 소모할 가능성이 높으며 여타 생성형 AI 솔루션과 비교해 성능이 떨어질 것이다. 이는 구매자의 후회를 불러일으킬 수 있다.

그리고 앱 개발자 문제도 있다. 첫째, 앱 개발자가 애플 API를 사용하여 애플 인텔리전스와 잘 작동하는 앱 버전을 제공하기까지는 시간이 걸릴 가능성이 크다. 개발자에 따라서는 애플 인텔리전스 지원이 그들에게 도움이 되지 않았을 수 있다. 애플이 데이터를 손쉽게 가져와 시리를 통해 제공할 수 있게 되면 독립형 앱의 가치가 떨어지지 않을까? 그러면 수익화 전략이 약화되지 않을까? 시리가 필요한 정보를 직접 제공할 수 있는데 굳이 영화 티켓이나 콘서트장 앱의 광고를 볼 이유가 있을까?

애플의 약속을 검토한 리서치 기관 IDC는 이 새로운 기술이 초기에는 휴대폰 판매량을 늘릴 수 있을 것으로 예상했다. ‘처음에는’이 핵심 단어다. 사람들은 종종 기술적인 약속에 따라 구매하지만, 이후 다른 사람들과 이야기를 나누고 실제 경험을 바탕으로 향후 휴대폰을 구매할지(또는 방금 받은 휴대폰을 유지할지) 결정한다.

다시 엔터프라이즈 IT와 생성형 AI로 돌아가 본다. 허황된 약속을 믿고 생성형 AI 도입을 추진한 기업 경영진이 인내심을 갖고 희망을 유지할 가능성은 크지 않다. 오히려 의미 있는 ROI가 나타날 것으로 예상되는 시점(대략 2~3년 후)이 되면, 초기 배포에 대한 피로감을 느끼고 다시는 속고 싶지 않다는 생각을 가지게 될 것이다.

문제는 생성형 AI 벤더들이 비현실적인 약속을 내세우며 단기적인 판매를 촉진할 가능성이 크다는 점이다. 기업 CIO를 대상으로 판매하는 벤더(오픈AI, 마이크로소프트, 구글, 아마존)든 소비자 대상 벤더(애플)든 자멸적인 마케팅 접근 방식일 수 있다.

과대 약속은 위험하고 무모한 전략이다. 하지만 요즘 엔터프라이즈 생성형 AI 영업에서는 과장된 약속이 지나치게 당연시되고 있는 듯하다.  https://www.ciokorea.com/news/349661

기술 인력 개발 기업 플루럴사이트Pluralsight)의 최근 AI 기술 보고서에 따르면 임원 및 IT 리더의 40%만이 직원을 대상으로 공식적인 AI 교육을 실시하고 있다고 답했다. 그리고 직원 AI 교육에 대한 CIO의 책임이 점점 더 커짐에 따라 IT 리더는 기업의 AI 준비성 책임 측면에서 해법을 찾아내야 할 처지에 놓일 가능성이 크다는 진단이다.

직원들도 주목하고 있다. 디지털 워크플레이스 공급업체 Slingshot이 8월에 발표한 설문조사 결과에 따르면 응답 직원의 다수는 AI에 대해 제대로 교육이나 훈련을 받지 못했다고 느끼고 있었다.

플루럴사이트의 생성형 AI 수석 저자 데이비드 해리스는 “일하는 방식을 완전히 뒤엎는 새로운 기술이 등장할 때마다 많은 사람들이 촉각을 곤두세운다. 내가 보기에 모든 비즈니스 관계자는 AI를 어떤 식으로든 도입해야 한다고 생각한다. 그러나 그 방법을 정확히 아는 사람은 드물며, 직원들의 지식 수준에 대해 확산하는 이도 거의 없다"라고 말했다.

그에 따르면 채용 시장을 통해 AI 기술 격차를 메우기도 쉽지 않다. 비교적 최근의 기술인 데다 빠르게 발전하고 있기 때문이다. 해리스를 비롯한 업계 전문가들은 또 개발자, 영업사원, 사무직에 이르는 모든 직원이 AI 교육을 통해 혜택을 받을 수 있다고 강조했다. 

한편 IT 직원들조차도 AI가 일자리를 대체하는 것에 대해 우려하고 있다. 플루럴사이트의 설문조사에 참여한 IT 전문가 중 거의 4분의 3은 AI가 자신의 기술을 쓸모없게 만드는 상황을 우려한다고 답했다.

인재 유지에 영향
이키가이 랩스(Ikigai Labs)의 사장인 카말 알루왈리아는 AI가 고용 시장에 큰 영향을 미칠 것이기에 직원 대상의 AI 교육이 필수적이라고 강조했다. 이키가이 랩스는 소량의 기업 데이터로 작동하는 생성형 AI 툴을 제공하는 업체다.

AI와 일자리 사이의 관계에 대한 알루왈리아의 전망은 복합적이다. 그는 AI가 오늘날 IT 일자리의 3분의 1을 없애지만, 나머지 3분의 1은 AI를 통해 향상될 것이라고 예측했다. 또 미래 일자리의 또 다른 3분의 1은 AI에 의해 창출될 것으로 그는 전망했다.

HR 회사 에잇폴드닷에이아이의 사장을 역임한 바 있는 알루왈리아는 “일자리 대체 현상이 상당할 것이며, 우리 생각보다 더 빨리 일어날 것이라고 본다. 나는 만나는 모든 사람들에게 업무 적절성을 유지하기 위해서는 기술을 배울 준비가 되어 있어야 한다고 직설적으로 이야기하고 있다”라고 말했다.

그에 따르면 조직은 지금 당장 AI 교육에 투자할 필요가 있다. CIO와 기타 경영진은 직원들이 최신 AI 기술을 지속적으로 학습하도록 장려해야 하며, AI 교육을 잘 활용한 직원들의 성공 사례를 알려야 한다. 시장에 AI 전문 인력이 부족하다는 점을 감안할 때 더욱 그렇다.

알루왈리아는 “재교육, 업스킬링에 대한 시각을 바꿔야 한다. 경영진이 이러한 변화를 방관하고 다른 중간 관리자나 개인이 처리하도록 조치해선 안 된다. 경영진이 변화를 지지하도록 해야 한다. 그래야 분위기가 조성되기 때문이다”라고 말했다.

플루럴사이트 설문조사에 따르면 IT 전문가의 74%가 AI로 인해 자신의 기술이 무의미해질 것이라고 우려하는 반면, 81%는 현재 자신의 역할에 AI를 통합할 수 있다고 확신하고 있었다. 점점 더 많은 IT 전문가들이 AI 교육을 자신의 커리어에 필수적인 것으로 바라보고 있었다. AI 업스킬링에 IT 전문가를 적극적으로 참여시키지 않는다면 인재가 빠져나갈 가능성이 커지는 셈이다.

조화롭게 구성
디지털 컨설팅 회사인 웨스트 먼로 파트너스의 AI 및 엔지니어링 부문 수석 파트너인 에릭 브라운은 만연한 위기감이 틀리지 않다고 진단하며, 조직과 직원 모두 '모든 곳에 AI가 존재하는' 미래에 대비해야 한다고 말했다.

그는 이어 AI 교육은 직원과 AI 간의 '조화'를 구축하고 인간이 결정권을 행사하는 모습을 보여주는 데 초점을 맞춰야 한다고 설명했다. “인간의 창의성과 비판적 사고를 AI의 효율성을 결합해야 최상의 결과를 얻을 수 있다"라고 브라운은 말했다.

또 일부 직원은 다른 직원보다 AI의 영향을 더 많이 받겠지만, 교육은 모든 직원에게 제공되어야 한다. 그는 “최고 경영진을 포함해 모든 직원에 대해 투자해야 한다. 교육에 대한 접근성을 민주화한다는 것은 모든 사람이 AI를 발전시키는 문화를 조성하는 데 기여하고 책임을 질 수 있다는 것을 의미한다”라고 그는 말했다.

AI 교육의 필요성을 강조하는 목소리가 높지만 현실적인 여러 어려움이 있다. 데이터 분석 및 AI 도구 제공업체인 Seeq의 CTO 더스틴 존슨은 교육에 참여할 시간이 부족한 직원이 많으며, 지속적인 교육이라면 더욱 그렇다고 지적했다. 직원 개개인의 필요에 맞춰 참여하기 적합한 적시 교육 과정을 마련해야 할 이유라고 그는 덧붙였다. 그에 따르면 이는 AI 교육 도구에 주목할 이유이기도 하다. AI 기반 교육 도구는 자료를 통합하고 고객 기업 고유의 특정 장비와 프로세스에 맞는 정보를 제공할 수 있기 때문이다. 

선구자들에게 기회를
존슨은 또 AI에 적극적인 직원들이 AI로 작업할 수 있도록 허용할 것을 권장했다. 이들 선구자들이 성공을 거두고 환각 및 기타 AI 문제를 피한 방법을 보여주는 웨비나 및 기타 이벤트를 개최하는 방안도 검토할 만하다는 설명이다.

“이러한 세션은 AI에게 질문하는 방법, 문서를 정확히 검색하는 방법 등을 공유할 수 있는 기회를 제공한다. 또 산출 결과를 검증할 수 있는 방법을 확산시킴으로써 기술에 대한 신뢰도를 높이게 된다”라고 그는 말했다.

한편 AI 기술이 빠르게 발전하고 있다는 점이 감안하라고 플로럴사이트의 해리스는 전했다. 새로운 기능과 용도를 반영하기 위해 AI 교육 과정을 정기적으로 업데이트할 필요가 있다. 어떤 경우에는 AI 교육 과정에서 제공되는 정보가 일주일도 안 되어 구식이 될 수 있다고 그는 덧붙였다. 

해리스는 “연 단위, 월 단위의 업데이트 소식이 아니다. 어제와 내일의 문제다”라고 말했다. https://www.ciokorea.com/news/349675

오픈AI는 챗GPT(ChatGPT)의 주간 활성 사용자가 2억 명을 돌파했다고 밝혔다. 이는 지난해보다 두 배 증가한 수준이다.

39일 악시오스에 따르면, 포춘 500대 기업 중 92%가 오픈AI 제품을 사용하고 있다. 또 GPT-4o 미니(mini)가 올 7월에 출시된 이후 자동화 API 사용량이 두 배 증가했다.

샘 올트먼 오픈AI 최고경영책임자(CEO)는 “사람들이 우리의 도구를 이제 일상적으로 사용하고 있으며, 이는 의료 및 교육과 같은 분야에서 실질적인 변화를 가져오고 있다”며 “일상적인 업무 지원부터 어려운 문제 해결, 창의성 발현까지 다양한 영역에서 도움을 주고 있다”고 말했다.

오픈AI는 생성형 AI 챗봇 시장에서 선두 자리를 유지하고 있다. 하지만 테크 기업들이 점유율을 높이고자, 서비스를 업데이트하면서 경쟁 격화에 노출된 상태다.

이날 메타(Meta)는 오픈 소스 라마(Llama) 모델의 도입이 급격히 증가했다고 밝혔다. 라마(Llama) 3.1 출시 이후 올해 5월과 7월 사이 주요 클라우드 서비스 제공업체에서의 사용량이 두 배 증가했다는 것이 회사측 설명이다.

마이크로소프트, 구글, 오픈AI, 메타 간 사용자 확보 경쟁은 더욱 치열해질 전망이다.

https://www.mk.co.kr/news/it/11105925

월가는 특정 종류의 승자를 선호한다. 이는 단기 수익과 영업 이익이 추정치를 뛰어넘는, 최상의 분기별 재무 보고서를 발표할 수 있는 승자를 의미한다.

월가는 장기적인 관점, 특히 초장기적인 관점에는 거의 신경 쓰지 않는 듯하다. 기업 경영진이 몇 년 후 급성장할 기술을 지배하기 위해 신중하게 장기 계획을 세울 때보다 분기별 실적이 급상승할 때 주가가 급등할 가능성은 훨씬 더 높다.

이것이 7월 말 마이크로소프트의 실적 발표에 대한 주식 시장의 반응이 주는 교훈이다. 투자자들에게 중요한 소식은 무엇이었을까? 마이크로소프트의 클라우드 기반 애저(Azure) 비즈니스가 해당 분기에 “단지” 30% 성장해 회사가 예상했던 31%보다 1% 낮았다는 점이다.

다음 날 트레이더들은 마이크로소프트를 ‘처벌’했다. 전체 시장이 상승세(예를 들어 S&P 지수는 86% 증가)인 와중에 회사의 주가는 4% 이상 하락했다. 이는 마이크로소프트가 분기 매출 15%, 순이익 10%가 증가했다고 발표한 뒤에 일어난 일이다.

마이크로소프트의 AI 장기 투자에 무심한 월가
실적 발표에서 나온 훨씬 더 중요한 소식은 마이크로소프트가 AI에 올인하고 있으며 수년간 수익을 내지 못할 수도 있는 장기 인프라에 막대한 비용을 지출하고 있다는 점이었다. 하지만 주가를 기준으로 볼 때 이 소식이 월가에서는 중요하지 않은 것처럼 보였다.

마이크로소프트 CFO인 에이미 후드는 애널리스트들과의 통화에서 190억 달러의 자본 지출이 거의 모두 AI 및 클라우드와 관련이 있다고 말했다. 지출의 절반은 인프라 관련 비용, 특히 AI용 대규모 컴퓨팅 성능에 필요한 데이터센터를 구축하는 데 사용됐다. 이는 AI 붐이 본격화되기 전인 2년 전보다 2배 이상 증가한 수치다.

이에 대해 뉴욕타임스는 “수익 보고서는 마이크로소프트가 데이터센터를 구축하고 AI 기술을 구동하는 고가의 칩을 구입하는 데 막대한 비용을 지출하고 있음을 보여준다. 회사의 자본 지출은 나델라가 최고 경영진에게 AI 투자를 독려한 2022년 말부터 매 분기 증가했다”라고 설명했다.

이 정도의 지출 규모는 마이크로소프트가 AI 시장을 계속 장악하고 향후 수십억 달러의 수익을 거두기 위해 반드시 필요할 터지만 월가를 성가시게 했다. 특히 후드가 대규모 지출이 “향후 15년과 그 이후에도 수익 창출을 지원할 것”이라고 설명했을 때 투자자들을 겁을 먹었을 가능성이 높다.

월가에서 15년은 15억 년처럼 느껴질 수 있으며, 이들은 향후 10년 후의 ‘먼 미래’가 아니라 지금 당장, 그리고 단기적인 성과를 원한다.

마이크로소프트의 대대적인 AI 베팅은 옳은 선택일까?
금융 시장이 수년간 수익을 내지 못할 기술에 거액을 투자하는 기업을 경계하는 데에는 그만한 이유가 있다. 기술은 빠르게 변하고, 기업이 ‘넥스트 빅 씽’을 추구하는 과정에는 변덕이 있을 수 있다. 오늘 확실한 기회처럼 보이는 것이 내일은 실패로 바뀔 수 있다. 가상 현실에 대한 과대 광고만 봐도 알 수 있다. 가상 현실에 대한 성과는 그 어느 때보다 찾기 어렵고 어쩌면 영원히 오지 않을 가능성도 있다.

하지만 AI에서는 그런 일이 일어나진 않을 것이다. 베팅이 클수록 더 큰 보상을 얻을 가능성이 높다. 가상 현실은 실제로 큰 수익을 창출한 적이 없지만, AI는 이미 그랬다. 게다가 아직 초기 단계다.

실제로 지난 분기에 마이크로소프트의 수익은 AI 서비스에 대한 수요를 따라잡지 못해 타격을 입었다. CEO 사티아 나델라와 후드는 실적 발표에서 데이터센터에 공급 역량이 충분했다면 해당 분기에 더 많은 AI 서비스를 판매할 수 있었을 것이라고 말했다.

마이크로소프트의 투자자 관계 책임자인 브렛 아이버슨은 뉴욕타임스에 “용량이 확보되는 즉시 판매되고 있다”라고 밝혔다.

AI 서비스에 대한 마이크로소프트의 수요 제약은 올해 남은 기간 동안 지속될 전망이다. 하지만 후드는 새로운 투자 덕에 2025년부터 성과를 거두기 시작할 것이라고 언급했다. 후드는 AI 수요에 힘입어 2025 회계연도 1분기에 클라우드 매출이 28%~29% 성장할 것으로 예상했다.

그리고 이는 시작에 불과할 수 있다.

새로운 ‘세대의 것(generational thing)’의 부상
나델라는 “일단 사용되기 시작하면 이는 ‘세대의 것’이 된다”라고 말하며, 코파일럿 생성형 AI가 “이전 세대에 출시된 그 어떤 소프트웨어보다 빠른 속도로 성장하고 있다”라고 언급했다. 

필자는 일반적으로 신기술을 둘러싼 과대 광고에 꽤 냉소적인 편이다. 기술 기업 CEO들이 천상의 결과를 약속한 뒤 실현 가능한 결과조차 내놓지 못하는 경우가 많기 때문이다.

하지만 이번에는 다른 듯하다. 마이크로소프트 365용 코파일럿을 검토해 본 결과, 가끔 환각을 일으키는 등 몇 가지 문제는 있지만 실제 결과를 제공하는 견고한 제품이었다. 수요는 계속 증가할 가능성이 높다.

다른 많은 생성형 AI 및 AI 기술도 마찬가지다. 이를 위한 인프라를 구축 중인 마이크로소프트의 AI 베팅은 천문학적인 규모이지만, 사실 몇 년 동안은 성과를 거두지 못할 수도 있다. 그러나 결국 승자 중 한 명이 될 것이라는 점에는 의심의 여지가 없다.

큰 베팅은 결국 큰 승리를 의미하는 것이기도 하다. https://www.ciokorea.com/news/348821