개발 시간을 절반으로 단축하는 25가지 오픈 소스 AI 도구

25 Open Source AI Tools to Cut Your Development Time in Half

https://jozu.com/blog/25-open-source-ai-tools-to-cut-your-development-time-in-half/

Each ML/AI project stakeholder requires specialized tools that efficiently enable them to manage the various stages of an ML/AI project, from data preparation and model development to deployment and monitoring. They tend to use specialized open source tools because of their contribution as a significant catalyst to the advancement, development, and ease of AI projects. As a result, numerous open source AI tools have emerged over the years, making it challenging to pick from the available options.

This article highlights some factors to consider when picking open source tools and introduces you to 25 open-source options that you can use for your AI project.

Picking open source tools for AI project

The open source tooling model has allowed companies to develop diverse ML tools to help you handle particular problems in an AI project. The AI tooling landscape is already quite saturated with tools, and the abundance of options makes tool selection difficult. Some of these tools even provide similar solutions. You may be tempted to lean toward adopting tools just because of the enticing features they present. However, there are other crucial factors that you should consider before selecting a tool, which include:

• Popularity
• Impact
• Innovation
• Community engagement
• Relevance to emerging AI trends.

Popularity

Widely adopted tools often indicate active development, regular updates, and strong community support, ensuring reliability and longevity.

Impact

A tool with a track record of addressing pain points, delivering measurable improvements, providing long-term project sustainability, and adapting to evolving needs of the problems of an AI project is a good measure of an impactful tool that stakeholders are interested in leveraging.

Innovation

Tools that embrace more modern technologies and offer unique features demonstrate a commitment to continuous improvement and have the potential to drive advancements and unlock new possibilities.

Community engagement

Active community engagement fosters collaboration, provides support, and ensures a tool's continued relevance and improvement.

Relevance to emerging AI trends

Tools aligned with emerging trends like LLMs enable organizations to leverage the latest capabilities, ensuring their projects remain at the forefront of innovation.

25 open source tools for your AI project

Based on these factors, here are 25 tools that you and the different stakeholders on your team can use for various stages in your AI project.

1. KitOps

Multiple stakeholders are involved in the machine learning development lifecycle which requires different MLOps tools and environments at various stages of the AI project., which makes it hard to guarantee an organized, portable, transparent, and secure model development pipeline.

This introduces opportunities for model lineage breaks and accidental or malicious model tampering or modifications during model development. Since the contents of a model are a "black box”—without efficient storage and lineage—it is impossible to know if a model's or model artifact's content has been tampered with between model development, staging, deployment, and retirement pipelines.

KitOps provides AI project stakeholders with a secure package called ModelKit that they can use to share and manage models, code, metadata, and artifacts throughout the ML development lifecycle.

The ModelKit is an immutable OCI-standard artifact that leverages normal container-native technologies (similar to Docker and Kubernetes), making them seamlessly interoperable and portable across various stakeholders using common software tools and environments. As an immutable package, ModelKit is tamper-proof. This tamper-proof property provides stakeholders with a versioning system that tracks every single update to any of its content (i.e., models, code, metadata, and artifacts) throughout the ML development and deployment pipelines.

2. LangChain

LangChain is a machine learning framework that enables ML engineers and software developers to build end-to-end LLM applications quickly. Its modular architecture allows them to easily mix and match its extensive suite of components to create custom LLM applications.

LangChain simplifies the LLM application's development and deployment stages with its ecosystem of interconnected parts, consisting of LangSmith, LangServe, and LangGraph. Together, they enable ML engineers and software developers to build robust, diverse, and scaleable LLM applications efficiently.

LangChain enables professionals without a strong AI background to easily build an application with large language models (LLMs).

3. Pachyderm

Pachyderm is a data versioning and management platform that enables engineers to automate complex data transformations. It uses a data infrastructure that provides data lineage via a data-driven versioning pipeline. The version-controlled pipelines are automatically triggered based on changes in the data. It tracks every modification to the data, making it simple to duplicate previous results and test with various pipeline versions.

Pachyderm's data infrastructure provides "data-aware" pipelines with versioning and lineage.

4. ZenML

ZenML is a structured MLOps framework that abstracts the creation of MLOps pipelines, allowing data scientists and ML engineers to focus on the core steps of data preprocessing, model training, evaluation, and deployment without getting bogged down in infrastructure details.

ZenML framework abstracts MLOps infrastructure complexities and simplifies the adoption of MLOps, making the AI project components accessible, reusable, and reproducible.

5. Prefect

Prefect is an MLOps orchestration framework for machine learning pipelines. It uses the concepts of tasks (individual units of work) and flows (sequences of tasks) to construct an ML pipeline for running different steps of an ML code, such as feature engineering and training. This modular structure enables ML engineers to simplify creating and managing complex ML workflows.

Prefect simplifies data workflow management, robust error handling, state management, and extensive monitoring.

6. Ray

Ray is a distributed computing framework that makes it easy for data scientists and ML engineers to scale machine learning workloads during model development. It simplifies scaling computationally intensive workloads, like loading and processing extensive data or deep learning model training, from a single machine to large clusters.

Ray's core distributed runtime, making it easy to scale ML workloads.

7. Metaflow

Metaflow is an MLOps tool that enhances the productivity of data scientists and ML engineers with a unified API. The API offers a code-first approach to building data science workflows, and it contains the whole infrastructure stack that data scientists and ML engineers need to execute AI projects from prototype to production.

8. MLflow

MLflow allows data scientists and engineers to manage model development and experiments. It streamlines your entire model development lifecycle, from experimentation to deployment.

MLflow’s key features include:
MLflow tracking: It provides an API and UI to record and query your experiment, parameters, code versions, metrics, and output files when training your machine learning model. You can then compare several runs after logging the results.

MLflow projects: It provides a standard reusable format to package data science code and includes API and CLI to run projects to chain into workflows. Any Git repository / local directory can be treated as an MLflow project.

MLflow models: It offers a standard format to deploy ML models in diverse serving environments.

MLflow model registry: It provides you with a centralized model store, set of APIs, and UI, to collaboratively manage the full lifecycle of a model. It also enables model lineage (from your model experiments and runs), model versioning, and development stage transitions (i.e., moving a model from staging to production).

9. Kubeflow

Kubeflow is an MLOps toolkit for Kubernetes. It is designed to simplify the orchestration and deployment of ML workflows on Kubernetes clusters. Its primary purpose is to make scaling and managing complex ML systems easier, portable, and scalable across different infrastructures.

Kubeflow is a key player in the MLOps landscape, and it introduced a robust and flexible platform for building, deploying, and managing machine learning systems on Kubernetes. This unified platform for developing, deploying, and managing ML models enables collaboration among data scientists, ML engineers, and DevOps teams.

10. Seldon core

Seldon core is an MLOps platform that simplifies the deployment, serving, and management of machine learning models by converting ML models (TensorFlow, PyTorch, H2o, etc.) or language wrappers (Python, Java, etc.) into production-ready REST/GRPC microservices. Think of them as pre-packaged inference servers or custom servers. Seldon core also enables the containerization of these servers and offers out-of-the-box features like advanced metrics, request logging, explainers, outlier detectors, A/B tests, and canaries.

Seldon Core's solution focuses on model management and governance. Its adoption is geared toward ML and DevOps engineers, specifically for model deployment and monitoring, instead of small data science teams.

11. DVC (Data Version Control)

Implementing version control for machine learning projects entails managing both code and the datasets, ML models, performance metrics, and other development-related artifacts. Its purpose is to bring the best practices from software engineering, like version control and reproducibility, to the world of data science and machine learning. DVC enables data scientists and ML engineers to track changes to data and models like Git does for code, making it able to run on top of any Git repository. It enables the management of model experiments.

DVC's integration with Git makes it easier to apply software engineering principles to data science workflows.

12. Evidently AI

EvidentlyAI is an observability platform designed to analyze and monitor production machine learning (ML) models. Its primary purpose is to help ML practitioners understand and maintain the performance of their deployed models over time. Evidently provides a comprehensive set of tools for tracking key model performance metrics, such as accuracy, precision, recall, and drift detection. It also enables stakeholders to generate interactive reports and visualizations that make it easy to identify issues and trends.

13. Mage AI

Mage AI is a data transforming and integrating framework that allows data scientists and ML engineers to build and automate data pipelines without extensive coding. Data scientists can easily connect to their data sources, ingest data, and build production-ready data pipelines within Mage notebooks.

14. ML Run

ML Run provides a serverless technology for orchestrating end-to-end MLOps systems. The serverless platform converts the ML code into scalable and managed microservices. This streamlines the development and management pipelines of the data scientists, ML, software, and DevOps/MLOps engineers throughout the entire machine learning (ML) lifecycle, across their various environments.

15. Kedro

Kedro is an ML development framework for creating reproducible, maintainable, modular data science code. Kedro improves AI project development experience via data abstraction and code organization. Using lightweight data connectors, it provides a centralized data catalog to manage and track datasets throughout a project. This enables data scientists to focus on building production level code through Kedro's data pipelines, enabling other stakeholders to use the same pipelines in different parts of the system.

Kedro focuses on data pipeline development by enforcing SWE best practices for data scientists.

16. WhyLogs

WhyLogs by WhyLabs is an open-source data logging library designed for machine learning (ML) models and data pipelines. Its primary purpose is to provide visibility into data quality and model performance over time.

With WhyLogs, MLOps engineers can efficiently generate compact summaries of datasets (called profiles) that capture essential statistical properties and characteristics. These profiles track changes in datasets over time, helping detect data drift – a common cause of model performance degradation. It also provides tools for visualizing key summary statistics from dataset profiles, making it easy to understand data distributions and identify anomalies.

17. Feast

Defining, storing, and accessing features for model training and online inference in silos (i.e., from different locations) can lead to inconsistent feature definitions, data duplication, complex data access and retrieval, etc. Feast solves the challenge of stakeholders managing and serving machine learning (ML) features in development and production environments.

Feast is a feature store that bridges the gap between data and machine learning models. It provides a centralized repository for defining feature schemas, ensuring consistency across different teams and projects. This can ensure that the feature values used for model inference are consistent with the state of the feature at the time of the request, even for historical data.

Feast is a centralized repository for managing, storing, and serving features, ensuring consistency and reliability across training and serving environments.

18. Flyte

Data scientists and data and analytics pipeline engineers typically rely on ML and platform engineers to transform models and training pipelines into production-ready systems.

Flyte empowers data scientists and data and analytics engineers with the autonomy to work independently. It provides them with a Python SDK for building workflows, which can then be effortlessly deployed to the Flyte backend. This simplifies the development, deployment, and management of complex ML and data workflows by building and executing reliable and reproducible pipelines at scale.

19. Featureform

The ad-hoc practice of data scientists developing features for model development in isolation makes it difficult for other AI project stakeholders to understand, reuse, or build upon existing work. This leads to duplicated effort, inconsistencies in feature definitions, and difficulties in reproducing results.

Featureform is a virtual feature store that streamlines data scientists' ability to manage and serve features for machine learning models. It acts as a "virtual" layer over existing data infrastructure like Databricks and Snowflake. This allows data scientists to engineer and deploy features directly to the data infrastructure for other stakeholders. Its structured, centralized feature repository and metadata management approach empower data scientists to seamlessly transition their work from experimentation to production, ensuring reproducibility, collaboration, and governance throughout the ML lifecycle.

20. Deepchecks

Deepchecks is an ML monitoring tool for continuously testing and validating machine learning models and data from an AI project's experimentation to the deployment stage. It provides a wide range of built-in checks to validate model performance, data integrity, and data distribution. These checks help identify issues like model bias, data drift, concept drift, and leakage.

21. Argo

Argo provides a Kubernetes-native workflow engine for orchestrating parallel jobs on Kubernetes. Its primary purpose is to streamline the execution of complex, multi-step workflows, making it particularly well-suited for machine learning (ML) and data processing tasks. It enables ML engineers to define each step of the ML workflow (data preprocessing, model training, evaluation, deployment) as individual containers, making it easier to manage dependencies and ensure reproducibility.

Argo workflows are defined using DAGs, where each node represents a step in the workflow (typically a containerized task), and edges represent dependencies between steps. Workflows can be defined as a sequence of tasks (steps) or as a Directed Acyclic Graph (DAG) to capture dependencies between tasks.

22. Deep Lake

Deep Lake (formerly Activeloop Hub) is an ML-specific database tool designed to act as a data lake for deep learning and a vector store for RAG applications. Its primary purpose is accelerating model training by providing fast and efficient access to large-scale datasets, regardless of format or location.

23. Hopsworks feature store

Advanced MLOps pipelines with at least an MLOps maturity level 1 architecture require a centralized feature store. Hopsworks is a perfect feature store for such architecture. It provides an end-to-end solution for managing ML feature lifecycle, from data ingestion and feature engineering to model training, deployment, and monitoring. This facilitates feature reuse, consistency, and faster model development.

24. NannyML

NannyML is a Python library specialized in post-deployment monitoring and maintenance of machine learning (ML) models. It enables data scientists to detect and address silent model failure, estimate model performance without immediate ground truth data, and identify data drift that might be responsible for performance degradation.

25. Delta Lake

Delta Lake is a storage layer framework that provides reliability to data lakes. It addresses the challenges of managing large-scale data in lakehouse architectures, where data is stored in an open format and used for various purposes, like machine learning (ML). Data engineers can build real-time pipelines or ML applications using Delta Lake because it supports both batch and streaming data processing. It also brings ACID (atomicity, consistency, isolation, durability) transactions to data lakes, ensuring data integrity even with concurrent reads and writes from multiple pipelines.

Considering factors like popularity, impact, innovation, community engagement, and relevance to emerging AI trends can help guide your decision when picking open source AI/ML tools, especially for those offering the same value proposition. In some cases, such tools may have different ways of providing solutions for the same use case or possess unique features that make them perfect for a specific project use case.

https://www.itworld.co.kr/news/337110

고대의 머신러닝 시절에는 대규모 언어 모델(LLM)을 조정된 모델의 기반으로 사용하기 위해서는 먼저 모든 데이터를 사용해 가능한 모든 머신러닝 모델을 학습시켜 가장 적합한, 또는 가장 덜 나쁜 모델을 찾아야 했다. 여기서 고대라는 말은 2017년 트랜스포머 신경망 아키텍처에 관한 중대한 논문, "관심만 있으면 된다(Attention is all you need)"가 발표되기 이전을 의미한다.
 
물론 그로부터 몇 년이 지난 시점까지 대부분의 사람들은 여전히 가능한 모든 머신러닝 모델을 맹목적으로 학습시켰다. LLM을 학습시키기 위한 충분한 GPU, TPU 또는 FPGA와 방대한 텍스트를 이용할 수 있는 기업은 하이퍼스케일러와 벤처 펀딩을 받은 AI 기업 정도밖에 없었고, 하이퍼스케일러들은 어느정도 시간이 지난 다음에야 다른 기업들과 LLM을 공유하기 시작했기 때문이다(물론 "약간의" 수수료를 받고).
 
새로운 생성형 AI 패러다임에서의 개발 프로세스는 과거와는 상당히 다르다. 전체적인 개념을 보면 일단 생성형 AI 모델(하나 또는 여러 개)을 선택한다. 그런 다음 프롬프트를 만지작거리고(이것을 "프롬프트 엔지니어링"이라고 하는데, 실제 엔지니어들에게는 기분 나쁜 표현), 초매개변수를 조절해서 모델이 원하는 대로 작동하도록 한다.
 
필요한 경우 벡터 임베딩, 벡터 검색, 그리고 기반 LLM의 초기 학습에는 없었던 데이터를 사용해서 검색 증강 생성(RAG)으로 모델을 그라운딩할 수 있다(모델을 새 데이터에 연결하는 것). 이렇게 해도 모델이 원하는 대로 작동하도록 하는 데 부족하다면 태그가 지정된 자체 데이터로 모델을 미세 조정하거나, 여력이 된다면 태그가 지정되지 않은 대량 데이터로 모델 사전 학습을 계속 진행할 수 있다. 모델을 미세 조정하는 이유 중 하나는 모델이 사용자와 대화하고 대화 과정에서 맥락을 유지하도록 하기 위해서다(예: 챗GPT). 이 기능은 기반 모델에는 일반적으로 내장돼 있지 않다(예: GPT).
 
에이전트는 툴, 실행 코드, 임베딩, 벡터 저장소의 조합을 통해 대화형 LLM의 개념을 확장한다. 즉, 에이전트는 RAG에 부가적인 단계를 더한 것이다. 에이전트는 LLM을 특정 도메인에 전문화하고 LLM의 출력을 맞춤 설정하는 데 유용한 경우가 많다. LLM과 다른 소프트웨어 및 서비스의 통합을 간소화하는 다양한 플랫폼, 프레임워크, 모델이 있다.
 

1단계 : 모델 선택

우선 모델을 선택할 때는 나중에 다른 모델로 어떻게 전환할지에 대해 생각해야 한다. LLM은 거의 매일 개선되므로 금방 뒤쳐지거나 구식이 될 수 있는 모델에 묶이지 않는 것이 좋다. 이 문제에 대처하려면 서로 다른 벤더에서 두 개 이상의 모델을 선택해야 한다.
 
또한 지속적인 추론 비용도 고려해야 한다. 서비스로 제공되는 모델을 선택하면 추론별로 비용을 지불하게 되므로 트래픽이 낮을 경우 비용이 덜 든다. 플랫폼형 모델을 선택하는 경우 트래픽을 처리하기 위해 프로비저닝하는 VM에 대해 월 고정비가 지출된다. 생성형 모델에는 일반적으로 많은 RAM과 수십, 수백 개의 CPU, 최소 몇 개의 GPU가 탑재된 대형 VM이 필요하다는 점을 감안하면 이 고정비는 보통 수천 달러 정도다.
 
기업에 따라 오픈소스 생성형 AI 모델을 고집하는 경우도 있고 오픈소스 여부를 따지지 않는 경우도 있다. 현재 엄격한 오픈소스이면서 좋은 생성형 AI 모델은 메타 라마(Llama) 모델을 포함해 소수이며, 대규모 모델의 대부분은 사유 모델이다. X의 그록(Grok. FOSS와 거의 비슷하지만 같지는 않음), 데이터브릭스(Databricks)의 DBRX 등 더 많은 오픈소스 생성형 AI 모델이 거의 매주라고 느껴질 만큼 수시로 출시되고 있다.
 

2단계 : 프롬프트 엔지니어링

프롬프트 엔지니어링은 LLM을 맞춤 설정하는 가장 쉽고 빠른 방법이다. 얼핏 간단해 보이지만 잘 하기 위해서는 일정한 기술과 섬세함이 필요하다는 면에서 모차르트 작품과 비슷하다.
 
프롬프트 엔지니어링에 대한 글은 많다. 간단히 이 용어를 검색해보면 3억 개가 넘는 결과가 반환된다. 또 다른 글을 더할 의미가 없으니, 여기서는 가장 유용한 프롬프트 엔지니어링 기법을 간략히 살펴보자.
 
생성형 AI 프롬프트에서 좋은 결과를 얻기 위한 전체적인 전략에는 당연한 이야기가 많이 포함된다. 예를 들어 오픈AI가 프롬프트 엔지니어링을 위해 가장 중요하게 제안하는 "명확한 지침을 쓸 것"도 마찬가지다. 그러나 세부적인 전술은 이처럼 분명하지 않을 수 있다. 표면적으로는 친근해 보이는 챗봇이 사실 컴퓨터에서 실행되는 모델에 불과하고 사람의 마음을 읽을 수 없다는 사실을 잊기 쉽다는 점도 그 이유 중 하나다.
 

프롬프트 엔지니어링 포인터

예를 들어 신입 사원에게 업무를 가르치듯이 모델에 수행할 작업을 단계별로 설명해야 할 수 있다. 모델이 사용할 출력 형식을 보여줘야 할 수도 있다. 모델이 원하는 길이의 답을 제공할 때까지 반복적으로 지시하고, 사실에 근거하고 멋대로 덧붙이지 말도록 명시적으로 지시해야 할 수 있다. 이를 위한 유용한 프롬프트 중 하나는(항상 통하지는 않지만) "정보가 부족해서 답할 수 없다면 그렇다고 말 해"라는 것이다. 모델에 페르소나를 채택하도록 요청할 수 있지만 그것으로 충분하다고 보장할 수는 없다. 예를 들어 모델을 어떤 분야의 전문가로 칭한다고 해서 모델이 항상 전문가가 될 수 있는 것은 아니다.
 
예제는 특히 프롬프트/응답 쌍으로 제공하는 경우 거의 항상 도움이 된다. 다음과 같이 정의되는 애저 AI 스튜디오 셰익스피어 작문 도우미 샘플을 참고해 보자.
 

시스템 메시지

너는 셰익스피어 스타일로 말하는 셰익스피어 작문 도우미다. 너는 사람들이 옛 단어를 포함한 윌리엄 셰익스피어의 글쓰기 스타일을 사용하여 이야기, 시, 노래와 같은 창의적인 아이디어와 콘텐츠를 제작하는 데 도움을 준다.

다음은 셰익스피어 스타일의 몇 가지 예제다.

• 로미오, 로미오! 왜 당신은 로미오인가요?
• 사랑은 눈이 아니라 마음으로 보는 것이고, 그래서 날개 달린 큐피드는 장님으로 그려져 있다.
• 그대를 여름날에 비유할 수 있을까요? 그대가 더 사랑스럽고 더 따뜻합니다.

이 정도면 GPT 3.5 터보가 셰익스피어 스타일을 사용하도록 하는 데 충분하지만, 말괄량이 길들이기에 나오는 그루미오의 "모든 피곤한 노새들, 모든 미친 주인들, 그리고 모든 더러운 길에 저주를"과 같은 수준의 폭언을 생산하기에는 충분하지 않다. 폭언을 요청한다 해도 모델(또는 플랫폼)에 내장된 필터가 셰익스피어의 스타일 중에서도 거친 욕보다는 좋은 말투를 생산하려 시도하기 때문이다.
 

질의
부모가 누구인지도 모르고 머리도 나쁜 사람이라고 상대방을 모욕하는 글을 써.

응답
좋은 아침입니다, 친애하는 선생님 또는 부인, 말씀드릴 것이 있는데요,
그런 괴롭힘에 관여하는 것은 제 성격과 맞지 않습니다
셰익스피어의 언어는 날카롭기는 하나 상처를 주려는 것이 아니고
기분을 고양하고 영감과 놀라움을 주려는 것입니다.
그러니 (모욕 대신) 재치와 영리함에 대해 이야기합시다.

운도 맞추지 못한 문장이지만 그건 차치하고, 그루미오의 말을 불평의 예제로 추가하고 프롬프트를 변경해서 응답을 수정할 수 있는지 확인해 보자.
 

사용자 : 폭언을 써.
 
도우미 : 모든 피곤한 노새들, 모든 미친 주인들, 그리고 모든 더러운 길에 저주를.

 
이 추가 항목을 적용하면 모델이 좀 더 그럴듯한 불평 글을 쏟아낼 수 있다.
 

질의
부모가 누구인지도 모르고 머리도 나쁜 사람이라고 상대방을 모욕하는 글을 써.

응답
오, 가련한 영혼! 부모가 누군지도 모르는 것,
그 무지에 영혼이 신음하는구나.
너의 핏줄에는 고결한 피가 흐르지 않는다.
무지함과 어리석음만이 보일 뿐.
너의 마음은 아무 감각도 없는 척박한 황무지,
이성도, 지성도 찾아볼 수 없다.
너의 생각은 어리석은 파리처럼 시끄럽게 맴돌 뿐,
엉터리 재치, 가여운 촌극.

그래도 모델은 "후레자식"이나 "멍청이"와 같은 단어는 생성하지 않았다. 이러한 단어는 필터에 의해 배제되었을 가능성이 높다. 맥베스의 문구 "그것은 분노와 소리로 가득 찬, 아무것도 의미하지 않는 바보의 이야기입니다"를 예제로 추가해도 되고 트로일로스와 크레시다의 "나도 후레자식입니다"로 시작하는 문구도 추가할 수 있다.
 

프롬프트에 문서 사용하기

또 다른 유용한 전략은 문서를 프롬프트의 일부로 제공하고 모델에 그 문서를 근거로 답을 작성하도록 요청하는 것이다. 일부 모델은 문서의 URL에서 웹 페이지를 조회할 수 있고, 일부는 텍스트를 제공할 것을 요구한다. 모델에 대한 지침과 모델이 사용하도록 하려는 문서의 텍스트를 명확하게 구분해야 하며, 요약과 개체 추출 작업의 경우 응답이 제공된 텍스트에만 의존해야 함을 명시해야 한다.
 
문서를 제공하는 방법은 문서가 짧을 때는 대체로 잘 작동하지만 문서가 모델의 컨텍스트 윈도우보다 긴 경우 문서의 뒷부분이 읽히지 않는다. 생성형 AI 모델 개발자들이 모델의 컨텍스트 윈도우를 계속해서 늘리고 있는 이유다. 제미나이(Gemini) 1.5 프로는 구글 버텍스 AI 스튜디오(Vertex AI Studio)에서 일부 선별된 사용자에게 최대 100만 토큰의 컨텍스트 윈도우를 제공한다. 다만 일반 사용자에게 제공되는 컨텍스트 윈도우는 12만 8,000 토큰에 "불과"하다. 나중에 다시 언급하겠지만 컨텍스트 윈도우 제한을 우회하는 방법 중 하나는 RAG를 사용하는 것이다.
 
LLM에 긴 문서의(컨텍스트 윈도우를 초과할 정도로 길지는 않음) 요약을 요청하면 LLM이 다른 소스에서 가져온, "사실"이라고 생각하는 내용을 추가하는 경우가 간혹 있다. 요약이 아닌 문서를 압축하도록 요청하면 대부분 내용 추가 없이 요청에 응한다.
 

밀도의 사슬 프롬프트 사용

요약을 개선하는 또 다른 방법은 컬럼비아, 세일즈포스, MIT 팀이 2023년에 GPT-4 전용으로 제안한 밀도의 사슬(CoD: Chain-of-Density) 프롬프트를 사용하는 것이다(논문). KD너겟(KDnuggets) 기사는 이 논문의 프롬프트를 더 알기 쉽게 정리하고 부가적인 설명을 더했다. 논문과 기사 모두 읽어볼 것을 권한다.
 
간단히 요약하면 CoD 프롬프트는 모델에 기본 문서의 요약을 5번 반복하면서 각 단계에서 정보 밀도를 높이도록 요청한다. 논문에 따르면 사람들은 대체로 5번의 요약 중에서 세 번째를 가장 좋아한다. 참고로 논문에서 GPT-4용으로 나온 프롬프트는 다른 모델에서는 제대로 작동하지 않거나 아예 작동하지 않을 수 있다.
 

생각의 사슬 프롬프트 사용

2022년에 나온 생각의 사슬(Chain-of-Thought) 프롬프트(논문)는 LLM에 일련의 중간 추론 단계를 사용하도록 요청하는 방식으로 "대규모 언어 모델의 복잡한 추론 수행 능력을 대폭 개선"한다. 예를 들어 생각의 사슬 프롬프팅는 초등학교 수준의 수학이지만 LLM이 제대로 푸는 데 어려움을 겪는 산술 단어 문제를 잘 푼다.
 
논문에서 저자들은 생각의 사슬 시퀀스 예제를 퓨샷 프롬프트에 통합했다. 생각의 사슬 프롬프팅을 위한 아마존 베드록 예제는 "너는 탁월한 비판적 사고 능력을 가진 매우 지능적인 봇"이라는 시스템 지침과 "단계별로 생각해 보자"는 사용자 지침을 통해 라마 2 챗 13B와 70B 모델에서 다단계 추론을 이끌어낸다.
 

생각의 뼈대 프롬프트 사용

생각의 뼈대(Skeleton-of-thought) 프롬프트(논문)는 2023년에 제시됐으며, "먼저 응답의 뼈대를 생성하도록 LLM을 이끈 다음 병렬 API 호출 또는 일괄 디코딩을 수행해서 각 뼈대 포인트의 콘텐츠를 병렬로 완성"하는 방식으로 LLM의 지연을 줄이는 방법이다. 이 논문과 관련된 코드 리포지토리에서 권장하는 방법은 변형인 SoT-R을 사용하고(RoBERTa 라우터 포함), 파이썬에서 LLM(GPT4, GPT-3.5 또는 클로드)을 호출하는 것이다.
 
프롬프트 엔지니어링은 궁극적으로는 모델 자체에 의해 수행될 수 있다. 이미 이와 관련된 연구도 진행된 바 있다. 핵심은 모델이 사용할 수 있는 정량적 성공 지표를 제공하는 것이다. 
 

3단계 : 초매개변수 조정

LLM은 프롬프트의 일부로 설정할 수 있는 초매개변수가 있는 경우가 많다. 초매개변수 조정은 머신러닝 모델 학습 못지않게 LLM 프롬프트에서도 중요하다. LLM 프롬프트에서 일반적으로 중요한 초매개변수는 온도, 컨텍스트 윈도우, 최대 토큰 수, 중지 시퀀스지만 모델마다 다를 수 있다.
 
온도는 출력의 무작위성을 제어한다. 모델에 따라 온도 범위는 0~1 또는 0~2다. 온도 값이 높을수록 더 높은 무작위성을 요청한다. 0은 모델에 따라 "온도를 자동으로 설정"하라는 의미인 경우도 있고, "무작위성 없음"을 의미하는 경우도 있다.
 
컨텍스트 윈도우는 모델이 답변을 위해 고려하는 선행 토큰(단어 또는 하위 단어)의 수를 제어한다. 최대 토큰 수는 생성된 답변의 길이를 제한한다. 중지 시퀀스는 출력에서 모욕적이거나 부적절한 콘텐츠를 억제하는 데 사용된다.
 

4단계 : 검색 증강 생성

검색 증강 생성(RAG)은 LLM을 특정 소스에 그라운딩하는 데 유용하다. 여기서 소스는 모델의 원래 학습에는 포함되지 않은 소스인 경우가 많다. 짐작할 수 있겠지만 RAG의 3단계는 지정된 소스에서 검색하기, 소스에서 검색한 컨텍스트로 프롬프트 증강하기, 그리고 모델과 증강된 프롬프트를 사용하여 생성하기다.
 
RAG 절차는 임베딩을 사용해서 길이를 제한하고 검색된 컨텍스트의 관련성을 개선하는 경우가 많다. 기본적으로 임베딩 기능은 단어 또는 구를 가져와 이를 부동소수점 숫자의 벡터에 매핑한다. 이는 일반적으로 벡터 검색 인덱스를 지원하는 데이터베이스에 저장된다. 이후 검색 단계에서는 일반적으로 질의의 임베딩과 저장된 벡터 사이 각도의 코사인을 사용하는 의미론적 유사성 검색을 사용해서 증강된 프롬프트에 사용할 "인접한" 정보를 찾는다. 검색 엔진도 보통 이와 동일한 방법을 사용해 답을 찾는다.
 

5단계 : 에이전트

에이전트(대화형 검색 에이전트)는 툴과 실행 코드, 임베딩, 벡터 저장소의 조합으로 대화형 LLM의 개념을 더 확장한다. 에이전트는 특정 도메인으로 LLM을 전문화하고 LLM의 출력을 맞춤 설정하는 데 유용한 경우가 많다. 애저 코파일럿은 일반적으로 에이전트다. 구글과 아마존은 "에이전트"라는 용어를 사용하며, 랭체인(LangChain)과 랭스미스(LangSmith)는 RAG 파이프라인과 에이전트 구축을 간소화한다.
 

6단계 : 모델 미세 조정

대규모 언어 모델(LLM) 미세 조정은 특정 작업에 맞게 모델의 매개변수를 조절하는 지도 학습 프로세스다. 미세 조정에서는 대상 작업과 관련된 예제로 레이블이 지정된 더 작은 작업별 데이터 집합을 사용해 모델을 학습시킨다. 미세 조정은 다수의 서버 수준 GPU를 사용하고 몇 시간 또는 며칠이 걸리며 수백 또는 수천 개의 태그가 지정된 예제가 필요하다. 확장 사전 학습에 비해서는 여전히 훨씬 더 빠르다.
 
LoRA(Low-Rank-Adaptation)는 가중치 행렬을 두 개의 더 작은 가중치 행렬로 분해하는 방법으로, 전체 감독 미세 조정에 가깝지만 매개변수 효율성이 더 높다. 마이크로소프트의 첫 LoRA 논문은 2021년에 발표됐다. 2023년에 나온 LoRA의 양자화된 변형인 QLoRA는 조정 프로세스에 필요한 GPU 메모리의 양을 줄였다. 일반적으로 LoRA와 QLoRA는 표준 미세 조정에 비해 태그가 지정된 예제의 수와 필요한 시간을 줄여준다.
 

7단계 : 지속적인 모델 사전 학습

사전 학습은 방대한 텍스트 데이터 집합에 대한 비지도 학습 프로세스로, LLM에 언어의 기본 사항을 가르치고 일반적인 기본 모델을 생성한다. 확장 또는 지속적인 사전 학습은 레이블이 지정되지 않은 도메인별 또는 작업별 데이터 집합을 이 기본 모델에 추가해서 예를 들어 언어를 추가하고 의학과 같은 전문 분야를 위한 용어를 추가하거나 코드 생성 기능을 추가하는 등 모델을 전문화한다. 지속적인 사전 학습(비지도 학습 사동) 뒤에는 보통 미세 조정(지도 학습 사용)이 실행된다.
 
머신러닝, 딥러닝, 대규모 언어 모델과 관련된 모든 것이 그렇듯이 생성형 AI 개발 프로세스 역시 많은 경우 예고도 없이 변경될 수 있다. 그럼에도 불구하고 대부분의 기업은 여전히 지금의 프로세스를 달성하고자 한다. 이제 여러분에게 조직을 위해 변화를 이끌 동력이 아마 생겼을 것이다.

https://www.itworld.co.kr/numbers/82001/338846

아태지역 AI 시장에서 생성형 AI의 비중이 더 커질 것이라는 전망이 나왔다. 중국이 앞서가는 가운데 일본과 인도 시장이 빠르게 성장하리라는 분석이다.

30일 시장조사업체 한국IDC가 ‘전 세계 AI 및 생성형 AI 지출 가이드’ 보고서를 발표했다. 중국과 일본을 포함한 아시아 태평양 지역의 AI 시장을 조사했다. AI 기반 시스템을 위한 소프트웨어, 서비스, 하드웨어를 포함한다. 보고서에 따르면, 아태 지역 생성형 AI 지출은 연 평균 95.4% 성장해 2027년에는 260억 달러 규모가 될 전망이다. 생성형 AI의 비중은 더 커진다. 생성형 AI는 2024년 전체 AI 시장의 15%를 차지하지만, 2027년에는 29%까지 늘어날 것으로 업체는 예상했다.
 

IDC 아태지역에서 빅데이터 및 AI 리서치 헤드 디피카 기리는 "아시아 태평양 지역에서 생성형 AI의 도입이 급증하며 향후 2년 이내에 투자가 정점에 도달한 후 안정화 기간을 거칠 것으로 예상된다. 중국은 생성형 AI 기술 관련 지배 시장 위치를 유지할 것이며, 일본과 인도는 향후 몇 년 동안 가장 빠르게 성장하는 시장이 될 것이다"라고 말했다.

산업별로 보면, 금융, 소프트웨어 및 IT, 정부, 리테일, 내구재 등의 부문에서 성장이 두드러진다. 금융 서비스 산업의 AI 지출은 2027년까지 연평균 96.7%씩 성장해 43억 달러 규모를 형성할 전망이다. 사내 운영 효율성 개선, 반복 작업 자동화, 사기 탐지 및 복잡한 문서 작성과 같은 백오피스 프로세스 최적화에 생성형 AI를 주로 활용하는 추세라고 보고서는 분석했다.
 

소프트웨어 및 IT 산업은 마케팅, 데이터 분석, 소프트웨어 개발 등 다양한 분야에서 생성형 AI를 활용한다. 생성형 AI는 콘텐츠 제작을 간소화하여 마케팅 전략을 최적화하고 오디언스 참여를 극대화하며, 소프트웨어 개발 분야에서는 코딩 작업을 자동화하고 프로토타입을 생성해 개발자의 생산성과 효율성을 높이는 데 기여하는 것으로 나타났다.

정부 부문에서는 생성형 AI 기술 교육과 훈련을 발전시켜 새로운 일자리를 창출하고 기술 혁신 허브의 성장을 촉진하는 데 활용하고, 리테일 산업에서는 개인 맞춤화 경험 제공을 위해 AI 기술을 활용하는 것으로 보고서는 분석했다.

책임감 있는 AI, 일명 RAI(Responsible AI)에 대한 관심이 더욱 높아지고 있다. RAI는 신뢰와 도입부터 LLM 환각 관리, 유해한 생성형 AI 콘텐츠 제거에 이르기까지 모든 것을 추진하는 핵심 요소다. 효과적인 RAI로 기업은 더 빠르게 혁신하고, 비즈니스를 더 개선하고, 미래의 AI 규정을 준수하고, 평판이 손상되거나 규제를 어기는 일 없이 계속 경쟁에 참여할 수 있다.

안타깝게도 RAI가 실제로 무엇인지, 무엇을 제공하는지, 어떻게 달성할 수 있는지에 대한 혼란이 있다. 치명적인 결과를 초래할 수 있는 문제다. 그러나 RAI 이니셔티브가 제대로 수행되지 않으면 혁신이 방해받고 지연과 비용이 추가된다. RAI의 정의와 목적에 대한 좋은 해석도 있지만 잘못된 통념과 오해도 만연해 있다. 기업은 RAI는 비용이 많이 들고 비효율적이며 시간 낭비라는 잘못된 통념을 깨뜨리고 AI에 기반해 가치를 창출하는 원동력으로 전환해야 한다.

RAI에 대한 오해 중 가장 문제적인 것은 무엇일까? 그리고 지속 가능한 이니셔티브를 추진하기 위해 RAI를 가장 잘 정의하려면 어떻게 해야 할까?

잘못된 통념 1 : RAI는 원칙론일 뿐

어느 거대 IT 기업에서나 설명 가능성, 공정성, 개인정보 보호, 포용성, 투명성과 같은 RAI 원칙을 찾아볼 수 있 수 있다. 이렇게 널리 퍼진 여러 원칙이 있으니 RAI의 중심에 원칙이 있다고 해도 문제가 없을 것이다. 이런 기본적인 기업 원칙은 책임감 있는 개인에게 기대하는 것과 정확히 같은 종류이므로 책임감 있는 AI 보장에 핵심이 된다고 하면 맞는 말일까?

아니, 틀렸다. 모든 기업에는 이미 원칙이 있다. 일반적으로 기업 원칙은 RAI와 정확히 동일할 것이다. 공정, 투명성, 포용에 반대한다고 밝힐 기업이 있을까? 만약 그런 기업이 있다고 해도, AI에는 투명성을 적용하고 기업의 나머지에는 투명성을 적용하지 않을 수가 있을까?

또한 원칙은 AI에 대한 신뢰를 불러일으키는 것보다 사람과 기업에 대한 신뢰를 끌어내는 데에 훨씬 효과적이다. 항공사의 비행기가 목적지까지 안전하게 데려다 줄 것이라고 믿는 이유가 그 회사가 원칙을 지키기 때문인지 생각해 보자. 아니, 엄격하게 시행되는 프로세스를 따르고, 신중하게 테스트하고 정기적으로 검사한 장비를 사용하는 숙련된 조종사, 기술자, 항공 교통 관제사가 있어서 신뢰하는 것이다.

비행기 여행과 마찬가지로 RAI의 핵심은 원칙을 실현하고 시행하는 사람, 프로세스, 기술이다. 독자 모두 이미 올바른 원칙을 정해두었을 것이다. 문제는 실행이다.
 

잘못된 통념 2 : RAI는 윤리와 관계가 있다

RAI는 AI를 윤리적으로 사용하고, 모델이 공정하게 작동하도록, 새로운 차별이 생겨나지 않도록 하는 지침일 뿐이라고 생각한다면 틀렸다.

신용 평가에 사용되거나 이력서를 심사하거나 실직 여부를 결정하는 모델 등 실제로 윤리나 공정성을 고려하는 AI 사용례는 극히 일부일 뿐이다. 당연히 이러한 사용례를 책임감 있게 처리하는 것도 RAI의 목적이지만, 다른 모든 AI 솔루션의 안전과 안정적 개발 및 사용, 또 기업의 성능 및 재무 요구 사항 충족도 RAI가 필요한 부문이다.

설명 가능성을 제공하고, 편향성을 확인하고, 개인정보 보호를 보장하는 데 사용하는 도구는 정확성, 신뢰성 및 데이터 보호를 보장하는 데 사용하는 도구와 정확히 같다. RAI는 공정성을 고려해야 할 때 AI를 윤리적으로 사용하는 데 도움이 되지만, 다른 모든 AI 사용례에서도 마찬가지로 중요하다.
 

잘못된 통념 3 : RAI를 알려면 설명 가능성부터 알아야 한다

AI를 신뢰하고 책임감 있게 사용하기 위해서는 설명 가능성, 즉 해석 가능성이 필요하다는 것이 일반적인 생각이지만, 사실은 아니다. 비행기 여행에 안심하기 위해서 비행기의 작동 원리를 알아야 할 필요가 없듯, AI를 신뢰하기 위해 설명 가능성을 꼭 이해할 필요는 없다.

인간의 결정이 좋은 예다. 인간은 거의 대부분 자신의 결정 이유를 설명할 수 있지만, 사실 설명은 의사 결정 행동의 실제 동인과는 거의 관련이 없는, 사후에 지어낸 이야기라는 증거가 많다.

그러나 쉽게 이해할 수 있는 '화이트박스' 모델과 LIME 및 ShAP과 같은 방법을 사용하는 AI 설명 가능성은 모델이 올바르게 작동하는지 테스트하는 데 중요하다. 잘못된 상관관계와 잠재적인 불공정한 차별을 식별하는 데 도움이 되기 때문이다. 패턴을 쉽게 감지하고 설명할 수 있는 간단한 사용례에서는 신뢰도를 높이는 지름길이 될 수 있다. 그러나 패턴이 충분히 복잡한 경우에는 어떤 설명도 기껏해야 어떤 결정이 어떻게 내려졌는지에 대한 암시만 제공할 뿐이며, 최악의 경우 완전한 중언부언이나 횡설수설에 지나지 않을 것이다.

즉, 요컨대, 설명 가능성은 있으면 좋지만, 이해관계자와의 신뢰를 의미 있게 이끌어내는 방식으로 제공하는 것은 불가능할 때가 많다. RAI는 모든 AI 사용례에 대한 신뢰를 보장하는 것으로, 이는 개발 및 운영에 사용되는 사람, 프로세스, 기술(특히 플랫폼)을 통해 신뢰를 제공하는 것을 의미한다.
 

책임감 있는 AI는 곧 위험 관리

결국 RAI는 AI 및 머신러닝 모델을 개발하고 사용할 때 위험을 관리하는 관행이다. 여기에는 비즈니스 위험(성능 저하 또는 신뢰할 수 없는 모델 등), 법적 위험(규제 벌금, 고객사나 또는 직원 소송 등), 심지어 사회적 위험(차별이나 환경 피해 등)까지 관리해야 한다.

이러한 위험은 사람, 프로세스, 기술의 형태로 RAI 역량을 구축하는 다층적 전략을 통해 관리된다. 사람 측면에서는 RAI를 책임지는 리더(예: 최고 데이터 분석 책임자, 최고 AI 책임자, 데이터 과학 책임자, ML 부사장)의 역량을 강화하고 실무자와 사용자가 책임감 있게 AI를 개발, 관리, 사용할 수 있도록 교육해야 한다.

프로세스 측면에서는 데이터 액세스 및 모델 학습에서 모델 배포, 모니터링 및 재학습에 이르는 엔드투엔드 수명 주기를 관리하고 통제해야 한다. 기술 측면에서 특히 중요한 것은 측면에서 플랫폼은 대규모로 사람과 프로세스를 지원하고 활성화하는 플랫폼이다. 플랫폼은 설명 가능성, 편향성 감지, 편향성 완화, 공정성 평가, 드리프트 모니터링 등 RAI 방법에 대한 액세스를 민주화하고, AI 아티팩트 거버넌스, 계보 추적, 문서 자동화, 승인 워크플로 조율, 데이터 보안은 물론 RAI 프로세스를 간소화하는 수많은 기능을 제공한다.

제약, 금융 서비스, 보험 등 규제가 심한 산업의 고급 AI 팀이 이미 이러한 기능을 구축하여 가치 창출에 나서고 있다. 이들 선도 업체는 빠른 구현, 더 큰 채택, 더 나은 성능, 향상된 안정성 등의 이점을 통해 모든 AI, 특히 생성형 AI에 대한 신뢰를 대규모로 구축하고 있다. AI 규제 마련에 대비하여 AI 이니셔티브를 미래에 대비할 뿐 아니라 무엇보다도 모든 사용자를 더 안전하게 만드는 데에도 유용하다. 책임감 있는 AI는 대규모의 AI 가치를 실현하는 열쇠지만, 그러려면 먼저 잘못된 통념을 깨야 한다.

https://www.itworld.co.kr/news/335878

새로운 최고 AI 책임자를 고용해야 할 정도로 생성형 AI가 중요할까? 코파일럿 키를 내장한 키보드를 구입해야 할까? 부풀려진 기대와 투자로 속에서 기업들은 생성형 AI에 대해 어느 정도의 성과를 거두고 있을까?

생성형 AI는 종전 일회성 머신러닝(ML) 모델에서 벗어날 가능성을 제시한다. 다양한 분야에서 활용될 수 AI 도구의 가능성이다. 그러나 모든 낙관적인 전망에는 함정이 있기 마련이다. 

여러 연구에 따르면 많은 사람들이 이미 정기적으로 생성형 AI 도구를 사용하고 있다. 최근 페이지듀티의 연구에 따르면 포춘 1000대 기업 중 98%가 생성형 AI를 실험하고 있다. 하지만 동시에 많은 조직이 생성형 AI에 대해 신중한 접근 방식을 취하고 있는 것으로 보인다. 예를 들어, 파운드리의 2023 AI 우선순위 연구에 참여한 IT 의사결정권자 중 4분의 1이 생성형 AI 기술을 시험적으로 사용하고 있다고 응답했지만, 이중 배포 단계로 나아간 비율은 20%에 불과했다. 

CCS 인사이트의 직원 기술 및 업무 환경 혁신 설문조사에 참여한 고위급 리더들의 응답도 비슷했다. 2023년 말을 기준으로 18%는 이미 전체 직원에게 생성형 AI를 배포했고 22%는 배포할 준비가 되었다고 답했다. CCS 인사이트의 엔터프라이즈 리서치 디렉터 볼라 로티비는 "단 올해 중 생성형 AI의 현실 활용을 기대하는 조직이 많다”라고 말했다. 

또 인텔의 2023년 ML 인사이더 설문조사에 참여한 AI 전문가와 같은 IT 팀들의 응답에 따르면, 2023년에 차세대 AI 솔루션을 비즈니스 현장에 도입한 조직은 10%에 불과했다.

현장 배포에 대한 준비
생성형 AI 투자, 파일럿 및 계획을 가진 기업은 많지만, 생산성 향상이나 ROI의 구체적인 내용에 대해 이야기하는 조직은 상대적으로 적다. 예를 들어 골드만삭스, IHG, 메르세데스 벤츠와 같은 많은 구글 고객사들은 최근 구글 클라우드 넥스트 컨퍼런스에서 제미니 생성형 AI 도구를 사용한 사례에 대해 발표했지만, 대개 배포가 아닌 파일럿 단계의 것들이었다.

물론 단순한 실험 수준을 넘어선 파일럿일 수 있다. 맥킨지에 따르면 산업 디자인 팀이 LLM 기반의 연구 요약 기능과 AI 이미지 생성 기능을 사용하는 경우 제품 개발 주기를 70% 이상 단축할 수 있다. 그러나 이러한 디자인 팀이 현실적으로 제조할 수 있는 제품을 만들기 위해서는 평가 및 수정 작업을 추가적으로 해야 한다. 또 정책을 설정하고 직원을 교육해야 한다. 

화장품 기업 에스티 로더는 고객 인사이트, 행동 연구 및 시장 동향에 대해 내부 챗봇 훈련과 같은 파일럿 프로젝트를 적용했다. 그러나 이러한 가치를 현실화하는 방법은 여전히 연구 단계에 있다. 

현실적인 가치를 이미 얻고 있다는 기업도 있다. 마이크로소프트는 자사 직원들이 마이크로소프트 365용 코파일럿을 비롯한 생성형 AI 도구를 통해 상당한 가치를 얻고 있다고 주장한다. 회사의 최신 업무 및 비즈니스 애플리케이션 부문 CVP인 제라드 스파타로는 "수준급 사용자들은 한 달에 10시간 이상을 절약하고 있다"라며, 사용자의 70%는 생산성이 향상되어 최대 1/3까지 더 빠르게 작업할 수 있다고 전했다.

그러나 포레스터의 수석 분석가인 JP 가운더는 한 달에 5시간 정도의 절약이 일반적이라며, 또 다른 문제는 조직 전체에의 확장 문제라고 말했다. 그는 이어 지금까지 코파일럿 도입이 ‘포켓’에서 이루어지는 경향이 있다고 지적했다. 이는 마케팅 및 영업, 서비스 및 지원, 제품 개발 등의 일부 부서에서 대부분의 생성형 AI 배포가 이루어지고 있다는 맥킨지의 보고서와 일치한다.

해당 보고서에 따르면 설문조사에 참여한 통신사들은 낙관적인 가운데에서도 효과 범위를 제한하고 있었다. 대다수는 생성형 AI를 통해 비용을 절감하고 콜센터 상담원의 생산성이 향상되고 개인화된 콘텐츠를 통해 마케팅 전환율이 개선되었다고 답했으며, 두 모델 모두 몇 달이 아닌 몇 주 만에 배포되었다고 답했다. 그러나 고객 서비스나 매핑 네트워크 인프라 외에는 그 영향이 미미했다.

조직 전체로 확장
마이크로소프트의 초기 테스트 고객 중 일부는 이미 광범위한 배포 단계에 진입했다. 빠르게 마이크로소프트 365 코파일을 테스트한 글로벌 로펌 기업 클리포드 챈스는 현재 애저 오픈AI를 기반으로 구축한 맞춤형 AI 도구인 ‘클리포드 챈드 어시스트’를 전체 직원에게 배포하고 있다. 이 회사는 생성형 AI의 모든 법적 결과물을 자격을 갖춘 변호사가 명확하게 확인하고 분류한다며, 주요 이점은 실시간 기록, 회의 요약, 회의에서 암묵적으로 약속하고 합의한 작업 등 지식 근로자의 생산성 향상이라고 전했다.

가운더는 “생산성을 높이고 시간을 절약하며 훌륭한 인간 비서가 될 수 있는 놀라운 기술이다. 그러나 지난 40년 동안 컴퓨팅 분야에서 출시되어 온 도구와는 다른 성격을 지닌다. 성공을 위해 알아야 할 특징들이 있다”라고 말했다. 그는 조직의 AI 지수를 평가하기 위한 몇 가지 질문을 다음과 같이 제시했다.

- AI와 프롬프트 엔지니어링의 작동 방식에 대한 기본적인 이해가 있는가?
- 교육을 받은 적이 있는가?
- 이러한 것들을 배울 수 있다는 자신감이 있는가?
- 참여하고 싶은 동기가 있는가?
- 무엇이 잘못될 수 있고 어떻게 윤리적 사용자가 될 수 있는지 알고 있는?

또 다른 문제는 직원들이 생성형 AI 도구를 워크플로우의 일부로 활용하도록 하는 것이다. "코파일럿에 대해 매우 낙관적이며 호의적인 이들이 있다. 하지만 사용자의 절반은 도구를 사용하지 않는다. 이는 교육에 대한 투자가 부족하기 때문일 수 있다”라고 그는 말했다.

그에 따르면 마이크로소프트 365용 코파일럿을 검토하는 거의 모든 주요 기업은 1시간 정도의 직원 교육만 계획한다면서, 10시간 정도가 적정 수치라고 제안했다. 가운더는 "이것은 핵심 기술이며, 교육에 투자하지 않으면 손해를 볼 수 있기 때문에 교육에 투자해야 한다"라고 말했다. 

현실 성공 사례
문서 엔지니어링과 같은 일부 분야에서는 이미 구체적인 생성형 AI 성공 사례가 나타나고 있다. 일례로 도큐가미(Docugami)는 문서 생성 및 데이터 추출에 사용할 수 있는 맞춤형 소형 언어 모델을 통해 고객의 복잡한 문서로부터 지식 그래프를 구축해 성과를 거두고 있다. 

회사의 진 파올리 CEO는 특히 보험 분야의 기업들이 가치 평가서, 보험 증서, 갱신 날짜, 위약금 및 책임이 포함된 보험 문서를 위해 도큐가미의 솔루션을 채택해왔다고 전했다. 과거에는 개별 고객과 전체 포트폴리오의 위험을 설명하는 중요한 정보를 반영해 새로운 견적을 생성하거나 재보험사에게 포트폴리오를 설명하는 작업이 수동으로 이뤄졌다는 설명이다. "이러한 시나리오는 몇 백 달러가 아니라 수백만 달러를 절약할 수 있는 실제 시나리오다"라고 파올리는 말했다.

회사의 앨런 예이츠 최고 비즈니스책임자는 또 생명과학 분야의 한 고객 기업의 경우 임상시험 문서화, 규정 준수 및 데이터 탐색을 위해 도큐가미의 플랫폼을 사용하고 있다면서, "이전에는 이 작업을 수행하는 데 6개월이 걸렸지만 지금은 1주일이면 충분하다”라고 말했다. 

생성형 AI를 본격적으로 활용하는 또 다른 분야로는 소프트웨어 개발이 있다. 하지만 초기에는 생산성 향상 효과가 낮을 수 있다. 시스코가 6,000명의 자사 개발자에게 깃허브 코파일럿을 배포했을 때, 생성된 코드를 수락한 비율은 19%에 불과했다. 지금은 코드 제안의 거의 절반이 받아들여지고 있다. 

한편 전문 지식이 부족한 시민 개발자가 로우 코드 플랫폼을 사용하는 경우 AI로 인한 이득이 훨씬 더 클 수 있다. 디지털 보험 에이전시인 N슈어닷컴은 자동화 흐름을 자연어로 설명할 수 있도록 함으로써 큰 성과를 거뒀다. 생성 및 구성하는 데 4시간이 걸리던 워크플로우가 파워 오토메이트용 코파일럿을 사용해 40분 만에 처리할 수 있게 됐다. 

또한 PG&E는 파워 플랫폼의 로우코드 코파일러스 스튜디오 생성형 AI 도구로 페기(Peggy)라는 IT 헬프데스크 챗봇을 구축해 직원 요청의 25~40%를 처리함으로써 연간 110만 달러 이상을 절감했다고 마이크로소프트 코파일럿 책임자 노아 게신은 전했다. 그에 따르면 페기가 직원들에게 SAP에 대한 액세스 권한을 잠금 해제하는 과정을 안내함으로써 헬프데스크 팀에서만 연간 840시간을 절약할 수 있었다. 

총 비용에 유의
주문형 생성형 AI 도구의 관련 비용을 정확하게 예측하기는 어렵기 때문에 배포를 주저할 수 있다. 개별 생성형 AI 서비스 비용을 저렴할지라도 전사적 배포에서는 큰 비용이 될 수 있기 때문이다.

링크드인의 수석 소프트웨어 엔지니어인 후안 보타로는 "외부 공급업체를 이용하든 내부에서 개발하든, 생성형 AI에서 가장 먼저 고려해야 할 사항은 비용”이라고 강조했다. 그의 팀은 최근 프리미엄 사용자를 대상으로 채용 공고에 적합한지, 어떤 기술이나 자격을 갖추면 채용 가능성을 높일 수 있는지 제안하는 새로운 생성형 AI 기능을 출시했다.

그는 "더 빠르게 움직이고 싶었지만, 사용 가능한 용량과 GPU가 충분하지 않아서 기다리기로 결정했다"라고 말했다. 새 워크플로우의 비용을 예측하기는 어렵고, 사람들의 상호 작용 방식이 매우 다르기에 사용량에 대한 가정을 확신할 수 없었기 때문이다. 대신 소수의 사용자에게 배포하고 그들의 행동을 통해 추론하기로 했다고 그는 덧붙였다.

보타로는 이어 "우리는 한두 달 만에 현재 프리미엄 경험에서 볼 수 있는 것과 매우 유사한 것을 만들 수 있었다"라고 전했다. 

CCS 인사이트의 로티비는 생성형 AI 파일럿의 경우 다른 클라우드 서비스와 마찬가지로 API 관리 게이트웨이를 통해 클라우드 AI 서비스에 대한 쿼터 및 아웃바운드 요청 속도 제한을 고려할 수 있다고 설명했다. 그에 따르면 대다수 기업은 생성형 AI의 사용을 특정 역할, 개인 또는 팀으로 제한할 계획이며, 이는 비용 문제 때문인 경우가 많다. "조직 전체에 적용하기에는 너무 비쌀 수 있다"라고 그는 말했다.

무엇을 ‘측정’할 것인가
가우더는 자체 보고된 생산성이 생성형 AI 성공을 측정하는 최선의 방법은 아니며, 배포에 따라 중요한 지표가 달라질 수도 있다고 지적했다. 그는 "티어 1 지원 전체를 생성형 AI에 맡기고 정말 좋은 자연어를 보유하고 있다면 성공률이 높아질 것이다. 하지만 인간의 경험은 다른 문제다. 통화 시간보다는 고객 만족도에 대한 측정 지표가 더 중요할 수 있다"라고 말했다.

또 인공지능 결과의 품질과 정확도를 측정하기란 까다로울 수 있다. 동일한 입력을 해도 매번 다른 결과가 나올 가능성이 높기 때문에 더 어려워진다. 때로는 평가를 위한 벤치마크를 만들어야 한다. 보타로는 “어떤 것이 옳은지 그른지를 정의하는 것은 매우 주관적이고 측정하기 어렵다"라고 말했다.

그의 팀은 도구를 평가하기 위해 좋은 응답이 어떤 모습인지에 대한 공유 지침을 만들었다. 마이크로소프트도 코파일럿 포 애저를 지원하는 애스크 런 API에 대해 답변 품질을 테스트할 근거 데이터와 메트릭을 나타내는 참조 데이터로 구성된 '황금 데이터 세트'를 구축한 바 있다.

가우더는 ROI 입증해야 한다는 압박감이 있지만 대다수 기업이 아직은 그 단계에 이르지 못했다고 경고했다. 영업용 코파일럿의 경우 전환율, 거래 흐름 또는 통화 해결까지의 평균 시간 개선을 참고할 수 있기는 하지만, 변수가 너무 많은 상황에서 직접적인 인과 관계를 가정하는 것은 주의해야 한다고 그는 덧붙였다.

아울러 정량화할 수 없는 이점도 TCO 측면에서 가치가 있을 수 있음을 감안해야 한다. 가우더는 "코파일럿을 제공함으로써 시간을 절약할 수 있을 뿐만 아니라 지루한 업무를 덜어준다고 가정해 보라. 이는 직원 경험 개선으로 이어질 수 있다. 직원 경험 혜택은 이직률을 낮추고 직원들의 동기 부여와 참여도를 높이는 경향이 있다"라고 말했다.

한편 보타로는 생성형 AI와 LLM에 대한 열망이 상황을 복잡하게 만든다고 말했다. "구축이 결정된 상황에서 가치를 측정하는 방법을 찾으려는 접근법이 흔하다. 이는 잘못된 접근 방식이다”라며, 일부 사용 사례에서는 기존 AI로도 충분할 수 있다는 가능성을 열어두라고 제안했다.

생성형 AI 실패 막으려면…
생성형 AI를 도입하는 것이 적절한지, 사용자가 부정확한 답변을 반박할 수 없는 진실로 받아들이는 것을 막는 방법은 무엇인지, 학습 세트에 저작권과 부적절한 자료가 포함되지는 않는 지와 같은 질문을 진지하게 검토해야 한다.

보고된 생성형 AI 실패 사례 다수는 모델 자체의 내재적 문제보다는 경계를 넘나드는 사용자의 무책임한 행동이나 조직이 충분한 AI 기반 보호 도구를 마련하지 않은 것에서 비롯된 경우가 많다. 딥페이크나 단순한 디지털 위조, 학습에 사용된 데이터의 저작권과 관련된 잠재적인 법적 위험, 민감한 데이터나 기밀 데이터에 생성형 AI를 사용할 때 규정 준수에 대한 문제 등이 생성형 AI와 관련된 주요 우려 요소로 손꼽힌다. 

아울러 클라우드 생성형 AI 서비스의 경우, 모든 클라우드 모델과 마찬가지로 공동 책임이라는 개념을 수용해야 한다. AI 제공업체는 안전하게 사용할 수 있는 모델과 서비스를 제공해야 하지만, AI 서비스를 채택하는 조직은 모델 카드와 투명성 노트를 읽고 사용 방식을 적절히 제한하고 있는지 테스트해야 한다.

가운더는 "일부 조직은 챗봇을 지나치게 확장하고 일관성 없는 답변을 제공하고 있음을 뒤늦게 깨닫는다”라며, "그렇다고 포기해야 한다는 말은 아니다. 고객에게 출시하기 전에 프로젝트를 철회하고 오프라인에서 반복 작업을 시도할 수 있다"라고 말했다.

한편 생성형 AI에 대한 조직의 성숙도는 일반적으로 기존 AI의 성숙도를 뒤따르는 경향이 있다. 가운더는 "예측 AI, 컴퓨터 비전, 머신러닝에 더 많은 투자를 해온 기업들에서 성공 비율이 높다. 자체 AI 도구를 구축하는 기업들은 여러 기술을 사용하고 있으며, 생성형 AI를 하나의 요소로 취급한다”라고 말했다. 

보타로 또한 생성형 AI에 대한 과대광고를 극복하는 방법으로 이를 또 하나의 도구로 보는 것이라고 말했다.

https://www.ciokorea.com/news/335605