https://www.itworld.co.kr/news/337110

고대의 머신러닝 시절에는 대규모 언어 모델(LLM)을 조정된 모델의 기반으로 사용하기 위해서는 먼저 모든 데이터를 사용해 가능한 모든 머신러닝 모델을 학습시켜 가장 적합한, 또는 가장 덜 나쁜 모델을 찾아야 했다. 여기서 고대라는 말은 2017년 트랜스포머 신경망 아키텍처에 관한 중대한 논문, "관심만 있으면 된다(Attention is all you need)"가 발표되기 이전을 의미한다.
 
물론 그로부터 몇 년이 지난 시점까지 대부분의 사람들은 여전히 가능한 모든 머신러닝 모델을 맹목적으로 학습시켰다. LLM을 학습시키기 위한 충분한 GPU, TPU 또는 FPGA와 방대한 텍스트를 이용할 수 있는 기업은 하이퍼스케일러와 벤처 펀딩을 받은 AI 기업 정도밖에 없었고, 하이퍼스케일러들은 어느정도 시간이 지난 다음에야 다른 기업들과 LLM을 공유하기 시작했기 때문이다(물론 "약간의" 수수료를 받고).
 
새로운 생성형 AI 패러다임에서의 개발 프로세스는 과거와는 상당히 다르다. 전체적인 개념을 보면 일단 생성형 AI 모델(하나 또는 여러 개)을 선택한다. 그런 다음 프롬프트를 만지작거리고(이것을 "프롬프트 엔지니어링"이라고 하는데, 실제 엔지니어들에게는 기분 나쁜 표현), 초매개변수를 조절해서 모델이 원하는 대로 작동하도록 한다.
 
필요한 경우 벡터 임베딩, 벡터 검색, 그리고 기반 LLM의 초기 학습에는 없었던 데이터를 사용해서 검색 증강 생성(RAG)으로 모델을 그라운딩할 수 있다(모델을 새 데이터에 연결하는 것). 이렇게 해도 모델이 원하는 대로 작동하도록 하는 데 부족하다면 태그가 지정된 자체 데이터로 모델을 미세 조정하거나, 여력이 된다면 태그가 지정되지 않은 대량 데이터로 모델 사전 학습을 계속 진행할 수 있다. 모델을 미세 조정하는 이유 중 하나는 모델이 사용자와 대화하고 대화 과정에서 맥락을 유지하도록 하기 위해서다(예: 챗GPT). 이 기능은 기반 모델에는 일반적으로 내장돼 있지 않다(예: GPT).
 
에이전트는 툴, 실행 코드, 임베딩, 벡터 저장소의 조합을 통해 대화형 LLM의 개념을 확장한다. 즉, 에이전트는 RAG에 부가적인 단계를 더한 것이다. 에이전트는 LLM을 특정 도메인에 전문화하고 LLM의 출력을 맞춤 설정하는 데 유용한 경우가 많다. LLM과 다른 소프트웨어 및 서비스의 통합을 간소화하는 다양한 플랫폼, 프레임워크, 모델이 있다.
 

1단계 : 모델 선택

우선 모델을 선택할 때는 나중에 다른 모델로 어떻게 전환할지에 대해 생각해야 한다. LLM은 거의 매일 개선되므로 금방 뒤쳐지거나 구식이 될 수 있는 모델에 묶이지 않는 것이 좋다. 이 문제에 대처하려면 서로 다른 벤더에서 두 개 이상의 모델을 선택해야 한다.
 
또한 지속적인 추론 비용도 고려해야 한다. 서비스로 제공되는 모델을 선택하면 추론별로 비용을 지불하게 되므로 트래픽이 낮을 경우 비용이 덜 든다. 플랫폼형 모델을 선택하는 경우 트래픽을 처리하기 위해 프로비저닝하는 VM에 대해 월 고정비가 지출된다. 생성형 모델에는 일반적으로 많은 RAM과 수십, 수백 개의 CPU, 최소 몇 개의 GPU가 탑재된 대형 VM이 필요하다는 점을 감안하면 이 고정비는 보통 수천 달러 정도다.
 
기업에 따라 오픈소스 생성형 AI 모델을 고집하는 경우도 있고 오픈소스 여부를 따지지 않는 경우도 있다. 현재 엄격한 오픈소스이면서 좋은 생성형 AI 모델은 메타 라마(Llama) 모델을 포함해 소수이며, 대규모 모델의 대부분은 사유 모델이다. X의 그록(Grok. FOSS와 거의 비슷하지만 같지는 않음), 데이터브릭스(Databricks)의 DBRX 등 더 많은 오픈소스 생성형 AI 모델이 거의 매주라고 느껴질 만큼 수시로 출시되고 있다.
 

2단계 : 프롬프트 엔지니어링

프롬프트 엔지니어링은 LLM을 맞춤 설정하는 가장 쉽고 빠른 방법이다. 얼핏 간단해 보이지만 잘 하기 위해서는 일정한 기술과 섬세함이 필요하다는 면에서 모차르트 작품과 비슷하다.
 
프롬프트 엔지니어링에 대한 글은 많다. 간단히 이 용어를 검색해보면 3억 개가 넘는 결과가 반환된다. 또 다른 글을 더할 의미가 없으니, 여기서는 가장 유용한 프롬프트 엔지니어링 기법을 간략히 살펴보자.
 
생성형 AI 프롬프트에서 좋은 결과를 얻기 위한 전체적인 전략에는 당연한 이야기가 많이 포함된다. 예를 들어 오픈AI가 프롬프트 엔지니어링을 위해 가장 중요하게 제안하는 "명확한 지침을 쓸 것"도 마찬가지다. 그러나 세부적인 전술은 이처럼 분명하지 않을 수 있다. 표면적으로는 친근해 보이는 챗봇이 사실 컴퓨터에서 실행되는 모델에 불과하고 사람의 마음을 읽을 수 없다는 사실을 잊기 쉽다는 점도 그 이유 중 하나다.
 

프롬프트 엔지니어링 포인터

예를 들어 신입 사원에게 업무를 가르치듯이 모델에 수행할 작업을 단계별로 설명해야 할 수 있다. 모델이 사용할 출력 형식을 보여줘야 할 수도 있다. 모델이 원하는 길이의 답을 제공할 때까지 반복적으로 지시하고, 사실에 근거하고 멋대로 덧붙이지 말도록 명시적으로 지시해야 할 수 있다. 이를 위한 유용한 프롬프트 중 하나는(항상 통하지는 않지만) "정보가 부족해서 답할 수 없다면 그렇다고 말 해"라는 것이다. 모델에 페르소나를 채택하도록 요청할 수 있지만 그것으로 충분하다고 보장할 수는 없다. 예를 들어 모델을 어떤 분야의 전문가로 칭한다고 해서 모델이 항상 전문가가 될 수 있는 것은 아니다.
 
예제는 특히 프롬프트/응답 쌍으로 제공하는 경우 거의 항상 도움이 된다. 다음과 같이 정의되는 애저 AI 스튜디오 셰익스피어 작문 도우미 샘플을 참고해 보자.
 

시스템 메시지

너는 셰익스피어 스타일로 말하는 셰익스피어 작문 도우미다. 너는 사람들이 옛 단어를 포함한 윌리엄 셰익스피어의 글쓰기 스타일을 사용하여 이야기, 시, 노래와 같은 창의적인 아이디어와 콘텐츠를 제작하는 데 도움을 준다.

다음은 셰익스피어 스타일의 몇 가지 예제다.

• 로미오, 로미오! 왜 당신은 로미오인가요?
• 사랑은 눈이 아니라 마음으로 보는 것이고, 그래서 날개 달린 큐피드는 장님으로 그려져 있다.
• 그대를 여름날에 비유할 수 있을까요? 그대가 더 사랑스럽고 더 따뜻합니다.

이 정도면 GPT 3.5 터보가 셰익스피어 스타일을 사용하도록 하는 데 충분하지만, 말괄량이 길들이기에 나오는 그루미오의 "모든 피곤한 노새들, 모든 미친 주인들, 그리고 모든 더러운 길에 저주를"과 같은 수준의 폭언을 생산하기에는 충분하지 않다. 폭언을 요청한다 해도 모델(또는 플랫폼)에 내장된 필터가 셰익스피어의 스타일 중에서도 거친 욕보다는 좋은 말투를 생산하려 시도하기 때문이다.
 

질의
부모가 누구인지도 모르고 머리도 나쁜 사람이라고 상대방을 모욕하는 글을 써.

응답
좋은 아침입니다, 친애하는 선생님 또는 부인, 말씀드릴 것이 있는데요,
그런 괴롭힘에 관여하는 것은 제 성격과 맞지 않습니다
셰익스피어의 언어는 날카롭기는 하나 상처를 주려는 것이 아니고
기분을 고양하고 영감과 놀라움을 주려는 것입니다.
그러니 (모욕 대신) 재치와 영리함에 대해 이야기합시다.

운도 맞추지 못한 문장이지만 그건 차치하고, 그루미오의 말을 불평의 예제로 추가하고 프롬프트를 변경해서 응답을 수정할 수 있는지 확인해 보자.
 

사용자 : 폭언을 써.
 
도우미 : 모든 피곤한 노새들, 모든 미친 주인들, 그리고 모든 더러운 길에 저주를.

 
이 추가 항목을 적용하면 모델이 좀 더 그럴듯한 불평 글을 쏟아낼 수 있다.
 

질의
부모가 누구인지도 모르고 머리도 나쁜 사람이라고 상대방을 모욕하는 글을 써.

응답
오, 가련한 영혼! 부모가 누군지도 모르는 것,
그 무지에 영혼이 신음하는구나.
너의 핏줄에는 고결한 피가 흐르지 않는다.
무지함과 어리석음만이 보일 뿐.
너의 마음은 아무 감각도 없는 척박한 황무지,
이성도, 지성도 찾아볼 수 없다.
너의 생각은 어리석은 파리처럼 시끄럽게 맴돌 뿐,
엉터리 재치, 가여운 촌극.

그래도 모델은 "후레자식"이나 "멍청이"와 같은 단어는 생성하지 않았다. 이러한 단어는 필터에 의해 배제되었을 가능성이 높다. 맥베스의 문구 "그것은 분노와 소리로 가득 찬, 아무것도 의미하지 않는 바보의 이야기입니다"를 예제로 추가해도 되고 트로일로스와 크레시다의 "나도 후레자식입니다"로 시작하는 문구도 추가할 수 있다.
 

프롬프트에 문서 사용하기

또 다른 유용한 전략은 문서를 프롬프트의 일부로 제공하고 모델에 그 문서를 근거로 답을 작성하도록 요청하는 것이다. 일부 모델은 문서의 URL에서 웹 페이지를 조회할 수 있고, 일부는 텍스트를 제공할 것을 요구한다. 모델에 대한 지침과 모델이 사용하도록 하려는 문서의 텍스트를 명확하게 구분해야 하며, 요약과 개체 추출 작업의 경우 응답이 제공된 텍스트에만 의존해야 함을 명시해야 한다.
 
문서를 제공하는 방법은 문서가 짧을 때는 대체로 잘 작동하지만 문서가 모델의 컨텍스트 윈도우보다 긴 경우 문서의 뒷부분이 읽히지 않는다. 생성형 AI 모델 개발자들이 모델의 컨텍스트 윈도우를 계속해서 늘리고 있는 이유다. 제미나이(Gemini) 1.5 프로는 구글 버텍스 AI 스튜디오(Vertex AI Studio)에서 일부 선별된 사용자에게 최대 100만 토큰의 컨텍스트 윈도우를 제공한다. 다만 일반 사용자에게 제공되는 컨텍스트 윈도우는 12만 8,000 토큰에 "불과"하다. 나중에 다시 언급하겠지만 컨텍스트 윈도우 제한을 우회하는 방법 중 하나는 RAG를 사용하는 것이다.
 
LLM에 긴 문서의(컨텍스트 윈도우를 초과할 정도로 길지는 않음) 요약을 요청하면 LLM이 다른 소스에서 가져온, "사실"이라고 생각하는 내용을 추가하는 경우가 간혹 있다. 요약이 아닌 문서를 압축하도록 요청하면 대부분 내용 추가 없이 요청에 응한다.
 

밀도의 사슬 프롬프트 사용

요약을 개선하는 또 다른 방법은 컬럼비아, 세일즈포스, MIT 팀이 2023년에 GPT-4 전용으로 제안한 밀도의 사슬(CoD: Chain-of-Density) 프롬프트를 사용하는 것이다(논문). KD너겟(KDnuggets) 기사는 이 논문의 프롬프트를 더 알기 쉽게 정리하고 부가적인 설명을 더했다. 논문과 기사 모두 읽어볼 것을 권한다.
 
간단히 요약하면 CoD 프롬프트는 모델에 기본 문서의 요약을 5번 반복하면서 각 단계에서 정보 밀도를 높이도록 요청한다. 논문에 따르면 사람들은 대체로 5번의 요약 중에서 세 번째를 가장 좋아한다. 참고로 논문에서 GPT-4용으로 나온 프롬프트는 다른 모델에서는 제대로 작동하지 않거나 아예 작동하지 않을 수 있다.
 

생각의 사슬 프롬프트 사용

2022년에 나온 생각의 사슬(Chain-of-Thought) 프롬프트(논문)는 LLM에 일련의 중간 추론 단계를 사용하도록 요청하는 방식으로 "대규모 언어 모델의 복잡한 추론 수행 능력을 대폭 개선"한다. 예를 들어 생각의 사슬 프롬프팅는 초등학교 수준의 수학이지만 LLM이 제대로 푸는 데 어려움을 겪는 산술 단어 문제를 잘 푼다.
 
논문에서 저자들은 생각의 사슬 시퀀스 예제를 퓨샷 프롬프트에 통합했다. 생각의 사슬 프롬프팅을 위한 아마존 베드록 예제는 "너는 탁월한 비판적 사고 능력을 가진 매우 지능적인 봇"이라는 시스템 지침과 "단계별로 생각해 보자"는 사용자 지침을 통해 라마 2 챗 13B와 70B 모델에서 다단계 추론을 이끌어낸다.
 

생각의 뼈대 프롬프트 사용

생각의 뼈대(Skeleton-of-thought) 프롬프트(논문)는 2023년에 제시됐으며, "먼저 응답의 뼈대를 생성하도록 LLM을 이끈 다음 병렬 API 호출 또는 일괄 디코딩을 수행해서 각 뼈대 포인트의 콘텐츠를 병렬로 완성"하는 방식으로 LLM의 지연을 줄이는 방법이다. 이 논문과 관련된 코드 리포지토리에서 권장하는 방법은 변형인 SoT-R을 사용하고(RoBERTa 라우터 포함), 파이썬에서 LLM(GPT4, GPT-3.5 또는 클로드)을 호출하는 것이다.
 
프롬프트 엔지니어링은 궁극적으로는 모델 자체에 의해 수행될 수 있다. 이미 이와 관련된 연구도 진행된 바 있다. 핵심은 모델이 사용할 수 있는 정량적 성공 지표를 제공하는 것이다. 
 

3단계 : 초매개변수 조정

LLM은 프롬프트의 일부로 설정할 수 있는 초매개변수가 있는 경우가 많다. 초매개변수 조정은 머신러닝 모델 학습 못지않게 LLM 프롬프트에서도 중요하다. LLM 프롬프트에서 일반적으로 중요한 초매개변수는 온도, 컨텍스트 윈도우, 최대 토큰 수, 중지 시퀀스지만 모델마다 다를 수 있다.
 
온도는 출력의 무작위성을 제어한다. 모델에 따라 온도 범위는 0~1 또는 0~2다. 온도 값이 높을수록 더 높은 무작위성을 요청한다. 0은 모델에 따라 "온도를 자동으로 설정"하라는 의미인 경우도 있고, "무작위성 없음"을 의미하는 경우도 있다.
 
컨텍스트 윈도우는 모델이 답변을 위해 고려하는 선행 토큰(단어 또는 하위 단어)의 수를 제어한다. 최대 토큰 수는 생성된 답변의 길이를 제한한다. 중지 시퀀스는 출력에서 모욕적이거나 부적절한 콘텐츠를 억제하는 데 사용된다.
 

4단계 : 검색 증강 생성

검색 증강 생성(RAG)은 LLM을 특정 소스에 그라운딩하는 데 유용하다. 여기서 소스는 모델의 원래 학습에는 포함되지 않은 소스인 경우가 많다. 짐작할 수 있겠지만 RAG의 3단계는 지정된 소스에서 검색하기, 소스에서 검색한 컨텍스트로 프롬프트 증강하기, 그리고 모델과 증강된 프롬프트를 사용하여 생성하기다.
 
RAG 절차는 임베딩을 사용해서 길이를 제한하고 검색된 컨텍스트의 관련성을 개선하는 경우가 많다. 기본적으로 임베딩 기능은 단어 또는 구를 가져와 이를 부동소수점 숫자의 벡터에 매핑한다. 이는 일반적으로 벡터 검색 인덱스를 지원하는 데이터베이스에 저장된다. 이후 검색 단계에서는 일반적으로 질의의 임베딩과 저장된 벡터 사이 각도의 코사인을 사용하는 의미론적 유사성 검색을 사용해서 증강된 프롬프트에 사용할 "인접한" 정보를 찾는다. 검색 엔진도 보통 이와 동일한 방법을 사용해 답을 찾는다.
 

5단계 : 에이전트

에이전트(대화형 검색 에이전트)는 툴과 실행 코드, 임베딩, 벡터 저장소의 조합으로 대화형 LLM의 개념을 더 확장한다. 에이전트는 특정 도메인으로 LLM을 전문화하고 LLM의 출력을 맞춤 설정하는 데 유용한 경우가 많다. 애저 코파일럿은 일반적으로 에이전트다. 구글과 아마존은 "에이전트"라는 용어를 사용하며, 랭체인(LangChain)과 랭스미스(LangSmith)는 RAG 파이프라인과 에이전트 구축을 간소화한다.
 

6단계 : 모델 미세 조정

대규모 언어 모델(LLM) 미세 조정은 특정 작업에 맞게 모델의 매개변수를 조절하는 지도 학습 프로세스다. 미세 조정에서는 대상 작업과 관련된 예제로 레이블이 지정된 더 작은 작업별 데이터 집합을 사용해 모델을 학습시킨다. 미세 조정은 다수의 서버 수준 GPU를 사용하고 몇 시간 또는 며칠이 걸리며 수백 또는 수천 개의 태그가 지정된 예제가 필요하다. 확장 사전 학습에 비해서는 여전히 훨씬 더 빠르다.
 
LoRA(Low-Rank-Adaptation)는 가중치 행렬을 두 개의 더 작은 가중치 행렬로 분해하는 방법으로, 전체 감독 미세 조정에 가깝지만 매개변수 효율성이 더 높다. 마이크로소프트의 첫 LoRA 논문은 2021년에 발표됐다. 2023년에 나온 LoRA의 양자화된 변형인 QLoRA는 조정 프로세스에 필요한 GPU 메모리의 양을 줄였다. 일반적으로 LoRA와 QLoRA는 표준 미세 조정에 비해 태그가 지정된 예제의 수와 필요한 시간을 줄여준다.
 

7단계 : 지속적인 모델 사전 학습

사전 학습은 방대한 텍스트 데이터 집합에 대한 비지도 학습 프로세스로, LLM에 언어의 기본 사항을 가르치고 일반적인 기본 모델을 생성한다. 확장 또는 지속적인 사전 학습은 레이블이 지정되지 않은 도메인별 또는 작업별 데이터 집합을 이 기본 모델에 추가해서 예를 들어 언어를 추가하고 의학과 같은 전문 분야를 위한 용어를 추가하거나 코드 생성 기능을 추가하는 등 모델을 전문화한다. 지속적인 사전 학습(비지도 학습 사동) 뒤에는 보통 미세 조정(지도 학습 사용)이 실행된다.
 
머신러닝, 딥러닝, 대규모 언어 모델과 관련된 모든 것이 그렇듯이 생성형 AI 개발 프로세스 역시 많은 경우 예고도 없이 변경될 수 있다. 그럼에도 불구하고 대부분의 기업은 여전히 지금의 프로세스를 달성하고자 한다. 이제 여러분에게 조직을 위해 변화를 이끌 동력이 아마 생겼을 것이다.

https://www.itworld.co.kr/numbers/82001/338846

아태지역 AI 시장에서 생성형 AI의 비중이 더 커질 것이라는 전망이 나왔다. 중국이 앞서가는 가운데 일본과 인도 시장이 빠르게 성장하리라는 분석이다.

30일 시장조사업체 한국IDC가 ‘전 세계 AI 및 생성형 AI 지출 가이드’ 보고서를 발표했다. 중국과 일본을 포함한 아시아 태평양 지역의 AI 시장을 조사했다. AI 기반 시스템을 위한 소프트웨어, 서비스, 하드웨어를 포함한다. 보고서에 따르면, 아태 지역 생성형 AI 지출은 연 평균 95.4% 성장해 2027년에는 260억 달러 규모가 될 전망이다. 생성형 AI의 비중은 더 커진다. 생성형 AI는 2024년 전체 AI 시장의 15%를 차지하지만, 2027년에는 29%까지 늘어날 것으로 업체는 예상했다.
 

IDC 아태지역에서 빅데이터 및 AI 리서치 헤드 디피카 기리는 "아시아 태평양 지역에서 생성형 AI의 도입이 급증하며 향후 2년 이내에 투자가 정점에 도달한 후 안정화 기간을 거칠 것으로 예상된다. 중국은 생성형 AI 기술 관련 지배 시장 위치를 유지할 것이며, 일본과 인도는 향후 몇 년 동안 가장 빠르게 성장하는 시장이 될 것이다"라고 말했다.

산업별로 보면, 금융, 소프트웨어 및 IT, 정부, 리테일, 내구재 등의 부문에서 성장이 두드러진다. 금융 서비스 산업의 AI 지출은 2027년까지 연평균 96.7%씩 성장해 43억 달러 규모를 형성할 전망이다. 사내 운영 효율성 개선, 반복 작업 자동화, 사기 탐지 및 복잡한 문서 작성과 같은 백오피스 프로세스 최적화에 생성형 AI를 주로 활용하는 추세라고 보고서는 분석했다.
 

소프트웨어 및 IT 산업은 마케팅, 데이터 분석, 소프트웨어 개발 등 다양한 분야에서 생성형 AI를 활용한다. 생성형 AI는 콘텐츠 제작을 간소화하여 마케팅 전략을 최적화하고 오디언스 참여를 극대화하며, 소프트웨어 개발 분야에서는 코딩 작업을 자동화하고 프로토타입을 생성해 개발자의 생산성과 효율성을 높이는 데 기여하는 것으로 나타났다.

정부 부문에서는 생성형 AI 기술 교육과 훈련을 발전시켜 새로운 일자리를 창출하고 기술 혁신 허브의 성장을 촉진하는 데 활용하고, 리테일 산업에서는 개인 맞춤화 경험 제공을 위해 AI 기술을 활용하는 것으로 보고서는 분석했다.

책임감 있는 AI, 일명 RAI(Responsible AI)에 대한 관심이 더욱 높아지고 있다. RAI는 신뢰와 도입부터 LLM 환각 관리, 유해한 생성형 AI 콘텐츠 제거에 이르기까지 모든 것을 추진하는 핵심 요소다. 효과적인 RAI로 기업은 더 빠르게 혁신하고, 비즈니스를 더 개선하고, 미래의 AI 규정을 준수하고, 평판이 손상되거나 규제를 어기는 일 없이 계속 경쟁에 참여할 수 있다.

안타깝게도 RAI가 실제로 무엇인지, 무엇을 제공하는지, 어떻게 달성할 수 있는지에 대한 혼란이 있다. 치명적인 결과를 초래할 수 있는 문제다. 그러나 RAI 이니셔티브가 제대로 수행되지 않으면 혁신이 방해받고 지연과 비용이 추가된다. RAI의 정의와 목적에 대한 좋은 해석도 있지만 잘못된 통념과 오해도 만연해 있다. 기업은 RAI는 비용이 많이 들고 비효율적이며 시간 낭비라는 잘못된 통념을 깨뜨리고 AI에 기반해 가치를 창출하는 원동력으로 전환해야 한다.

RAI에 대한 오해 중 가장 문제적인 것은 무엇일까? 그리고 지속 가능한 이니셔티브를 추진하기 위해 RAI를 가장 잘 정의하려면 어떻게 해야 할까?

잘못된 통념 1 : RAI는 원칙론일 뿐

어느 거대 IT 기업에서나 설명 가능성, 공정성, 개인정보 보호, 포용성, 투명성과 같은 RAI 원칙을 찾아볼 수 있 수 있다. 이렇게 널리 퍼진 여러 원칙이 있으니 RAI의 중심에 원칙이 있다고 해도 문제가 없을 것이다. 이런 기본적인 기업 원칙은 책임감 있는 개인에게 기대하는 것과 정확히 같은 종류이므로 책임감 있는 AI 보장에 핵심이 된다고 하면 맞는 말일까?

아니, 틀렸다. 모든 기업에는 이미 원칙이 있다. 일반적으로 기업 원칙은 RAI와 정확히 동일할 것이다. 공정, 투명성, 포용에 반대한다고 밝힐 기업이 있을까? 만약 그런 기업이 있다고 해도, AI에는 투명성을 적용하고 기업의 나머지에는 투명성을 적용하지 않을 수가 있을까?

또한 원칙은 AI에 대한 신뢰를 불러일으키는 것보다 사람과 기업에 대한 신뢰를 끌어내는 데에 훨씬 효과적이다. 항공사의 비행기가 목적지까지 안전하게 데려다 줄 것이라고 믿는 이유가 그 회사가 원칙을 지키기 때문인지 생각해 보자. 아니, 엄격하게 시행되는 프로세스를 따르고, 신중하게 테스트하고 정기적으로 검사한 장비를 사용하는 숙련된 조종사, 기술자, 항공 교통 관제사가 있어서 신뢰하는 것이다.

비행기 여행과 마찬가지로 RAI의 핵심은 원칙을 실현하고 시행하는 사람, 프로세스, 기술이다. 독자 모두 이미 올바른 원칙을 정해두었을 것이다. 문제는 실행이다.
 

잘못된 통념 2 : RAI는 윤리와 관계가 있다

RAI는 AI를 윤리적으로 사용하고, 모델이 공정하게 작동하도록, 새로운 차별이 생겨나지 않도록 하는 지침일 뿐이라고 생각한다면 틀렸다.

신용 평가에 사용되거나 이력서를 심사하거나 실직 여부를 결정하는 모델 등 실제로 윤리나 공정성을 고려하는 AI 사용례는 극히 일부일 뿐이다. 당연히 이러한 사용례를 책임감 있게 처리하는 것도 RAI의 목적이지만, 다른 모든 AI 솔루션의 안전과 안정적 개발 및 사용, 또 기업의 성능 및 재무 요구 사항 충족도 RAI가 필요한 부문이다.

설명 가능성을 제공하고, 편향성을 확인하고, 개인정보 보호를 보장하는 데 사용하는 도구는 정확성, 신뢰성 및 데이터 보호를 보장하는 데 사용하는 도구와 정확히 같다. RAI는 공정성을 고려해야 할 때 AI를 윤리적으로 사용하는 데 도움이 되지만, 다른 모든 AI 사용례에서도 마찬가지로 중요하다.
 

잘못된 통념 3 : RAI를 알려면 설명 가능성부터 알아야 한다

AI를 신뢰하고 책임감 있게 사용하기 위해서는 설명 가능성, 즉 해석 가능성이 필요하다는 것이 일반적인 생각이지만, 사실은 아니다. 비행기 여행에 안심하기 위해서 비행기의 작동 원리를 알아야 할 필요가 없듯, AI를 신뢰하기 위해 설명 가능성을 꼭 이해할 필요는 없다.

인간의 결정이 좋은 예다. 인간은 거의 대부분 자신의 결정 이유를 설명할 수 있지만, 사실 설명은 의사 결정 행동의 실제 동인과는 거의 관련이 없는, 사후에 지어낸 이야기라는 증거가 많다.

그러나 쉽게 이해할 수 있는 '화이트박스' 모델과 LIME 및 ShAP과 같은 방법을 사용하는 AI 설명 가능성은 모델이 올바르게 작동하는지 테스트하는 데 중요하다. 잘못된 상관관계와 잠재적인 불공정한 차별을 식별하는 데 도움이 되기 때문이다. 패턴을 쉽게 감지하고 설명할 수 있는 간단한 사용례에서는 신뢰도를 높이는 지름길이 될 수 있다. 그러나 패턴이 충분히 복잡한 경우에는 어떤 설명도 기껏해야 어떤 결정이 어떻게 내려졌는지에 대한 암시만 제공할 뿐이며, 최악의 경우 완전한 중언부언이나 횡설수설에 지나지 않을 것이다.

즉, 요컨대, 설명 가능성은 있으면 좋지만, 이해관계자와의 신뢰를 의미 있게 이끌어내는 방식으로 제공하는 것은 불가능할 때가 많다. RAI는 모든 AI 사용례에 대한 신뢰를 보장하는 것으로, 이는 개발 및 운영에 사용되는 사람, 프로세스, 기술(특히 플랫폼)을 통해 신뢰를 제공하는 것을 의미한다.
 

책임감 있는 AI는 곧 위험 관리

결국 RAI는 AI 및 머신러닝 모델을 개발하고 사용할 때 위험을 관리하는 관행이다. 여기에는 비즈니스 위험(성능 저하 또는 신뢰할 수 없는 모델 등), 법적 위험(규제 벌금, 고객사나 또는 직원 소송 등), 심지어 사회적 위험(차별이나 환경 피해 등)까지 관리해야 한다.

이러한 위험은 사람, 프로세스, 기술의 형태로 RAI 역량을 구축하는 다층적 전략을 통해 관리된다. 사람 측면에서는 RAI를 책임지는 리더(예: 최고 데이터 분석 책임자, 최고 AI 책임자, 데이터 과학 책임자, ML 부사장)의 역량을 강화하고 실무자와 사용자가 책임감 있게 AI를 개발, 관리, 사용할 수 있도록 교육해야 한다.

프로세스 측면에서는 데이터 액세스 및 모델 학습에서 모델 배포, 모니터링 및 재학습에 이르는 엔드투엔드 수명 주기를 관리하고 통제해야 한다. 기술 측면에서 특히 중요한 것은 측면에서 플랫폼은 대규모로 사람과 프로세스를 지원하고 활성화하는 플랫폼이다. 플랫폼은 설명 가능성, 편향성 감지, 편향성 완화, 공정성 평가, 드리프트 모니터링 등 RAI 방법에 대한 액세스를 민주화하고, AI 아티팩트 거버넌스, 계보 추적, 문서 자동화, 승인 워크플로 조율, 데이터 보안은 물론 RAI 프로세스를 간소화하는 수많은 기능을 제공한다.

제약, 금융 서비스, 보험 등 규제가 심한 산업의 고급 AI 팀이 이미 이러한 기능을 구축하여 가치 창출에 나서고 있다. 이들 선도 업체는 빠른 구현, 더 큰 채택, 더 나은 성능, 향상된 안정성 등의 이점을 통해 모든 AI, 특히 생성형 AI에 대한 신뢰를 대규모로 구축하고 있다. AI 규제 마련에 대비하여 AI 이니셔티브를 미래에 대비할 뿐 아니라 무엇보다도 모든 사용자를 더 안전하게 만드는 데에도 유용하다. 책임감 있는 AI는 대규모의 AI 가치를 실현하는 열쇠지만, 그러려면 먼저 잘못된 통념을 깨야 한다.

https://www.itworld.co.kr/news/335878

새로운 최고 AI 책임자를 고용해야 할 정도로 생성형 AI가 중요할까? 코파일럿 키를 내장한 키보드를 구입해야 할까? 부풀려진 기대와 투자로 속에서 기업들은 생성형 AI에 대해 어느 정도의 성과를 거두고 있을까?

생성형 AI는 종전 일회성 머신러닝(ML) 모델에서 벗어날 가능성을 제시한다. 다양한 분야에서 활용될 수 AI 도구의 가능성이다. 그러나 모든 낙관적인 전망에는 함정이 있기 마련이다. 

여러 연구에 따르면 많은 사람들이 이미 정기적으로 생성형 AI 도구를 사용하고 있다. 최근 페이지듀티의 연구에 따르면 포춘 1000대 기업 중 98%가 생성형 AI를 실험하고 있다. 하지만 동시에 많은 조직이 생성형 AI에 대해 신중한 접근 방식을 취하고 있는 것으로 보인다. 예를 들어, 파운드리의 2023 AI 우선순위 연구에 참여한 IT 의사결정권자 중 4분의 1이 생성형 AI 기술을 시험적으로 사용하고 있다고 응답했지만, 이중 배포 단계로 나아간 비율은 20%에 불과했다. 

CCS 인사이트의 직원 기술 및 업무 환경 혁신 설문조사에 참여한 고위급 리더들의 응답도 비슷했다. 2023년 말을 기준으로 18%는 이미 전체 직원에게 생성형 AI를 배포했고 22%는 배포할 준비가 되었다고 답했다. CCS 인사이트의 엔터프라이즈 리서치 디렉터 볼라 로티비는 "단 올해 중 생성형 AI의 현실 활용을 기대하는 조직이 많다”라고 말했다. 

또 인텔의 2023년 ML 인사이더 설문조사에 참여한 AI 전문가와 같은 IT 팀들의 응답에 따르면, 2023년에 차세대 AI 솔루션을 비즈니스 현장에 도입한 조직은 10%에 불과했다.

현장 배포에 대한 준비
생성형 AI 투자, 파일럿 및 계획을 가진 기업은 많지만, 생산성 향상이나 ROI의 구체적인 내용에 대해 이야기하는 조직은 상대적으로 적다. 예를 들어 골드만삭스, IHG, 메르세데스 벤츠와 같은 많은 구글 고객사들은 최근 구글 클라우드 넥스트 컨퍼런스에서 제미니 생성형 AI 도구를 사용한 사례에 대해 발표했지만, 대개 배포가 아닌 파일럿 단계의 것들이었다.

물론 단순한 실험 수준을 넘어선 파일럿일 수 있다. 맥킨지에 따르면 산업 디자인 팀이 LLM 기반의 연구 요약 기능과 AI 이미지 생성 기능을 사용하는 경우 제품 개발 주기를 70% 이상 단축할 수 있다. 그러나 이러한 디자인 팀이 현실적으로 제조할 수 있는 제품을 만들기 위해서는 평가 및 수정 작업을 추가적으로 해야 한다. 또 정책을 설정하고 직원을 교육해야 한다. 

화장품 기업 에스티 로더는 고객 인사이트, 행동 연구 및 시장 동향에 대해 내부 챗봇 훈련과 같은 파일럿 프로젝트를 적용했다. 그러나 이러한 가치를 현실화하는 방법은 여전히 연구 단계에 있다. 

현실적인 가치를 이미 얻고 있다는 기업도 있다. 마이크로소프트는 자사 직원들이 마이크로소프트 365용 코파일럿을 비롯한 생성형 AI 도구를 통해 상당한 가치를 얻고 있다고 주장한다. 회사의 최신 업무 및 비즈니스 애플리케이션 부문 CVP인 제라드 스파타로는 "수준급 사용자들은 한 달에 10시간 이상을 절약하고 있다"라며, 사용자의 70%는 생산성이 향상되어 최대 1/3까지 더 빠르게 작업할 수 있다고 전했다.

그러나 포레스터의 수석 분석가인 JP 가운더는 한 달에 5시간 정도의 절약이 일반적이라며, 또 다른 문제는 조직 전체에의 확장 문제라고 말했다. 그는 이어 지금까지 코파일럿 도입이 ‘포켓’에서 이루어지는 경향이 있다고 지적했다. 이는 마케팅 및 영업, 서비스 및 지원, 제품 개발 등의 일부 부서에서 대부분의 생성형 AI 배포가 이루어지고 있다는 맥킨지의 보고서와 일치한다.

해당 보고서에 따르면 설문조사에 참여한 통신사들은 낙관적인 가운데에서도 효과 범위를 제한하고 있었다. 대다수는 생성형 AI를 통해 비용을 절감하고 콜센터 상담원의 생산성이 향상되고 개인화된 콘텐츠를 통해 마케팅 전환율이 개선되었다고 답했으며, 두 모델 모두 몇 달이 아닌 몇 주 만에 배포되었다고 답했다. 그러나 고객 서비스나 매핑 네트워크 인프라 외에는 그 영향이 미미했다.

조직 전체로 확장
마이크로소프트의 초기 테스트 고객 중 일부는 이미 광범위한 배포 단계에 진입했다. 빠르게 마이크로소프트 365 코파일을 테스트한 글로벌 로펌 기업 클리포드 챈스는 현재 애저 오픈AI를 기반으로 구축한 맞춤형 AI 도구인 ‘클리포드 챈드 어시스트’를 전체 직원에게 배포하고 있다. 이 회사는 생성형 AI의 모든 법적 결과물을 자격을 갖춘 변호사가 명확하게 확인하고 분류한다며, 주요 이점은 실시간 기록, 회의 요약, 회의에서 암묵적으로 약속하고 합의한 작업 등 지식 근로자의 생산성 향상이라고 전했다.

가운더는 “생산성을 높이고 시간을 절약하며 훌륭한 인간 비서가 될 수 있는 놀라운 기술이다. 그러나 지난 40년 동안 컴퓨팅 분야에서 출시되어 온 도구와는 다른 성격을 지닌다. 성공을 위해 알아야 할 특징들이 있다”라고 말했다. 그는 조직의 AI 지수를 평가하기 위한 몇 가지 질문을 다음과 같이 제시했다.

- AI와 프롬프트 엔지니어링의 작동 방식에 대한 기본적인 이해가 있는가?
- 교육을 받은 적이 있는가?
- 이러한 것들을 배울 수 있다는 자신감이 있는가?
- 참여하고 싶은 동기가 있는가?
- 무엇이 잘못될 수 있고 어떻게 윤리적 사용자가 될 수 있는지 알고 있는?

또 다른 문제는 직원들이 생성형 AI 도구를 워크플로우의 일부로 활용하도록 하는 것이다. "코파일럿에 대해 매우 낙관적이며 호의적인 이들이 있다. 하지만 사용자의 절반은 도구를 사용하지 않는다. 이는 교육에 대한 투자가 부족하기 때문일 수 있다”라고 그는 말했다.

그에 따르면 마이크로소프트 365용 코파일럿을 검토하는 거의 모든 주요 기업은 1시간 정도의 직원 교육만 계획한다면서, 10시간 정도가 적정 수치라고 제안했다. 가운더는 "이것은 핵심 기술이며, 교육에 투자하지 않으면 손해를 볼 수 있기 때문에 교육에 투자해야 한다"라고 말했다. 

현실 성공 사례
문서 엔지니어링과 같은 일부 분야에서는 이미 구체적인 생성형 AI 성공 사례가 나타나고 있다. 일례로 도큐가미(Docugami)는 문서 생성 및 데이터 추출에 사용할 수 있는 맞춤형 소형 언어 모델을 통해 고객의 복잡한 문서로부터 지식 그래프를 구축해 성과를 거두고 있다. 

회사의 진 파올리 CEO는 특히 보험 분야의 기업들이 가치 평가서, 보험 증서, 갱신 날짜, 위약금 및 책임이 포함된 보험 문서를 위해 도큐가미의 솔루션을 채택해왔다고 전했다. 과거에는 개별 고객과 전체 포트폴리오의 위험을 설명하는 중요한 정보를 반영해 새로운 견적을 생성하거나 재보험사에게 포트폴리오를 설명하는 작업이 수동으로 이뤄졌다는 설명이다. "이러한 시나리오는 몇 백 달러가 아니라 수백만 달러를 절약할 수 있는 실제 시나리오다"라고 파올리는 말했다.

회사의 앨런 예이츠 최고 비즈니스책임자는 또 생명과학 분야의 한 고객 기업의 경우 임상시험 문서화, 규정 준수 및 데이터 탐색을 위해 도큐가미의 플랫폼을 사용하고 있다면서, "이전에는 이 작업을 수행하는 데 6개월이 걸렸지만 지금은 1주일이면 충분하다”라고 말했다. 

생성형 AI를 본격적으로 활용하는 또 다른 분야로는 소프트웨어 개발이 있다. 하지만 초기에는 생산성 향상 효과가 낮을 수 있다. 시스코가 6,000명의 자사 개발자에게 깃허브 코파일럿을 배포했을 때, 생성된 코드를 수락한 비율은 19%에 불과했다. 지금은 코드 제안의 거의 절반이 받아들여지고 있다. 

한편 전문 지식이 부족한 시민 개발자가 로우 코드 플랫폼을 사용하는 경우 AI로 인한 이득이 훨씬 더 클 수 있다. 디지털 보험 에이전시인 N슈어닷컴은 자동화 흐름을 자연어로 설명할 수 있도록 함으로써 큰 성과를 거뒀다. 생성 및 구성하는 데 4시간이 걸리던 워크플로우가 파워 오토메이트용 코파일럿을 사용해 40분 만에 처리할 수 있게 됐다. 

또한 PG&E는 파워 플랫폼의 로우코드 코파일러스 스튜디오 생성형 AI 도구로 페기(Peggy)라는 IT 헬프데스크 챗봇을 구축해 직원 요청의 25~40%를 처리함으로써 연간 110만 달러 이상을 절감했다고 마이크로소프트 코파일럿 책임자 노아 게신은 전했다. 그에 따르면 페기가 직원들에게 SAP에 대한 액세스 권한을 잠금 해제하는 과정을 안내함으로써 헬프데스크 팀에서만 연간 840시간을 절약할 수 있었다. 

총 비용에 유의
주문형 생성형 AI 도구의 관련 비용을 정확하게 예측하기는 어렵기 때문에 배포를 주저할 수 있다. 개별 생성형 AI 서비스 비용을 저렴할지라도 전사적 배포에서는 큰 비용이 될 수 있기 때문이다.

링크드인의 수석 소프트웨어 엔지니어인 후안 보타로는 "외부 공급업체를 이용하든 내부에서 개발하든, 생성형 AI에서 가장 먼저 고려해야 할 사항은 비용”이라고 강조했다. 그의 팀은 최근 프리미엄 사용자를 대상으로 채용 공고에 적합한지, 어떤 기술이나 자격을 갖추면 채용 가능성을 높일 수 있는지 제안하는 새로운 생성형 AI 기능을 출시했다.

그는 "더 빠르게 움직이고 싶었지만, 사용 가능한 용량과 GPU가 충분하지 않아서 기다리기로 결정했다"라고 말했다. 새 워크플로우의 비용을 예측하기는 어렵고, 사람들의 상호 작용 방식이 매우 다르기에 사용량에 대한 가정을 확신할 수 없었기 때문이다. 대신 소수의 사용자에게 배포하고 그들의 행동을 통해 추론하기로 했다고 그는 덧붙였다.

보타로는 이어 "우리는 한두 달 만에 현재 프리미엄 경험에서 볼 수 있는 것과 매우 유사한 것을 만들 수 있었다"라고 전했다. 

CCS 인사이트의 로티비는 생성형 AI 파일럿의 경우 다른 클라우드 서비스와 마찬가지로 API 관리 게이트웨이를 통해 클라우드 AI 서비스에 대한 쿼터 및 아웃바운드 요청 속도 제한을 고려할 수 있다고 설명했다. 그에 따르면 대다수 기업은 생성형 AI의 사용을 특정 역할, 개인 또는 팀으로 제한할 계획이며, 이는 비용 문제 때문인 경우가 많다. "조직 전체에 적용하기에는 너무 비쌀 수 있다"라고 그는 말했다.

무엇을 ‘측정’할 것인가
가우더는 자체 보고된 생산성이 생성형 AI 성공을 측정하는 최선의 방법은 아니며, 배포에 따라 중요한 지표가 달라질 수도 있다고 지적했다. 그는 "티어 1 지원 전체를 생성형 AI에 맡기고 정말 좋은 자연어를 보유하고 있다면 성공률이 높아질 것이다. 하지만 인간의 경험은 다른 문제다. 통화 시간보다는 고객 만족도에 대한 측정 지표가 더 중요할 수 있다"라고 말했다.

또 인공지능 결과의 품질과 정확도를 측정하기란 까다로울 수 있다. 동일한 입력을 해도 매번 다른 결과가 나올 가능성이 높기 때문에 더 어려워진다. 때로는 평가를 위한 벤치마크를 만들어야 한다. 보타로는 “어떤 것이 옳은지 그른지를 정의하는 것은 매우 주관적이고 측정하기 어렵다"라고 말했다.

그의 팀은 도구를 평가하기 위해 좋은 응답이 어떤 모습인지에 대한 공유 지침을 만들었다. 마이크로소프트도 코파일럿 포 애저를 지원하는 애스크 런 API에 대해 답변 품질을 테스트할 근거 데이터와 메트릭을 나타내는 참조 데이터로 구성된 '황금 데이터 세트'를 구축한 바 있다.

가우더는 ROI 입증해야 한다는 압박감이 있지만 대다수 기업이 아직은 그 단계에 이르지 못했다고 경고했다. 영업용 코파일럿의 경우 전환율, 거래 흐름 또는 통화 해결까지의 평균 시간 개선을 참고할 수 있기는 하지만, 변수가 너무 많은 상황에서 직접적인 인과 관계를 가정하는 것은 주의해야 한다고 그는 덧붙였다.

아울러 정량화할 수 없는 이점도 TCO 측면에서 가치가 있을 수 있음을 감안해야 한다. 가우더는 "코파일럿을 제공함으로써 시간을 절약할 수 있을 뿐만 아니라 지루한 업무를 덜어준다고 가정해 보라. 이는 직원 경험 개선으로 이어질 수 있다. 직원 경험 혜택은 이직률을 낮추고 직원들의 동기 부여와 참여도를 높이는 경향이 있다"라고 말했다.

한편 보타로는 생성형 AI와 LLM에 대한 열망이 상황을 복잡하게 만든다고 말했다. "구축이 결정된 상황에서 가치를 측정하는 방법을 찾으려는 접근법이 흔하다. 이는 잘못된 접근 방식이다”라며, 일부 사용 사례에서는 기존 AI로도 충분할 수 있다는 가능성을 열어두라고 제안했다.

생성형 AI 실패 막으려면…
생성형 AI를 도입하는 것이 적절한지, 사용자가 부정확한 답변을 반박할 수 없는 진실로 받아들이는 것을 막는 방법은 무엇인지, 학습 세트에 저작권과 부적절한 자료가 포함되지는 않는 지와 같은 질문을 진지하게 검토해야 한다.

보고된 생성형 AI 실패 사례 다수는 모델 자체의 내재적 문제보다는 경계를 넘나드는 사용자의 무책임한 행동이나 조직이 충분한 AI 기반 보호 도구를 마련하지 않은 것에서 비롯된 경우가 많다. 딥페이크나 단순한 디지털 위조, 학습에 사용된 데이터의 저작권과 관련된 잠재적인 법적 위험, 민감한 데이터나 기밀 데이터에 생성형 AI를 사용할 때 규정 준수에 대한 문제 등이 생성형 AI와 관련된 주요 우려 요소로 손꼽힌다. 

아울러 클라우드 생성형 AI 서비스의 경우, 모든 클라우드 모델과 마찬가지로 공동 책임이라는 개념을 수용해야 한다. AI 제공업체는 안전하게 사용할 수 있는 모델과 서비스를 제공해야 하지만, AI 서비스를 채택하는 조직은 모델 카드와 투명성 노트를 읽고 사용 방식을 적절히 제한하고 있는지 테스트해야 한다.

가운더는 "일부 조직은 챗봇을 지나치게 확장하고 일관성 없는 답변을 제공하고 있음을 뒤늦게 깨닫는다”라며, "그렇다고 포기해야 한다는 말은 아니다. 고객에게 출시하기 전에 프로젝트를 철회하고 오프라인에서 반복 작업을 시도할 수 있다"라고 말했다.

한편 생성형 AI에 대한 조직의 성숙도는 일반적으로 기존 AI의 성숙도를 뒤따르는 경향이 있다. 가운더는 "예측 AI, 컴퓨터 비전, 머신러닝에 더 많은 투자를 해온 기업들에서 성공 비율이 높다. 자체 AI 도구를 구축하는 기업들은 여러 기술을 사용하고 있으며, 생성형 AI를 하나의 요소로 취급한다”라고 말했다. 

보타로 또한 생성형 AI에 대한 과대광고를 극복하는 방법으로 이를 또 하나의 도구로 보는 것이라고 말했다.

https://www.ciokorea.com/news/335605

https://www.itworld.co.kr/news/334072

2024년에 피할 수 없는 유행어가 있다면 아마도 "이스라엘", "선거", "머스크"일 것이다. 하지만 IT 산업으로 범위를 좁혀 하나만 꼽으라면 바로 AI이다. 암호화폐 열풍과 그 후의 폭락이 연상될 정도로, AI에 대한 높은 관심을 이용해 많은 사업이 진행되고 있다. 물론, 모두가 열풍에 올라타고 폭락은 피하고 싶을 것이다.

여기서 ‘모두’는 거의 모든 IT 업체를 말한다. 오픈AI가 이 골드러시의 중심에 있고 엔비디아가 금광을 필요한 디지털 삽을 팔고 있지만, 더 전통적인 IT 업체 역시 손 놓고 보고만 있는 것은 아니다. 유행어가 늘 그렇듯, 모든 새 PC가 'AI PC'라는 말로 빠르게 희석되고 있으며, 실제 사용자에게는 아무 의미가 없는 용어가 됐다.
 

ⓒ Microsoft
그러나 "AI"가 의미하는 생성형 AI 툴에 대해서는 일반적으로 두 가지 접근 방식이 있는 것 같다. 하나는 마이크로소프트 코파일럿처럼 챗GPT의 인기에 올라타는 것이고, 다른 하나는 구글 제미나이 시스템이나 애플의 곧 출시될 생성형 AI처럼 차세대 스타를 기대하며 새로운 AI를 내놓는 것이다.
 

어디에나 있는 AI 버튼

암호 화폐 열풍과 달리 생성형 AI는 기술을 이해하지 못해도 누구나 사용할 수 있다. 예를 들어, 몇 번의 키 입력만으로 새로운 폴아웃 TV 쇼를 풍자하는 시를 지을 수도 있다. 아주 뛰어난 시가 나오지는 않겠지만, 느린 인간의 두뇌로 몇십 분이 걸려 대사를 만드는 대신 컴퓨터가 몇 초 만에 대신 생각해 주는 것을 선호하는 이유는 누구나 알 수 있다. 그 매력은 부인할 수 없는 것이다. 
 

삼성 갤럭시 북4 울트라 코파일럿 키. 올해 모든 신형 노트북에는 마이크로소프트의 챗GPT 인터페이스로 바로 이동할 수 있는 코파일럿 버튼이 제공될 예정이다. ⓒ Mark Hachman / IDG
그래서인지 이들 업체는 물리 인터페이스와 디지털 인터페이스 모두에서 AI를 전면에 내세우려고 안간힘을 쓰고 있다. 마이크로소프트는 모든 새로운 윈도우 노트북에 전용 코파일럿 키를 제공해 사용자가 작업 표시줄의 아이콘을 클릭하는 것보다 훨씬 더 즉각적인 방식으로 챗GPT 인터페이스와 상호 작용할 수 있도록 하고 있다. 구글은 안드로이드의 독보적인 기능 중 하나인 어시스턴트를 제미나이로 대체하고 있다.

틈새 제품도 늘어나고 있다. 초기 리뷰에서 호평을 받고 있는 휴매닉 Ai 핀이 대표적이다. AI 기반 삼성 냉장고는 말할 것도 없고, AI 기반 아기 울음소리 번역기가 얼마나 뛰어난 성능을 보여줄지도 지켜볼 일이다.
 

휴메인 AI 핀 ⓒ Humane
AI 열풍에서 얻을 것이 별로 없어 보이는 로지텍도 이 흐름에 뛰어들었다. 로지텍 M750 마우스의 시그니처 AI 에디션에는 짧은 생성형 AI 작업에 초점을 맞춘 또 다른 버전의 챗GPT를 소환하는 전용 버튼이 있다. 이 기능은 이제 로지 옵션+(Logi Options+)에 내장되는데, 이는 로지텍의 마우스와 키보드 대부분에서 동일한 기능이 제공된다는 뜻이다. 다른 로지텍 제품의 다음 버전에도 전용 AI 버튼이 등장할 것으로 예상되는데, 어쩌면 로지텍이 새로운 MX 마스터 마우스를 출시하는 이유가 될지도 모른다.
 

로지텍 시그니처 AI 에디션 마우스. 로지텍의 최신 마우스에는 챗GPT를 사용하기 위한 또 다른 인터페이스를 띄우는 전용 AI 버튼이 있다. ⓒ Logitech
처음 보는 광경처럼 느껴질지 모르지만, 이전에도 비슷한 경험이 많았다. 슈퍼볼 광고에서 맷 데이먼이 비트코인을 사지 않으면 겁쟁이라고 했던 기억을 말하는 것이 아니다. 마이크로소프트가 마우스에 윈도우 버튼이 있으면 좋겠다고 하던 시절을 말하는 것도 아니다. 새로운 아이디어가 하룻밤 사이에 디지털 생활의 모든 측면으로 확산되는 경우는 많았다. 방금 오싹함을 느꼈다면 코타나의 유령이 어깨에 올라타고 있는 것일 수도 있다. 
 

이미 들어 본 노래

구글이 어시스턴트로 성공을 거두고 애플이 시리로 기반을 확보하자 모든 업체가 자체 음성 챗봇을 원했다. 아마존에는 알렉사, 마이크로소프트에는 코타나, 심지어 삼성에도 당황스러운 이름의 "빅스비"가 있다. 그리고 이들 챗봇은 디지털 인터페이스와 물리 인터페이스 모두에서 동일한 방식으로 추진됐다. 

삼성은 수억 대의 안드로이드 휴대폰에 빅스비 전용 버튼을 제공했다. 당시 안드로이드 정보 사이트에서 일했던 사람으로서 '빅스비 버튼 변경 방법' 검색으로 벌어들인 모든 수익에 대해 감사의 말을 전하고 싶다. 애플은 아이폰의 홈 버튼에 시리를 배치했고, 마이크로소프트는 악명 높은 윈도우 10 작업 표시줄에 코타나를 붙였다. 

친숙한 이야기일지도 모른다. 코타나는 윈도우의 첫 부팅 인터페이스에서도 목소리로 사용자에게 바로 말을 걸어 클리피의 그림자를 보여줬다. 일부 제조업체는 노트북 키보드에 코타나 전용 버튼을 넣거나 특정 트랙패드 제스처로 코타나를 활성화하는 등 마이크로소프트에 빠져들기도 했다. 

시리는 존재감은 달라졌지만 여전히 건재하다. 어시스턴트는 불만이 없는 것은 아니지만, 제미나이로 변신하고 있다. 알렉사 역시 여전히 살아 있지만, 아마존은 알렉사로 수익을 창출하는 방법을 아직 모른다. 그리고 빅스비는 삼성 소프트웨어 개발팀의 깊은 곳에서 AI 기반 비서가 되기 위해 부활한 것으로 보인다.

잘 알려진 것처럼, 코타나는 이미 마지막이 예정되어 있다. 마이크로소프트의 막대한 시간과 비용, 그리고 적지 않은 사용자 불만이 실제 제품보다 농담으로 더 많이 기억되는 무언가에 허비됐다. 그리고 코타나에서 가장 기억에 남는 것은 마이크로소프트가 오랫동안 코타나를 사용자에게 밀어붙였던 방식이다.
 

ⓒ Logitech
필자는 코파일럿이나 챗GPT와 같은 생성형 텍스트 도구를 부정적으로 생각하는 경향이 있다. 매우 현실적이고 본능적인 방식으로 배열을 취하고 있으며, 생성형 텍스트를 읽는 것은 마치 누군가가 크레용으로 TPS 보고서를 작성하는 것처럼 느껴지기 때문이다. 하지만 비교적 간단한 작업에서 엄청난 시간을 절약할 수 있다는 사실만으로도 많은 사용자가 왜 이 툴을 유용하게 생각하는지 알 수 있다. 필자가 판단할 일은 아니지만, 숙제를 커닝하는 것도 여기에 속할 것이다.

하지만 화면과 전용 버튼 등 인터페이스에 AI 툴을 마구 배치하는 것은 사용자의 불만을 야기하는 가장 빠른 방법이다. 아무도 마우스에 윈도우 버튼을 원하지 않았고, 아무도 와이파이 네트워크에 로그인하기 위해 코타나에게 말을 걸고 싶지 않았으며, 아무도 스마트 글래스로 사진을 찍으라고 챗GPT에게 요청하고 싶어 하지 않았다. 

생성형 AI는 기업과 일반 소비자 모두에게 흥미로운 툴이 될 수 있다. 아니면 구글 검색엔진이 걸러낼 방법을 찾아야 하는 쓰레기 텍스트로 웹을 가득 채울 반짝 유행일 수도 있다. 하지만 미래가 어떻게 되든 사용자에게 억지로 강요하는 것보다 더 빨리 싫증을 느끼게 하는 방법은 없다. 과거의 실수를 되풀이하지 말라는 코타나의 경고에 귀를 기울이기 바란다.

https://www.itworld.co.kr/news/334128

자율주행 로봇 서비스 기업 뉴빌리티가 미국 통합 보안 서비스 기업 사우스 플로리다 시큐리티 그룹(South Florida Security Group; 이하 SFS그룹)과 손잡고 순찰로봇 서비스의 현지화를 위해 협력한다고 19일 밝혔다. 

양사는 SFS Group이 보안 서비스를 제공하는 미국 플로리다 내 커뮤니티를 중심으로 로봇을 활용한 혁신적인 보안 서비스를 검토하기 위해 최근 PoC(사업 검증) 공동 수행을 위한 계약을 체결했다. 특히, 뉴빌리티는 이번 협력을 시작으로 북미 시장 공략을 본격화해 나갈 계획이다. 
 

마이애미 주택단지를 순찰하는 뉴빌리티 순찰로봇 ⓒ neubility 
4월 8일부터 세 달간 진행되는 이번 서비스는 플로리다주 마이애미에 위치한 1,700세대가 거주하는 고급 주택단지 도랄 아일스 클럽하우스(Doral Isles Club House)에 뉴빌리티의 순찰로봇을 배치, 커뮤니티 내 보안과 안전 강화를 목표로 한다. 

서비스 기간에 뉴빌리티의 순찰로봇은 이동형 CCTV로서, 주야간 24시간 자율 순찰과 안전 점검을 수행한다. 광범위한 지역을 정밀하게 탐색할 수 있는 뉴빌리티 순찰로봇은 보안 감독의 사각지대 문제를 효과적으로 해소하고, 보안 담당자의 업무 부담을 낮출 수 있다. 뿐만 아니라, 관제 화면을 통해 여러 지역의 다중 모니터링과 이상 상황 발생 시 즉각적인 경고를 발신하는 음성 송출 기능을 지원함으로써 사고 탐지 및 대응 시간을 획기적으로 개선한다.
 

마이애미 주택단지를 순찰하는 뉴빌리티 순찰로봇 ⓒ neubility 
뉴빌리티의 이상민 대표는 "이번 기술 검증은 뉴빌리티가 북미 시장에 성공적으로 진입하는 데 있어 중대한 이정표가 될 것"이라며, "다양한 환경에서의 폭넓은 적용 가능성을 고려해 설계된 뉴빌리티 로봇이 이번 검증을 통해 가치를 입증할 것으로 확신한다"고 포부를 밝혔다. 

SFS 그룹 리고 페레즈회장은 "SFS그룹은 뉴빌리티와의 파트너십을 통해 혁신을 꾀하고 보안 업계를 선도할 계획”이라며, “보안 솔루션에 순찰로봇을 도입한 것은 고객에게 가장 혁신적이고도 효과적인 보안 조치를 제공하려는 SFS그룹의 미래 지향적인 접근 방식을 반영한 것"이라고 설명했다.

한편, 뉴빌리티는 국내에서 덕성여대, 강원대, 부경대 등 캠퍼스와 송도 센트럴파크에서 순찰로봇을 운영해 오며 다양한 위험 시나리오에 대응하는 순찰 기능 개발 및 고도화를 거쳐왔다. 지난 1월에는 CES 2024에서 전 세계에서 모인 업계 전문가, 투자자, 시장 관계자를 대상으로 자율주행 순찰로봇을 선보인 바 있다. 

문학/예술 업계 현직자의 AI에 대한 솔직한 이야기 || 시인 '하상욱' 초대석 2부

https://www.youtube.com/watch?v=rF8U-CdoTSY

‘굶주린 짐승’처럼 물·전기 퍼먹는 이것, 전세계 골머리

https://www.chosun.com/economy/tech_it/2024/03/07/Z7WTVPHCAVAMPA5NHMROJG2QPU/

인공지능(AI) 시대 필수 인프라로 꼽히는 데이터센터가 ‘굶주린 짐승’처럼 전기와 물을 먹어치우면서 각국 정부와 기업들이 골머리를 앓고 있습니다. 데이터센터에서 물과 전기 사용량을 줄이기 위해 당국이 규제 강도를 높이자 기업들은 기술 개발에 나서는 등 대책 마련에 분주합니다.

네이버 데이터센터 내 '서버룸'. 수많은 서버를 보관하는 공간 (네이버 제공) /뉴스1

최근 생성형 AI 열풍이 불면서 AI 학습과 서비스에 필요한 데이터센터가 세계 곳곳에서 건설되고 있습니다. 현재 8000개에 달하는 데이터센터가 운영 중입니다. 문제는 데이터센터에서 발생하는 열을 식히기 위해 엄청난 양의 물이 필요하다는 겁니다. 2022년 데이터센터 유지를 위해 마이크로소프트(MS)는 물 사용량을 전년보다 34%, 구글은 22% 늘렸습니다. 2027년에는 세계 데이터센터 물 소비량이 영국의 한 해 물 소비량의 절반에 해당할 것이란 전망도 나왔습니다. 특히 AI 데이터센터는 일반 데이터센터보다 배 이상 전력을 소모하기 때문에 국가 전력망에도 큰 부담을 줍니다.

칠레 환경 법원은 구글의 데이터센터 건설 허가를 일부 취소하며, 구글에 서버 냉각 시스템 변경을 요청했습니다. 아일랜드 더블린 시 당국은 지난해 신규 데이터센터 건설 프로젝트를 거부했고, 미국 버지니아주와 독일은 최근 주거 지역 인근에 데이터센터 허가를 제한하고 재생 에너지 사용과 폐열 재사용을 요구하고 있습니다. 극심한 가뭄을 겪고 있는 우루과이에서는 구글의 신규 데이터센터 건설을 두고 주민들이 거세게 반발하고 있습니다. 기업들은 전력 효율을 높일 시스템을 도입하고 물을 재사용하는 방식으로 대처하고 있습니다. 24시간 운영 가능한 소형 모듈 원자로(SMR)까지 대안으로 거론되고 있습니다.

산업통상자원부에 따르면 국내 데이터센터 전력 수요는 2022년 1762MW(메가와트)에서 2029년 4만9397MW로 폭증할 전망입니다. 한국도 몇 년 내에 데이터센터발 물 부족과 전력망 문제를 겪게 될 수도 있다는 뜻입니다. 각국의 사례를 반면교사 삼아 미리 대비해야 데이터센터가 한국의 AI 경쟁력을 발목 잡는 일을 막을 수 있을 것 같습니다.