LLM의 능력에 대한 인식 격차가 커지고 있다

LLM을 어설픈 챗봇으로 경험하는 대중과 대규모 작업을 맡기는 전문 사용자 사이에서 능력에 대한 인식 격차가 커지고 있으며, 활용 분야와 시스템 접근 수준에 따라 경험이 크게 달라짐

https://news.hada.io/topic?id=35202

LLM의 능력에 대한 인식 격차가 커지고 있다 | GeekNews

 

• LLM을 어설픈 챗봇으로 경험하는 대중과 대규모 작업을 맡기는 전문 사용자 사이에서 능력에 대한 인식 격차가 커지고 있으며, 활용 분야와 시스템 접근 수준에 따라 경험이 크게 달라짐
• Karpathy의 대략적 추산으로 약 60억 명은 LLM을 거의 접하지 않았고, 약 10억~20억 명은 무료 챗봇을 검색과 글쓰기 보조 수단으로 가끔 사용
• 수학과 코드 분야의 전문 사용자 약 2,000만 명은 과거 수주~수개월 걸리던 복잡한 프로젝트를 에이전트가 프롬프트로 완수하는 변화를 직접 경험
• 내부 최첨단 시스템에 접근하는 약 5,000명은 수천 에이전트가 수주간 협업하는 작업을 접하고 있으며, 인간의 검토와 이해가 결과물 생산 속도를 따라가지 못하기 시작
• 격차를 만드는 요인은 문제의 규모와 작업 기간, 디지털 환경에서 검증 가능한 분야에 집중된 역량, 무료/유료/내부 시스템 사이의 접근 차이가 함께 만들어 냄

---

LLM 체감 역량의 네 단계

• Andrej Karpathy는 4월의 트윗을 다시 꺼내며, LLM 역량에 대한 이해의 격차가 더 커지고 있다고 봄
• 인구와 비율은 대략적 추산이며, 경험 수준에 따라 다음 네 단계로 나뉨
• LLM을 거의 접하지 않은 약 60억 명
  • 인구의 약 75% 는 LLM을 거의 접하지 않음
• 무료 챗봇을 가끔 쓰는 약 10억~20억 명
  • 약 20% 는 무료 ChatGPT류 제품을 가끔 사용함
  • 어설픈 챗봇을 조금 더 나은 Google 검색이나 글쓰기 보조 도구처럼 쓰며, 에이전트가 항공편 예약을 시도하는 정도를 경험할 수 있음
  • Karpathy의 비기술 분야 친구 중에는 별 쓸모가 없다고 말하는 사람이 있으며, 수학과 코드 이외 분야의 전문가 상당수도 이 단계에 속함
  • 임원과 여러 직무의 종사자는 사람들과 대화하는 데 많은 시간을 쓰므로, 변화를 지적으로 이해하더라도 경험은 간접적이고 다소 추상적임
• 최첨단 LLM을 전문적으로 활용하는 약 2,000만 명
  • 약 0.2% 는 수학과 코드 분야에서 최첨단 LLM을 전문적으로 활용함
  • 과거 수주~수개월 걸리던 대규모 복잡한 작업을 에이전트가 프롬프트로 완수하는 모습을 직접 봄
    • 사례로 앱 제작, 복제, 번역, 바이너리에서 앱 역컴파일이 있음
  • 변화는 매우 최근에 빠르게 일어났으며, Karpathy도 1년이 채 되지 않은 시점에는 코드를 한 글자씩 직접 입력하고 가끔 Tab 자동완성을 사용했음
• 내부 최첨단 시스템에 접근하는 약 5,000명
  • 약 0.00006% 는 내부 최첨단 시스템에 접근함
  • 외부에도 일부 선공개된 모습은 수천 에이전트가 수주간 대형 소프트웨어 프로젝트에서 협업하는 형태임
  • 제로데이 취약점 발굴, 기계 속도의 사이버 공격과 방어, 새로운 과학 발견, 수학의 최전선 확장 등 업계 최고 전문가에게도 수년이 걸렸을 작업을 수행함
  • 인간의 검토와 이해는 뒤처지기 시작함
  • 수개월 전 OpenAI-HF 사건은 여전히 사람들이 경위를 발굴하고 분석하고 있음
  • 최첨단 수학을 다룬 722편의 원고를 수학자들이 검토하는 데도 한동안 시간이 걸릴 수 있음

깔때기를 만드는 세 요인

• 야심, 문제 규모, 작업 기간이 커질수록 영향도 커짐
  • 한 문단으로 답할 질문은 시스템의 역량을 거의 시험하지 못하며, 자신에게 중요한 크고 어려운 문제들이 충분히 있어야 함
  • 이 요인이 소비자와 전문 사용자 사이의 격차를 만듦
• 분야별 역량의 불균일성 때문에 디지털 환경에서 검증 가능하고 경제적 가치가 높은 분야에 성능의 정점이 집중됨
  • LLM 역량은 수익 잠재력을 기준으로 구성한 환경들의 조합에서 검증 가능한 보상을 사용하는 강화학습으로 형성됨
  • 이 요인이 수학과 코드 같은 활용 분야에 따른 격차를 주로 만듦
• 접근 권한도 무료, 유료, 내부 시스템 사용자 사이의 차이를 만듦
• 대중 대부분은 시스템을 접하지 않았거나 어설픈 챗봇으로 경험하고, 전문가 다수는 소폭의 개선만 체감하는 반면, 극소수 전문가는 거의 수직으로 상승하는 변화에 현기증을 느끼는 상황이 동시에 벌어지고 있음