엔터프라이즈 IT의 고질적 문제 중 하나는 인식과 현실 사이의 격차다. 그리고 생성형 AI(genAI) 벤더들또한 과대 약속에 대한 대가가 크다는 것을 곧 깨닫게 될 것이다.
준비되지 않은 기술을 밀어붙인 비기술 부문 고위 경영진(CFO, CEO, COO 및 일부 이사회 구성원)은 향후 도입에 저항하게 되기 쉽다. 아이러니한 점은 나중에 도입된 기술이 약속된 이점을 제공할 가능성이 더 높다는 것이다. ‘나중에 들려온 ’늑대가 나타났다”가 진실이었던 것과 비슷하다.
ROI를 실현하지 못한 비즈니스 사례는 흔하다. 곧 출시될 애플 아이폰에서도 그럴 가능성이 크다. 애플은 일부 아이폰 16 라인에 온디바이스로 작동하는 AI(브랜드명은애플 인텔리전스)를 추가할 예정이다. 이론적으로 온디바이스 생성형 AI는 (클라우드에 비해) AI 응답 속도를 높일 수 있으며, 시리가 모든 앱에서 정보를 원활하게 가져오는 시나리오를 가능하게 한다.
이러한 설정은 결국 앱 역할을 바꿔낼 수 있다. 날씨 앱이 실행되어 시간별 일기 예보를 알려줄 때까지 기다릴 필요 없이 시리가 더 쉽고 빠르게 알려주는 식이다. 예를 들어, 필자는 습도만 알려주는 앱이 하나 있고, 문자 메시지, 이메일, 녹취된 음성 메일 외에도 6가지 이상의 커뮤니케이션 앱(왓츠앱, 웹EX, 시그널l 등)과 직접 메시지를 보낼 수 있는 앱(링크드인, X, 페이스북)을 사용하고 있다. 내가 이 모든 것을 관리해야 할 이유가 있을까?
이론적으로는 애플 인텔리전트는 모든 비트와 바이트 정보를 통합하여 일관된 형식으로 내 커뮤니케이션과 업데이트를 전달할 수 있을 것이다.
하지만 이상과 현실은 다르다. 친구이자 동료 기술자인제이슨 펄로우의 글에 따르면, 애플이 제공하는 슬림화된 생성형 AI는 오히려 실망을 불러일으킬 수 있다.
“일반적인 iOS 또는 맥OS 기능 업그레이드와 달리, 애플 인텔리전스는 약 30억 개의 매개변수가 포함된 자체 개발한 대규모 언어 모델(LLM)인 애플 파운데이션 모델의 축소 버전을 로드한다. 수천억 개의 파라미터를 자랑하는 GPT-3.5 및 GPT-4와 같은 모델에 비하면 매우 작은 규모다. 데스크톱 컴퓨터에서 실행할 수 있는 메타의 오픈소스 라마 3조차도 80억 개의 매개 변수를 가지고 있다”라고 그는 기술했다.
게다가 애플 인텔리전스는 최대 2GB의 RAM을 차지한다. 램 부족 현상이 나타나거나 다른 아이폰 기능의 성능 저하가 나타날 수 있는 것이다. 또한 배터리 성능이 저하되어 기기의 다른 모든 기능이 저하될 수 있다.
결론은 이렇다. 이 초기 출시 버전은 배터리와 메모리 소모할 가능성이 높으며 여타 생성형 AI 솔루션과 비교해 성능이 떨어질 것이다. 이는 구매자의 후회를 불러일으킬 수 있다.
그리고 앱 개발자 문제도 있다. 첫째, 앱 개발자가 애플 API를 사용하여 애플 인텔리전스와 잘 작동하는 앱 버전을 제공하기까지는 시간이 걸릴 가능성이 크다. 개발자에 따라서는 애플 인텔리전스 지원이 그들에게 도움이 되지 않았을 수 있다. 애플이 데이터를 손쉽게 가져와 시리를 통해 제공할 수 있게 되면 독립형 앱의 가치가 떨어지지 않을까? 그러면 수익화 전략이 약화되지 않을까? 시리가 필요한 정보를 직접 제공할 수 있는데 굳이 영화 티켓이나 콘서트장 앱의 광고를 볼 이유가 있을까?
애플의 약속을 검토한 리서치 기관 IDC는 이 새로운 기술이 초기에는 휴대폰 판매량을 늘릴 수 있을 것으로예상했다. ‘처음에는’이 핵심 단어다. 사람들은 종종 기술적인 약속에 따라 구매하지만, 이후 다른 사람들과 이야기를 나누고 실제 경험을 바탕으로 향후 휴대폰을 구매할지(또는 방금 받은 휴대폰을 유지할지) 결정한다.
다시 엔터프라이즈 IT와 생성형 AI로 돌아가 본다. 허황된 약속을 믿고 생성형 AI 도입을 추진한 기업 경영진이 인내심을 갖고 희망을 유지할 가능성은 크지 않다. 오히려 의미 있는 ROI가 나타날 것으로 예상되는 시점(대략 2~3년 후)이 되면, 초기 배포에 대한 피로감을 느끼고 다시는 속고 싶지 않다는 생각을 가지게 될 것이다.
문제는 생성형 AI 벤더들이 비현실적인 약속을 내세우며 단기적인 판매를 촉진할 가능성이 크다는 점이다. 기업 CIO를 대상으로 판매하는 벤더(오픈AI, 마이크로소프트, 구글, 아마존)든 소비자 대상 벤더(애플)든 자멸적인 마케팅 접근 방식일 수 있다.
기술 인력 개발 기업 플루럴사이트Pluralsight)의 최근AI 기술 보고서에 따르면 임원 및 IT 리더의 40%만이 직원을 대상으로 공식적인 AI 교육을 실시하고 있다고 답했다. 그리고 직원 AI 교육에 대한 CIO의 책임이 점점 더 커짐에 따라 IT 리더는 기업의 AI 준비성 책임 측면에서 해법을 찾아내야 할 처지에 놓일 가능성이 크다는 진단이다.
직원들도 주목하고 있다. 디지털 워크플레이스 공급업체 Slingshot이 8월에 발표한설문조사 결과에 따르면 응답 직원의 다수는 AI에 대해 제대로 교육이나 훈련을 받지 못했다고 느끼고 있었다.
플루럴사이트의 생성형 AI 수석 저자 데이비드 해리스는 “일하는 방식을 완전히 뒤엎는 새로운 기술이 등장할 때마다 많은 사람들이 촉각을 곤두세운다. 내가 보기에 모든 비즈니스 관계자는 AI를 어떤 식으로든 도입해야 한다고 생각한다. 그러나 그 방법을 정확히 아는 사람은 드물며, 직원들의 지식 수준에 대해 확산하는 이도 거의 없다"라고 말했다.
그에 따르면 채용 시장을 통해 AI 기술 격차를 메우기도 쉽지 않다. 비교적 최근의 기술인 데다 빠르게 발전하고 있기 때문이다. 해리스를 비롯한 업계 전문가들은 또 개발자, 영업사원, 사무직에 이르는 모든 직원이 AI 교육을 통해 혜택을 받을 수 있다고 강조했다.
한편 IT 직원들조차도 AI가 일자리를 대체하는 것에 대해 우려하고 있다. 플루럴사이트의 설문조사에 참여한 IT 전문가 중 거의 4분의 3은 AI가 자신의 기술을 쓸모없게 만드는 상황을 우려한다고 답했다.
인재 유지에 영향 이키가이 랩스(Ikigai Labs)의 사장인 카말 알루왈리아는 AI가 고용 시장에 큰 영향을 미칠 것이기에 직원 대상의 AI 교육이 필수적이라고 강조했다. 이키가이 랩스는 소량의 기업 데이터로 작동하는 생성형 AI 툴을 제공하는 업체다.
AI와 일자리 사이의 관계에 대한 알루왈리아의 전망은 복합적이다. 그는 AI가 오늘날 IT 일자리의 3분의 1을 없애지만, 나머지 3분의 1은 AI를 통해 향상될 것이라고 예측했다. 또 미래 일자리의 또 다른 3분의 1은 AI에 의해 창출될 것으로 그는 전망했다.
HR 회사 에잇폴드닷에이아이의 사장을 역임한 바 있는 알루왈리아는 “일자리 대체 현상이 상당할 것이며, 우리 생각보다 더 빨리 일어날 것이라고 본다. 나는 만나는 모든 사람들에게 업무 적절성을 유지하기 위해서는 기술을 배울 준비가 되어 있어야 한다고 직설적으로 이야기하고 있다”라고 말했다.
그에 따르면 조직은 지금 당장 AI 교육에 투자할 필요가 있다. CIO와 기타 경영진은 직원들이 최신 AI 기술을 지속적으로 학습하도록 장려해야 하며, AI 교육을 잘 활용한 직원들의 성공 사례를 알려야 한다. 시장에 AI 전문 인력이 부족하다는 점을 감안할 때 더욱 그렇다.
알루왈리아는 “재교육, 업스킬링에 대한 시각을 바꿔야 한다. 경영진이 이러한 변화를 방관하고 다른 중간 관리자나 개인이 처리하도록 조치해선 안 된다. 경영진이 변화를 지지하도록 해야 한다. 그래야 분위기가 조성되기 때문이다”라고 말했다.
플루럴사이트 설문조사에 따르면 IT 전문가의 74%가 AI로 인해 자신의 기술이 무의미해질 것이라고 우려하는 반면, 81%는 현재 자신의 역할에 AI를 통합할 수 있다고 확신하고 있었다. 점점 더 많은 IT 전문가들이 AI 교육을 자신의 커리어에 필수적인 것으로 바라보고 있었다. AI 업스킬링에 IT 전문가를 적극적으로 참여시키지 않는다면 인재가 빠져나갈 가능성이 커지는 셈이다.
조화롭게 구성 디지털 컨설팅 회사인 웨스트 먼로 파트너스의 AI 및 엔지니어링 부문 수석 파트너인 에릭 브라운은 만연한 위기감이 틀리지 않다고 진단하며, 조직과 직원 모두 '모든 곳에 AI가 존재하는' 미래에 대비해야 한다고 말했다.
그는 이어 AI 교육은 직원과 AI 간의 '조화'를 구축하고 인간이 결정권을 행사하는 모습을 보여주는 데 초점을 맞춰야 한다고 설명했다. “인간의 창의성과 비판적 사고를 AI의 효율성을 결합해야 최상의 결과를 얻을 수 있다"라고 브라운은 말했다.
또 일부 직원은 다른 직원보다 AI의 영향을 더 많이 받겠지만, 교육은 모든 직원에게 제공되어야 한다. 그는 “최고 경영진을 포함해 모든 직원에 대해 투자해야 한다. 교육에 대한 접근성을 민주화한다는 것은 모든 사람이 AI를 발전시키는 문화를 조성하는 데 기여하고 책임을 질 수 있다는 것을 의미한다”라고 그는 말했다.
AI 교육의 필요성을 강조하는 목소리가 높지만 현실적인 여러 어려움이 있다. 데이터 분석 및 AI 도구 제공업체인 Seeq의 CTO 더스틴 존슨은 교육에 참여할 시간이 부족한 직원이 많으며, 지속적인 교육이라면 더욱 그렇다고 지적했다. 직원 개개인의 필요에 맞춰 참여하기 적합한 적시 교육 과정을 마련해야 할 이유라고 그는 덧붙였다. 그에 따르면 이는 AI 교육 도구에 주목할 이유이기도 하다. AI 기반 교육 도구는 자료를 통합하고 고객 기업 고유의 특정 장비와 프로세스에 맞는 정보를 제공할 수 있기 때문이다.
선구자들에게 기회를 존슨은 또 AI에 적극적인 직원들이 AI로 작업할 수 있도록 허용할 것을 권장했다. 이들 선구자들이 성공을 거두고 환각 및 기타 AI 문제를 피한 방법을 보여주는 웨비나 및 기타 이벤트를 개최하는 방안도 검토할 만하다는 설명이다.
“이러한 세션은 AI에게 질문하는 방법, 문서를 정확히 검색하는 방법 등을 공유할 수 있는 기회를 제공한다. 또 산출 결과를 검증할 수 있는 방법을 확산시킴으로써 기술에 대한 신뢰도를 높이게 된다”라고 그는 말했다.
한편 AI 기술이 빠르게 발전하고 있다는 점이 감안하라고 플로럴사이트의 해리스는 전했다. 새로운 기능과 용도를 반영하기 위해 AI 교육 과정을 정기적으로 업데이트할 필요가 있다. 어떤 경우에는 AI 교육 과정에서 제공되는 정보가 일주일도 안 되어 구식이 될 수 있다고 그는 덧붙였다.
오픈AI는 챗GPT(ChatGPT)의 주간 활성 사용자가 2억 명을 돌파했다고 밝혔다. 이는 지난해보다 두 배 증가한 수준이다.
39일 악시오스에 따르면, 포춘 500대 기업 중 92%가 오픈AI 제품을 사용하고 있다. 또 GPT-4o 미니(mini)가 올 7월에 출시된 이후 자동화 API 사용량이 두 배 증가했다.
샘 올트먼 오픈AI 최고경영책임자(CEO)는 “사람들이 우리의 도구를 이제 일상적으로 사용하고 있으며, 이는 의료 및 교육과 같은 분야에서 실질적인 변화를 가져오고 있다”며 “일상적인 업무 지원부터 어려운 문제 해결, 창의성 발현까지 다양한 영역에서 도움을 주고 있다”고 말했다.
오픈AI는 생성형 AI 챗봇 시장에서 선두 자리를 유지하고 있다. 하지만 테크 기업들이 점유율을 높이고자, 서비스를 업데이트하면서 경쟁 격화에 노출된 상태다.
이날 메타(Meta)는 오픈 소스 라마(Llama) 모델의 도입이 급격히 증가했다고 밝혔다. 라마(Llama) 3.1 출시 이후 올해 5월과 7월 사이 주요 클라우드 서비스 제공업체에서의 사용량이 두 배 증가했다는 것이 회사측 설명이다.
월가는 특정 종류의 승자를 선호한다. 이는 단기 수익과 영업 이익이 추정치를 뛰어넘는, 최상의 분기별 재무 보고서를 발표할 수 있는 승자를 의미한다.
월가는 장기적인 관점, 특히 초장기적인 관점에는 거의 신경 쓰지 않는 듯하다. 기업 경영진이 몇 년 후 급성장할 기술을 지배하기 위해 신중하게 장기 계획을 세울 때보다 분기별 실적이 급상승할 때 주가가 급등할 가능성은 훨씬 더 높다.
이것이 7월 말 마이크로소프트의 실적 발표에 대한 주식 시장의 반응이 주는 교훈이다. 투자자들에게 중요한 소식은 무엇이었을까? 마이크로소프트의 클라우드 기반 애저(Azure) 비즈니스가 해당 분기에 “단지” 30% 성장해 회사가 예상했던 31%보다 1% 낮았다는 점이다.
다음 날 트레이더들은 마이크로소프트를 ‘처벌’했다. 전체 시장이 상승세(예를 들어 S&P 지수는 86% 증가)인 와중에 회사의 주가는 4% 이상 하락했다. 이는 마이크로소프트가분기 매출 15%, 순이익 10%가 증가했다고 발표한 뒤에 일어난 일이다.
마이크로소프트의 AI 장기 투자에 무심한 월가 실적 발표에서 나온 훨씬 더 중요한 소식은 마이크로소프트가 AI에 올인하고 있으며 수년간 수익을 내지 못할 수도 있는 장기 인프라에 막대한 비용을 지출하고 있다는 점이었다. 하지만 주가를 기준으로 볼 때 이 소식이 월가에서는 중요하지 않은 것처럼 보였다.
마이크로소프트 CFO인 에이미 후드는 애널리스트들과의 통화에서 190억 달러의 자본 지출이 거의 모두 AI 및 클라우드와 관련이 있다고 말했다. 지출의 절반은 인프라 관련 비용, 특히 AI용 대규모 컴퓨팅 성능에 필요한 데이터센터를 구축하는 데 사용됐다. 이는 AI 붐이 본격화되기 전인 2년 전보다 2배 이상 증가한 수치다.
이에 대해뉴욕타임스는 “수익 보고서는 마이크로소프트가 데이터센터를 구축하고 AI 기술을 구동하는 고가의 칩을 구입하는 데 막대한 비용을 지출하고 있음을 보여준다. 회사의 자본 지출은 나델라가 최고 경영진에게 AI 투자를독려한 2022년 말부터 매 분기 증가했다”라고 설명했다.
이 정도의 지출 규모는 마이크로소프트가 AI 시장을 계속 장악하고 향후 수십억 달러의 수익을 거두기 위해 반드시 필요할 터지만 월가를 성가시게 했다. 특히 후드가 대규모 지출이 “향후 15년과 그 이후에도 수익 창출을 지원할 것”이라고 설명했을 때 투자자들을 겁을 먹었을 가능성이 높다.
월가에서 15년은 15억 년처럼 느껴질 수 있으며, 이들은 향후 10년 후의 ‘먼 미래’가 아니라 지금 당장, 그리고 단기적인 성과를 원한다.
마이크로소프트의 대대적인 AI 베팅은 옳은 선택일까? 금융 시장이 수년간 수익을 내지 못할 기술에 거액을 투자하는 기업을 경계하는 데에는 그만한 이유가 있다. 기술은 빠르게 변하고, 기업이 ‘넥스트 빅 씽’을 추구하는 과정에는 변덕이 있을 수 있다. 오늘 확실한 기회처럼 보이는 것이 내일은 실패로 바뀔 수 있다. 가상 현실에 대한 과대 광고만 봐도 알 수 있다. 가상 현실에 대한 성과는 그 어느 때보다 찾기 어렵고 어쩌면 영원히 오지 않을 가능성도 있다.
하지만 AI에서는 그런 일이 일어나진 않을 것이다. 베팅이 클수록 더 큰 보상을 얻을 가능성이 높다. 가상 현실은 실제로 큰 수익을 창출한 적이 없지만, AI는 이미 그랬다. 게다가 아직 초기 단계다.
실제로 지난 분기에 마이크로소프트의 수익은 AI 서비스에 대한 수요를 따라잡지 못해 타격을 입었다. CEO 사티아 나델라와 후드는 실적 발표에서 데이터센터에 공급 역량이 충분했다면 해당 분기에 더 많은 AI 서비스를 판매할 수 있었을 것이라고 말했다.
마이크로소프트의 투자자 관계 책임자인 브렛 아이버슨은 뉴욕타임스에 “용량이 확보되는 즉시 판매되고 있다”라고 밝혔다.
캐나다 알버타대 연구진이 최근‘인공 신경망’의 한계를 극복하는 방안을 제안하는 논문을 네이처에 발표했습니다. 연구 결과보다 논문에서 정리한 인공 신경망의 한계 부분이 더 눈길을 끌었는데요, 이를 짧게 정리해 보겠습니다.
‘신경망’이라는 단어 들어보셨죠? 인간의 두뇌에서 영감을 얻은 일종의 시스템인데요, LLM이 이러한 신경망을 기반으로 구축됐습니다. 신경망은 마치 뇌의 ‘뉴런’이 연결된 것처럼 입력된 데이터를 여러 단계를 거쳐 가중치를 기반으로 답을 내놓는 방식입니다. 뉴런 간의 연결이 탄탄하고 많을수록 뇌 기능이 뛰어나다고 하듯이, 신경망 또한 마찬가지입니다.
신경망에는 입력과 출력 사이에 ‘은닉층’이라는 것이 있는데요, 이곳에서 많은 데이터를 학습하고 계산을 열심히 할수록 좋은 데이터가 나옵니다. 물론 이는 단순화한 설명입니다. 너무 많은 정보를 한 번에 공부하면 뇌에 과부하가 오듯이 은닉층을 늘리기만 하면 오히려 계산이 느려질 수 있다고 해요.
신경망, 정확히 얘기하면 인공 신경망은 이후 머신러닝 분야에서 활발히 적용되고 있습니다. 신경망이 가진 한계도 있습니다. 뇌를 본떴다고는 하지만 생물학적인 뇌와 기계적인 신경망이 같을 리 없는데요, 특히 지속 학습 과정에서 신경망이 가진 단점이 보고되고 있어요.
인간은 이전에 습득한 정보, 지식을 지우지 않고도 새로운 정보에 효과적으로 적응하고 대응할 수 있습니다. 생물체의 신경망은 과거의 데이터를 기억하는 능력, 즉 ‘안정성’과 새로운 개념을 학습하는 능력, ‘가소성’ 사이에서 균형을 찾으면서 학습해 갑니다.
알버타대학연구진의 비유를 볼게요. ‘퐁(Pong)’이라 불리는 비디오게임이 있습니다. 마치 탁구를 하듯 양쪽에서 공을 주고받는 게임인데요, 퐁에서 좋은 성적을 내도록 신경망을 학습시킨 뒤 비행기 게임 ‘갤러그’를 학습시키면 퐁에서의 점수가 크게 하락합니다. 새롭게 학습하는 게임이 많아질수록 처음 학습한 게임 방법을 거의 잃어버리게 됩니다.
Each ML/AI project stakeholder requires specialized tools that efficiently enable them to manage the various stages of an ML/AI project, from data preparation and model development to deployment and monitoring. They tend to use specialized open source tools because oftheir contribution as a significant catalyst to the advancement, development, and ease of AI projects. As a result, numerous open source AI tools have emerged over the years, making it challenging to pick from the available options.
This article highlights some factors to consider when picking open source tools and introduces you to 25 open-source options that you can use for your AI project.
Picking open source tools for AI project
The open source tooling model has allowed companies to develop diverse ML tools to help you handle particular problems in an AI project. The AI tooling landscape is already quite saturated with tools, and the abundance of options makes tool selection difficult. Some of these tools even provide similar solutions. You may be tempted to lean toward adopting tools just because of the enticing features they present. However, there are other crucial factors that you should consider before selecting a tool, which include:
Popularity
Impact
Innovation
Community engagement
Relevance to emerging AI trends.
Popularity
Widely adopted tools often indicate active development, regular updates, and strong community support, ensuring reliability and longevity.
Impact
A tool with a track record of addressing pain points, delivering measurable improvements, providing long-term project sustainability, and adapting to evolving needs of the problems of an AI project is a good measure of an impactful tool that stakeholders are interested in leveraging.
Innovation
Tools that embrace more modern technologies and offer unique features demonstrate a commitment to continuous improvement and have the potential to drive advancements and unlock new possibilities.
Community engagement
Active community engagement fosters collaboration, provides support, and ensures a tool's continued relevance and improvement.
Relevance to emerging AI trends
Tools aligned with emerging trends like LLMs enable organizations to leverage the latest capabilities, ensuring their projects remain at the forefront of innovation.
25 open source tools for your AI project
Based on these factors, here are 25 tools that you and the different stakeholders on your team can use for various stages in your AI project.
1. KitOps
Multiple stakeholders are involved in the machine learning development lifecycle which requires different MLOps tools and environments at various stages of the AI project., which makes it hard to guarantee an organized, portable, transparent, and secure model development pipeline.
This introduces opportunities for model lineage breaks and accidental or malicious model tampering or modifications during model development. Since the contents of a model are a "black box”—without efficient storage and lineage—it is impossible to know if a model's or model artifact's content has been tampered with between model development, staging, deployment, and retirement pipelines.
KitOpsprovides AI project stakeholders with a secure package called ModelKit that they can use to share and manage models, code, metadata, and artifacts throughout the ML development lifecycle.
The ModelKit is an immutable OCI-standard artifact that leverages normal container-native technologies (similar to Docker and Kubernetes), making them seamlessly interoperable and portable across various stakeholders using common software tools and environments. As an immutable package, ModelKit is tamper-proof. This tamper-proof property provides stakeholders with a versioning system that tracks every single update to any of its content (i.e., models, code, metadata, and artifacts) throughout the ML development and deployment pipelines.
2. LangChain
LangChainis a machine learning framework that enables ML engineers and software developers to build end-to-end LLM applications quickly. Its modular architecture allows them to easily mix and match itsextensive suite of componentsto create custom LLM applications.
LangChain simplifies the LLM application's development and deployment stages with its ecosystem of interconnected parts, consisting ofLangSmith,LangServe, andLangGraph. Together, they enable ML engineers and software developers to build robust, diverse, and scaleable LLM applications efficiently.
LangChain enables professionals without a strong AI background to easily build an application with large language models (LLMs).
3. Pachyderm
Pachydermis a data versioning and management platform that enables engineers to automate complex data transformations. It uses a data infrastructure that provides data lineage via a data-driven versioning pipeline. The version-controlled pipelines are automatically triggered based on changes in the data. It tracks every modification to the data, making it simple to duplicate previous results and test with various pipeline versions.
Pachyderm's data infrastructure provides "data-aware" pipelines with versioning and lineage.
4. ZenML
ZenMLis a structured MLOps framework that abstracts the creation of MLOps pipelines, allowing data scientists and ML engineers to focus on the core steps of data preprocessing, model training, evaluation, and deployment without getting bogged down in infrastructure details.
ZenML framework abstracts MLOps infrastructure complexities and simplifies the adoption of MLOps, making the AI project components accessible, reusable, and reproducible.
5. Prefect
Prefectis an MLOps orchestration framework for machine learning pipelines. It uses the concepts of tasks (individual units of work) and flows (sequences of tasks) to construct an ML pipeline for running different steps of an ML code, such as feature engineering and training. This modular structure enables ML engineers to simplify creating and managing complex ML workflows.
Prefect simplifies data workflow management, robust error handling, state management, and extensive monitoring.
6. Ray
Rayis a distributed computing framework that makes it easy for data scientists and ML engineers to scale machine learning workloads during model development. It simplifies scaling computationally intensive workloads, like loading and processing extensive data or deep learning model training, from a single machine to large clusters.
Ray's core distributed runtime, making it easy to scale ML workloads.
7. Metaflow
Metaflowis an MLOps tool that enhances the productivity of data scientists and ML engineers with a unified API. The API offers a code-first approach to building data science workflows, and it contains the wholeinfrastructure stackthat data scientists and ML engineers need to execute AI projects from prototype to production.
8. MLflow
MLflowallows data scientists and engineers to manage model development and experiments. It streamlines your entire model development lifecycle, from experimentation to deployment.
MLflow’s key features include: MLflow tracking:It provides an API and UI to record and query your experiment, parameters, code versions, metrics, and output files when training your machine learning model. You can then compare several runs after logging the results.
MLflow projects:It provides a standard reusable format to package data science code and includes API and CLI to run projects to chain into workflows. Any Git repository / local directory can be treated as an MLflow project.
MLflow models:It offers a standard format to deploy ML models in diverse serving environments.
MLflow model registry:It provides you with a centralized model store, set of APIs, and UI, to collaboratively manage the full lifecycle of a model. It also enables model lineage (from your model experiments and runs), model versioning, and development stage transitions (i.e., moving a model from staging to production).
9. Kubeflow
Kubeflowis an MLOps toolkit for Kubernetes. It is designed to simplify the orchestration and deployment of ML workflows on Kubernetes clusters. Its primary purpose is to make scaling and managing complex ML systems easier, portable, and scalable across different infrastructures.
Kubeflow is a key player in the MLOps landscape, and it introduced a robust and flexible platform for building, deploying, and managing machine learning systems on Kubernetes. This unified platform for developing, deploying, and managing ML models enables collaboration among data scientists, ML engineers, and DevOps teams.
10. Seldon core
Seldon coreis an MLOps platform that simplifies the deployment, serving, and management of machine learning models by converting ML models (TensorFlow, PyTorch, H2o, etc.) or language wrappers (Python, Java, etc.) into production-ready REST/GRPC microservices. Think of them as pre-packaged inference servers or custom servers. Seldon core also enables the containerization of these servers and offers out-of-the-box features like advanced metrics, request logging, explainers, outlier detectors, A/B tests, and canaries.
Seldon Core's solution focuses on model management and governance. Its adoption is geared toward ML and DevOps engineers, specifically for model deployment and monitoring, instead of small data science teams.
11. DVC (Data Version Control)
Implementing version control for machine learning projects entails managing both code and the datasets, ML models, performance metrics, and other development-related artifacts. Its purpose is to bring the best practices from software engineering, like version control and reproducibility, to the world of data science and machine learning.DVCenables data scientists and ML engineers to track changes to data and models like Git does for code, making it able to run on top of any Git repository. It enables the management of model experiments.
DVC's integration with Git makes it easier to apply software engineering principles to data science workflows.
12. Evidently AI
EvidentlyAIis an observability platform designed to analyze and monitor production machine learning (ML) models. Its primary purpose is to help ML practitioners understand and maintain the performance of their deployed models over time. Evidently provides a comprehensive set of tools for tracking key model performance metrics, such as accuracy, precision, recall, and drift detection. It also enables stakeholders to generate interactive reports and visualizations that make it easy to identify issues and trends.
13. Mage AI
Mage AIis a data transforming and integrating framework that allows data scientists and ML engineers to build and automate data pipelines without extensive coding. Data scientists can easily connect to their data sources, ingest data, and build production-ready data pipelines within Mage notebooks.
14. ML Run
ML Runprovides a serverless technology for orchestrating end-to-end MLOps systems. The serverless platform converts the ML code into scalable and managed microservices. This streamlines the development and management pipelines of the data scientists, ML, software, and DevOps/MLOps engineers throughout the entire machine learning (ML) lifecycle, across their various environments.
15. Kedro
Kedrois an ML development framework for creating reproducible, maintainable, modular data science code. Kedro improves AI project development experience via data abstraction and code organization. Using lightweight data connectors, it provides a centralized data catalog to manage and track datasets throughout a project. This enables data scientists to focus on building production level code through Kedro's data pipelines, enabling other stakeholders to use the same pipelines in different parts of the system.
Kedro focuses on data pipeline development by enforcing SWE best practices for data scientists.
16. WhyLogs
WhyLogsby WhyLabs is an open-source data logging library designed for machine learning (ML) models and data pipelines. Its primary purpose is to provide visibility into data quality and model performance over time.
With WhyLogs, MLOps engineers can efficiently generate compact summaries of datasets (called profiles) that capture essential statistical properties and characteristics. These profiles track changes in datasets over time, helping detect data drift – a common cause of model performance degradation. It also provides tools for visualizing key summary statistics from dataset profiles, making it easy to understand data distributions and identify anomalies.
17. Feast
Defining, storing, and accessing features for model training and online inference in silos (i.e., from different locations) can lead to inconsistent feature definitions, data duplication, complex data access and retrieval, etc.Feastsolves the challenge of stakeholders managing and serving machine learning (ML) features in development and production environments.
Feast is a feature store that bridges the gap between data and machine learning models. It provides a centralized repository for defining feature schemas, ensuring consistency across different teams and projects. This can ensure that the feature values used for model inference are consistent with the state of the feature at the time of the request, even for historical data.
Feast is a centralized repository for managing, storing, and serving features, ensuring consistency and reliability across training and serving environments.
18. Flyte
Data scientists and data and analytics pipeline engineers typically rely on ML and platform engineers to transform models and training pipelines into production-ready systems.
Flyteempowers data scientists and data and analytics engineers with the autonomy to work independently. It provides them with a Python SDK for building workflows, which can then be effortlessly deployed to the Flyte backend. This simplifies the development, deployment, and management of complex ML and data workflows by building and executing reliable and reproducible pipelines at scale.
19. Featureform
The ad-hoc practice of data scientists developing features for model development in isolation makes it difficult for other AI project stakeholders to understand, reuse, or build upon existing work. This leads to duplicated effort, inconsistencies in feature definitions, and difficulties in reproducing results.
Featureformis a virtual feature store that streamlines data scientists' ability to manage and serve features for machine learning models. It acts as a "virtual" layer over existing data infrastructure like Databricks and Snowflake. This allows data scientists to engineer and deploy features directly to the data infrastructure for other stakeholders. Its structured, centralized feature repository and metadata management approach empower data scientists to seamlessly transition their work from experimentation to production, ensuring reproducibility, collaboration, and governance throughout the ML lifecycle.
20. Deepchecks
Deepchecksis an ML monitoring tool for continuously testing and validating machine learning models and data from an AI project's experimentation to the deployment stage. It provides a wide range of built-in checks to validate model performance, data integrity, and data distribution. These checks help identify issues like model bias, data drift, concept drift, and leakage.
21. Argo
Argoprovides a Kubernetes-native workflow engine for orchestrating parallel jobs on Kubernetes. Its primary purpose is to streamline the execution of complex, multi-step workflows, making it particularly well-suited for machine learning (ML) and data processing tasks. It enables ML engineers to define each step of the ML workflow (data preprocessing, model training, evaluation, deployment) as individual containers, making it easier to manage dependencies and ensure reproducibility.
Argo workflows are defined using DAGs, where each node represents a step in the workflow (typically a containerized task), and edges represent dependencies between steps. Workflows can be defined as a sequence of tasks (steps) or as a Directed Acyclic Graph (DAG) to capture dependencies between tasks.
22. Deep Lake
Deep Lake(formerly Activeloop Hub) is an ML-specific database tool designed to act as a data lake for deep learning and a vector store for RAG applications. Its primary purpose is accelerating model training by providing fast and efficient access to large-scale datasets, regardless of format or location.
23. Hopsworks feature store
Advanced MLOps pipelines with at least anMLOps maturity level 1architecture require a centralized feature store.Hopsworksis a perfect feature store for such architecture. It provides an end-to-end solution for managing ML feature lifecycle, from data ingestion and feature engineering to model training, deployment, and monitoring. This facilitates feature reuse, consistency, and faster model development.
24. NannyML
NannyMLis a Python library specialized in post-deployment monitoring and maintenance of machine learning (ML) models. It enables data scientists to detect and address silent model failure, estimate model performance without immediate ground truth data, and identify data drift that might be responsible for performance degradation.
25. Delta Lake
Delta Lakeis a storage layer framework that provides reliability to data lakes. It addresses the challenges of managing large-scale data in lakehouse architectures, where data is stored in an open format and used for various purposes, like machine learning (ML). Data engineers can build real-time pipelines or ML applications using Delta Lake because it supports both batch and streaming data processing. It also brings ACID (atomicity, consistency, isolation, durability) transactions to data lakes, ensuring data integrity even with concurrent reads and writes from multiple pipelines.
Considering factors like popularity, impact, innovation, community engagement, and relevance to emerging AI trends can help guide your decision when picking open source AI/ML tools, especially for those offering the same value proposition. In some cases, such tools may have different ways of providing solutions for the same use case or possess unique features that make them perfect for a specific project use case.
