반응형
반응형

"쿠팡 노동자 25% 사고 경험·우울증 의심"…쿠팡, "객관성 담보할 수 없어"

 

[서울=뉴시스] 김병문 기자 = 광복절 연휴와 함께 2번째 '택배 없는 날'인 16일 오후 서울시내 한 택배 물류센터에 택배가 쌓여 있다. 2021.08.16. dadazon@newsis.com

 

[서울=뉴시스]김정현 기자 = 쿠팡물류센터 노동자 4분의 1이 근무 도중 사고를 당했거나 우울증 의심 수준에 이르는 상황이라는 의료진 연구 결과가 나왔다.

응답자 5명 중 4명은 물류센터에서 빨리 걷는 수준을 넘는 고강도 업무를 수행하고 있다고 답했다. 연구진은 빠른 배송을 다그치는 관리자, 부족한 휴게 공간과 같은 인권 침해 요소가 다수 확인됐다고 지적했다.

김형렬 가톨릭대 서울성모병원 교수 연구팀은 30일 민주노총 공공운수노조, '쿠팡 노동자의 건강한 노동과 인권을 위한 대책위원회' 등이 주최한 '쿠팡 물류센터 노동자 노동 환경·건강 수준 평가 국회 토론회'에서 이 같은 연구 결과를 공개했다.

 

연구진은 물류센터 노동자에게서 과로와 관련 질병을 호소하는 환자가 많고, 배송 경쟁이 심화해 노동자 근무 여건이 악화하고 있다는 지적에 쿠팡 물류센터 노동자 356명을 상대로 심층 설문 조사를 진행했다.

응답자들은 고양·동탄·부천·인천 등 쿠팡 물류센터 근무자다. 64%가 20대거나 30대였음에도 70% 상당이 전신 피로, 팔 아픔(상지·하지 근육통)을 호소했다. 30% 이상은 우울감 또는 불안감을 겪었다고 답했다.

지난 일 년간 겪은 건강상 문제를 묻는 문항을 살펴보면 상지 근육통과 하지 근육통이 각각 73.6%, 68.8%였다. 전신 피로는 71.6%가 호소했다. 10명 중 9명 이상이 이들 질환이 업무로 인해 생겼다고 답변했다.

우울감과 불안감은 각각 34.3%, 36%가 느낀 적이 있었다고 답했다. 물류센터에서 일하다 우울감과 불안감을 느끼게 됐다는 답변은 각각 72.1%, 69.5%였다.

"최근 일 년간 연속적으로 일상생활에 지장이 있을 정도로 슬프거나 절망감을 느꼈다"는 별도 문항에 그렇다고 답한 사람은 86명(24.2%)이었다. 2019년 국민건강영양조사 평균값(10.5%)보다 크게 높다.

[서울=뉴시스]김형렬 가톨릭대 서울성모병원 교수 연구팀은 30일 민주노총 공공운수노조, '쿠팡 노동자의 건강한 노동과 인권을 위한 대책위원회' 등이 주최한 '쿠팡 물류센터 노동자 노동환경·건강수준 평가 국회 토론회'에서 이 같은 연구 결과를 공개했다. (사진=공공운수노조 제공). 2021.09.30. photo@newsis.com *재판매 및 DB 금지원인은 극한에 이르는 물류센터 노동 강도다. 연구진이 평소 힘든 정도를 묻자 응답자 73.2%가 '빨리 걷는 수준'에 해당하는 노동 강도를 경험하고 있다고 답했다. 응답자 28.4%는 업무가 100m 달리기를 하는 수준으로 힘들다고 답변했다.

노동 강도가 높을수록 우울감과 극단 선택 관련 위험 지표는 상승하기 쉽다.

연구진에 따르면, '빨리 걷는 수준'을 의미하는 보그 점수 13점을 넘을 경우 각종 연구에서 2주 연속 우울감을 느낄 위험이 1.85배, 이를 생각할 위험이 2.51배 증가한다.

물체에 맞거나 부딪혀 발생하는 사고를 겪었다는 응답자도 다수 나왔다. 물체에 맞음 39건, 부딪힘 44건, 떨어짐 7건 등이다. 이 중 49.2%는 치료를 받지 않았고, 33.3%는 치료비를 스스로 부담했다.

직무 스트레스와 직장 내 갑질 문화로 어려움을 호소하는 응답자도 일부 있었다. "마감에 대한 압박과 재계약에 관한 UPH로 인한 심리적 압박감"이나 "도중에 그만두기를 바라는 사람처럼 너무 굴린다"는 등이다. UPH는 시간당 성과 관리(Unit Per Hour)다.

쿠팡은 단기직 직원에게 월 3회 이상 상시직을 제안하고, 올해 1월 UPH를 상시직 채용과 평가 기준으로 삼고 있지 않다고 밝혔다. 하지만 응답자 126명은 하위 성과자로 관리자에게 지적을 받았다고 답했다. 전체 13.2%(47명)가 UPH 하락을 이유로 들었다.

이번 연구 참여자 절반 이상은 물류센터 일이 사실상 생업에 가깝다. 응답자 전체 69%(250명)은 다른 일자리가 없다. 13%(38명)은 다른 생업이 있지만, 정기적으로 물류센터 일을 한다고 답변했다.

응답자 57.3%는 아르바이트 등 일용직이었더. 42.7%는 3~12개월 계약직이었다. 무기계약직 또는 상시(정규)직은 9%에 불과했다. 불안정 노동을 하는 20~30대 물류센터 노동자들이 경제적 압박에 놓인 채 고강도 노동에 시달리고 있다는 게 연구진 진단이다.

응답자들은 업무 도중 휴식이 절실하다고 답변했다. 주관식 응답에서 "식사 시간을 제외한 휴게 시간이 없다"거나 "식사 질이 떨어져 안 먹고 의자로 가져다 휴식을 취하지만 그마저도 부족하다"고 답했다. 응답자 22.5%는 일하는 공간에서, 다른 22.2%는 쉴 곳이 적절하지 않아 돌아다닌다고 답변했다.

쿠팡은 이에 대해 조사 응답자들이 적고 객관성을 담보할 수 없다고 반박했다.

쿠팡은 이날 커뮤니케이션 채널 '쿠팡 뉴스룸'에 입장문을 올리고, "노조원이 주도하는 특정 SNS 회원들이 주로 참여한 설문조사"라며 "일일 근무자가 3만 명이 넘는 물류센터에서 356명이 참여한 주관적 의견을 기초로 한 측정은 실제 근로 환경을 대표할 수 없다"고 잘라 말했다.

 

https://newsis.com/view/?id=NISX20210930_0001599496&cID=13001&pID=13000 

 

"쿠팡 노동자 25% 사고 경험·우울증 의심"…쿠팡, "객관성 담보할 수 없어"

[서울=뉴시스]김정현 기자 = 쿠팡물류센터 노동자 4분의 1이 근무 도중 사고를 당했거나 우울증 의심 수준에 이르는 상황이라는 의료진 연구 결과가 나왔다

www.newsis.com

 

반응형
반응형

[MBC 탐사기획 스트레이트 127회] 쿠팡, 최저가의 비밀 (2021.04.04)

www.youtube.com/watch?v=rUaDIR0dqPA&t=1644s

 

반응형
반응형

아시겠지만 쿠팡이 정말 쌉니다

news.coupang.com/archives/3348

 

아시겠지만 쿠팡이 정말 쌉니다

이런 가격이 도대체 어떻게 가능할까요?

news.coupang.com

정기적으로 발표되는 각종 지표는 쿠팡이 고객의 가장 많은 사랑을 받는 이커머스라는 사실을 다양한 데이터로 보여줍니다. 최근의 경우만 봐도 한국소비자원이 발표한 국내 온라인 쇼핑몰 소비자만족도, 한국기업평판연구소의 오픈마켓 브랜드평판, 아이지에이웍스가 공개한 쇼핑앱 분석 등 모든 서베이에서 쿠팡은 지속적으로 1위를 차지했습니다. 고객 만족도는 물론이고 실제 사용률에서도 쿠팡은 고객들의 절대적인 신임을 얻고 있는 것이죠. 과연 무엇이 고객으로 하여금 쿠팡에 열렬한 지지를 보내게 하는 걸까요?

빠른 배송과 훌륭한 서비스를 자랑하는 로켓배송, 편리한 UI와 검색, 간편한 원터치 결제, 압도적인 규모를 자랑하는 상품 셀렉션 등 이유는 많습니다. 하지만 이 모든 이유와 더불어 결정적이고도 근본적인 이유 한 가지를 말씀드리고 싶네요. 무엇보다 쿠팡이 싸기 때문입니다.  

 

 

이런 가격이 도대체 어떻게 가능할까요? 

쿠팡이 바라는 것은 고객들의 삶을 전보다 100배 더 개선하는 것입니다. 오늘 밤에 주문한 아이 발레복이 다음날 새벽이면 도착해 등교 시간에 맞춰 들려 보낼 수 있는 삶. 아침 식사 걱정에 발을 동동 구르지 않아도 되는 편리한 일상. 쿠팡이 없었다면 상상에 그쳤을 그런 삶을 제공하고 싶습니다. 그래서 쿠팡은 직접 물류센터를 운영하고 쿠팡맨을 직고용하며 500만 가지 이상의 상품을 판매하는 로켓배송을 시작했죠. 로켓배송은 쿠팡이 믿을 수 있는 업체로부터 제품을 직매입해 전국 100여 개의 자체 물류 인프라를 통해 고객에게 직배송합니다. 

이것이 바로 로켓배송 상품이 낮은 가격을 제공할 수 있는 첫 번째 비밀입니다. 쿠팡 로켓배송의 직매입 직배송 시스템은 판매자와 고객 사이의 중간 단계를 없애줍니다. 중간 유통과정이 없기에 로켓배송만의 빠르고 훌륭한 배송 서비스가 가능해졌고, 동시에 중간 유통마진도 사라졌죠. 쿠팡의 고객은 마치 한번에 대량 구매하는 도매상처럼 쿠팡에서 소량의 제품을 싼 가격에 구매할 수 있습니다. 

두 번째 비밀은 바로 배송비입니다. 아시다시피 로켓배송 제품에는 배송비가 없습니다. “무료배송 상품도 많은데요?”라고 이야기할지 모르겠습니다. 하지만 과정이 다릅니다. 일반적인 온라인 쇼핑몰에서 상품을 살 때, 배송은 해당 쇼핑몰이 아닌 배송전문업체가 담당합니다. 당연히 배송비에는 배송업체의 이익이 포함되죠. 하지만 배송을 직접 하는 쿠팡은 택배사에 수수료를 지급하는 대신 배송업체가 보게 될 이익만큼 고객에게 가격할인 혜택으로 돌려드립니다. 더 뛰어난 배송 경험을 위해 투자를 지속하는 것은 물론입니다. 로켓와우 멤버십 고객들은 이미 이 뛰어난 서비스를 잘 알고 또 경험하고 있습니다. 작은 제품 하나만 사도 무료배송, 자기 전 주문하면 아침에 문 앞에 나타나는 새벽배송, 전국 어디서나 즐길 수 있는 신선식품 배송 등 쿠팡만의 서비스는 중간 마진을 모조리 고객을 위해 재투자하는 쿠팡의 정책 덕분에 가능합니다. 

낮은 가격의 마지막 비밀은 사실 단순합니다. 쿠팡이 언제나 제일 싼 가격을 제시하기 위해 노력한다는 것이죠. 하지만 이 단순한 말을 현실로 만드는 것은 쉽지 않습니다. 고객은 최저가로 제품을 구입하기 위해 인터넷 사이트를 돌아다닙니다. 단 몇 개의 상품만 미끼로 내걸어 최저가라고 주장하는 과장 광고에 낚이기도 합니다. 쿠팡은 고객들이 이렇게 시간을 낭비하고 실망하는 일을 겪지 않도록 항상 고객을 대신해 직접 가격을 비교합니다. 쿠팡은 언제나 로켓배송 상품보다 더 낮은 가격의 제품을 찾기 위해 노력하고, 고객을 위해 해당 업체보다 더 낮은 금액을 제시합니다. 그러니 당연하게도, 쿠팡이 쌀 수밖에 없는 것이죠.  

다른 곳에서 가격 비교를 할 필요 없습니다 

그래서인지 많은 쿠팡의 고객들은 이제 쿠팡에서만 쇼핑합니다. 가격비교는 고객 대신 쿠팡이 직접 해주니까, 쿠팡을 믿을 수 있으니까, 고객은 쉽고 편하게 원하는 쇼핑에만 집중할 수 있습니다. 게다가 쿠팡의 로켓배송 상품은 무려 500만 종이나 되는 셀렉션을 보유하고 있습니다. 넓어 보이는 대형 마트의 제품 셀렉션도 겨우 약 5만 종에 불과한데, 이 백배에 해당하는 제품군이 내일 배송 가능한 상태로 대기하고 있는 것입니다. 이렇게나 많은 제품이 쿠팡에 다 있으니까, 다른 사이트에 들러 가격비교를 할 필요가 없는 것이죠. 고객들이 온라인 쇼핑을 위해 쿠팡으로 직행하는 이유입니다. 

무엇보다 다른 곳에서는 쿠팡의 서비스를 이용할 수 없습니다. 익일배송을 넘어 새벽배송, 당일배송까지 가능한 쿠팡의 로켓배송 서비스, 신선식품 새벽배송 서비스, 간편한 원터치 결제 서비스, 쿠팡만의 편리한 앱 기술 등에 이르기까지, 고객이 사랑하는 쿠팡의 서비스는 쿠팡에서만 누릴 수 있습니다.  

쿠팡의 고객들은 잘 알고 있습니다. 쿠팡에는 온갖 상품이 다 있고, 어디서도 경험할 수 없는 가장 편한 서비스를 경험할 수 있으며, 무엇보다 이 모든 로켓배송 상품이 아주 싸게 팔리고 있다는 것을 말이죠. 

 

https://coupa.ng/bPS6TG

 

COUPANG

쿠팡은 로켓배송

www.coupang.com

 

반응형
반응형

partners.coupang.com/

 

Coupang Partners

쿠팡과 함께 수익을 창출해보세요

partners.coupang.com

chrome.google.com/webstore/detail/%EC%BF%A0%ED%8C%A1-%ED%8C%8C%ED%8A%B8%EB%84%88%EC%8A%A4/caglfngmfonigcbedhobbpggelncacii/related

 

쿠팡 파트너스

쉽고 빠른 파트너스 링크 공유를 위한 확장 프로그램

chrome.google.com

반응형
반응형

쿠팡표 OTT, ‘쿠팡플레이’ 나왔다 “자체 제작도 나설 것”

www.bloter.net/archives/494637

 

쿠팡표 OTT, ‘쿠팡플레이’ 나왔다 “자체 제작도 나설 것”

쿠팡이 온라인동영상서비스(OTT) ‘쿠팡플레이(Coupang Play)’를 출시했다. 미국 아마존의 OTT ‘아마존 프라임 비디오’처럼 e커머스와 영상 등을 멤버십으로 묶어 플랫폼 영향력을 강화한다는 전

www.bloter.net

쿠팡이 온라인동영상서비스(OTT) ‘쿠팡플레이(Coupang Play)’를 출시했다. 미국 아마존의 OTT ‘아마존 프라임 비디오’처럼 e커머스와 영상 등을 멤버십으로 묶어 플랫폼 영향력을 강화한다는 전략이다.

24일 쿠팡은 ‘쿠팡플레이’를 공식 출시한다고 밝혔다. 넷플릭스(NETFLIX), 아마존 프라임 비디오, 왓챠처럼 영화, 국내외 TV시리즈 등 다양한 영상 콘텐츠를 시간과 장소 제약없이 무제한으로 감상할 수 있는 동영상 스트리밍 서비스다.

월 2900원의 쿠팡 생태계

와우 멤버십 서비스에 가입한 회원이라면 추가 비용 없이 월2900원 멤버십 비용만으로 ‘쿠팡플레이’ 이용이 가능하다. 앱을 내려 받고 쿠팡 앱과 연동하면 별도 가입 절차 없이 바로 사용할 수 있다. 계정 1개로 최대 5개까지 프로필을 생성할 수 있다. 현재 안드로이드 버전 공식 앱만 이용 가능하며  iOS, 태블릿PC, 스마트TV, PC 버전은 순차적으로 출시 예정이다. 쿠팡은 추후 독점 콘텐츠와 더불어 자체 제작 콘텐츠까지 공개할 계획이라고 밝혔다.

앞서 쿠팡은 지난 7월 싱가포르 OTT 서비스 업체인 ‘훅(Hooq)’의 소프트웨어 사업을 인수하며 OTT 진출을 예고한 바 있다. 지난 10월 특허청에 쿠팡플레이 상표 특허를 출원한 데 이어 플랫폼 운영을 비공개 테스트하는 등 출범 준비에 박차를 가해왔다.

업계에서는 쿠팡의 OTT 시장 진출이 e커머스 업계에 미치는 파급력이 상당할 것으로 보고 있다. 앱 분석 서비스 와이즈앱에 따르면 쿠팡은 지난달 국내서만 1791만명이 사용한 것으로 집계됐다. 한 달 2900원 멤버십 비용만 내면 로켓배송 상품 무료배송, 30일내 무료반품, 로켓프레시 신선식품 새벽배송, 당일배송, 특별 할인 등 각종 혜택을 이용할 수 있던 데다가 쿠팡플레이까지 화력을 보태면서, ‘쿠팡 생태계’가 이용자들을 급속도로 빨아들이게 될 거라는 평가가 나온다.

김성한 쿠팡플레이 총괄 디렉터는 “쿠팡은 독창적인 서비스로 고객들의 삶을 더 풍요롭게 만들기 위해 끊임없이 노력하고 있다. 와우 회원들은 쿠팡플레이로 사랑하는 가족들과 언제 어디서나 무제한으로 다양한 콘텐츠를 즐기며 재미있는 일상을 보낼 수 있을 것”이라며, “고객들의 일상이 지금보다 더 편하고, 즐거울 수 있도록 쿠팡플레이 오리지널 자체 제작 등 차별화된 서비스를 선보이기 위해 노력하겠다”고 말했다.

 

OTT 서비스(영어: Over-the-top media service)는 인터넷을 통해 방송 프로그램·영화·교육 등 각종 미디어 콘텐츠를 제공하는 서비스를 말한다.[1] OTT는 Over-the-top의 준말로 Over-the-X는 기존의 범위를 넘어서라는 뜻을 가진다. top은 TV 셋톱박스 같은 단말기를 의미한다. 따라서 직역하면 셋톱박스를 통해서, 넘어서의 의미를 가진다.[2] 이처럼 OTT서비스는 초기에 단말기를 통해 영화·TV프로그램 등 프리미엄 콘텐츠를 VOD 방식으로 제공하는 서비스를 지칭했다. 이후 인터넷 기술변화에 따라 콘텐츠 유통이 모바일까지 포함하면서 OTT의 의미가 확대됐다.

반응형
반응형

쿠팡 데이터 플랫폼의 진화

 

 

 

medium.com/coupang-tech/%EC%BF%A0%ED%8C%A1-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%94%8C%EB%9E%AB%ED%8F%BC%EC%9D%98-%EC%A7%84%ED%99%94-26c827c1ec09

 

쿠팡 데이터 플랫폼의 진화

쿠팡은 라스트 마일 배송과 모바일 퍼스트 플랫폼에서 고객이 상품을 발견하는 새로운 방식을 선사함으로써 한국의 이커머스 시장을 혁신하고 있습니다. 쿠팡의 미션은 고객이 “쿠팡 없이 그

medium.com

Phase IV — 서비스형 빅데이터, 클라우드 스토리지를 사용하는 EDW, 완전히 새로운 데이터 수집 프레임워크 (2018~2019)

2019년에 이르자 데이터 플랫폼에 대한 이해가 깊어지고 규모가 확대되어 다양한 비즈니스 사용 케이스 및 시나리오에 확장할 수 있게 진화됐습니다. 진화된 데이터 플랫폼이 지원하는 몇 가지 흥미로운 사례를 설명하겠습니다.

빅데이터 플랫폼 : 빅데이터팀은 그동안 여러 종류의 롱 러닝 하둡 클러스터를 운영해 왔지만, 폭발적인 사업 성장을 뒷받침하기 위해 클러스터 관리 정책 및 배포 전략을 대폭 수정해야만 했습니다. 고객을 위해서 더욱 안정적이고 확장 가능한 플랫폼을 제공할 수 있도록 머신 이미지를 미리 빌드했으며, 컴퓨팅 리소스 특성에 맞춘 다양한 최적화, 유연한 스케일링 정책, 클러스터 추상화 레이어 추가 등 다양한 분야를 개선했습니다.

  • 클러스터 라이프사이클 : 고객의 워크로드를 기반으로 다양한 라이프 사이클을 지원하는 하둡 클러스터를 제공합니다. 각 클러스터의 라이프 사이클은 비용 효율 및 비즈니스 작업량에 따라 엄격히 관리됩니다. 이러한 클러스터는 공용 하이브 메타 스토어와 클라우드 저장소에 접근하기 때문에, 모든 고객은 동일한 하이브 테이블을 일관성 있게 사용할 수 있습니다.
  • 스케일링 정책: 대부분의 클라우드 플랫폼에서는 시스템 지표에 따라 오토 스케일링 (Auto-scaling)을 처리합니다. 빅데이터팀도 처음에는 클라우드 서비스에서 제공하는 오토 스케일링을 사용했지만, 실제 고객의 필요를 충족시키기엔 부족했습니다. 그래서 트래픽이 집중되는 시간대를 분석한 후 해당 시간에 앞서 미리 확장할 수 있도록 해주는 스케줄 기반의 스케일링 기능을 적용했습니다. 스케줄 기반의 스케일링 기능과 오토 스케일링 기능을 조합하여 사용한 덕분에 고객의 플랫폼 경험이 크게 개선됐습니다.
  • 머신 이미지 사전 빌드: 하둡 클러스터용 컴퓨팅 서버에는 OS를 포함한 다양한 소프트웨어와 하둡 에코시스템, 모니터링과 보안 에이전트가 설치됩니다. 빅데이터팀은 이러한 소프트웨어와 다양한 플러그인을 탑재한 서버 이미지를 미리 빌드합니다. 고객의 워크로드에 따라서 다양한 머신 이미지를 제공하며, 머신 이미지는 오픈소스Packer로 관리 합니다. 참고로 머신 이미지를 도입한 후, 하둡 클러스터 설치 시간이 60% 이상 단축됐습니다.

웹 로깅 플랫폼 : 쿠팡 초기 고객의 상호작용 데이터를 수집하는 플랫폼은 외부 솔루션을 기반으로 구축되었으나, 이 플랫폼에는 결함도 많고 기능도 부족했습니다. 그래서 많은 도메인 팀에서 메트릭을 집계하고 시각화하기 위해 또 다른 외부 서비스를 이용해야 했습니다. 이러한 문제를 근본부터 해결하기 위해 새로운 프레임워크를 구축했습니다. 장기간에 걸쳐 마이그레이션과 데이터 검증이 이뤄진 후, 신규 로깅 플랫폼이 레거시 로깅 플랫폼을 완전히 대체했습니다.

여기서 잠시, 로그의 여정에 대해 간략히 살펴보겠습니다. 시작하기에 앞서, 프로듀서가 메타데이터 서비스에 스키마를 등록합니다. 사람이 만들어내는 오류를 방지하기 위해 대개 스키마로부터 (정적 타이핑) 코드를 생성한 이후 해당 코드를 앱 또는 웹페이지에 넣어 줍니다. 앱이 릴리즈된 후, 클라이언트는 실제 로그를 생산하여 수집 파이프라인에 보냅니다. 수집 서버는 파이프라인 상에서 모든 로그를 받아 메시지를 생산한 후 메시지 큐로 보내고, 컨슈머가 작성한 다운스트림 잡을 위해 데이터 로더가 메시지들을 읽어들여 클라우드 저장소에 저장합니다. 이 데이터의 첫 컨슈머인 세션 배치 잡은 세션 구분 및 속성들이 추가된 세션 데이터 테이블을 생성하여 일반적인 배치 컨슈머들을 위한 표준 데이터를 제공합니다.

  • 수집 파이프라인(수집 서버, 메시지 큐 및 데이터 로더): 쿠팡 플랫폼 서비스 팀에서 관리하는 메시지 큐 서비스를 이용, 실시간 컨슈머를 위한 실시간 데이터 스트림 및 배치 컨슈머를 위한 준 실시간 데이터를 손실, 중복 및 오염 없이 제공합니다. 컨슈머들은 또한 메시지 큐에 직접 접근하여 자체 SLA 및 ETL 로직을 구현한 로더를 직접 작성할 수도 있습니다. 배치 파이프라인은 실시간 파이프라인으로 적재된 로그 데이터를 이용하여 구현합니다.
  • 메타데이터 서비스: 모든 로그 데이터에 스키마가 등록되어 있어야 하며 스키마 변경을 검토하고 알림을 받을 오너 및 컨슈머 정보가 있어야 합니다. 로그 데이터 구조에서 이 단일 데이터 소스(single source of truth)는 다른 서비스, 프로듀서의 UI 코드 및 컨슈머 쿼리의 근간이 됩니다.
  • 로그 검증 서비스: 플랫폼상의 데이터 전송을 방해하지 않으면서 메타데이터 서비스에 있는 스키마를 토대로 파이프라인상의 모든 로그를 확인합니다. 모든 결과는 저장되고 해당 로그의 프로듀서 및 컨슈머에게 주기적으로 리포팅 되며 실시간으로 알림이 발송됩니다.
  • 모니터링 및 테스팅 서비스 : QA 테스팅 및 프로덕션을 위해 실시간으로 모든 지정된 사용자나 디바이스의 로그를 추적 및 검증하기 위한 서비스가 제공되며, 사용자들은 구문 뿐만 아니라 의미까지 확인하기 위한 시나리오 기반 검증 기능을 사용할 수 있습니다.

엔터프라이즈 데이터웨어하우스(EDW): 데이터 플랫폼의 주요 데이터 웨어하우스 환경은 ORC 파일이며 하이브/휴(Hive/Hue), 프레스토/제플린(Presto/Zeppelin)을 통해 접속할 수 있습니다. 여전히 EDW 고객에게 MPP 기반의 샌드박스가 제공되지만 이는 EDW의 일부분에 불과합니다. 주요 기능은 고객이 프로덕션에 앞서 샌드박스 테이블을 빌드 하고 이를 통해 도메인 비즈니스를 관리할 수 있는 환경을 제공하는 것입니다. 더불어 고객의 샌드박스 테이블이 리포팅에 필요할 경우, 이 환경에서 단기적인 리포팅을 할 수 있다. 다만 장기간 리포팅을 하거나 공유해야 할 경우, 사용자가 관리하는 테이블을 클라우드 스토리지 기반의 테이블로 이관할 것을 권장합니다.

서브 컴포넌트

이번에는 쿠팡의 데이터 플랫폼에 포함된 다른 주요 기능에 대해서 소개하겠습니다.

데이터 품질

데이터 팀은 데이터 정확성 보장을 위해 열(row)의 HASH를 사용하여 전체 열 데이터와 열의 개수를 비교해주는 프레임워크를 구축했습니다. 기술적 테스팅의 일환으로, 프라이머리 키(primary key)와 빈 값(null value) 등의 DQ 체크도 실행합니다. 해당 프레임워크는 개발자의 비즈니스 관련 SQL 구문 플러그인을 지원할 뿐 아니라, 실제와 동일한 데이터 정확성도 제공합니다. 특히 빅데이터 테이블의 경우에는 제약사항 처리 및 임계치 기반의 데이터 확인을 위해 오픈소스 프레임워크도 활용하고 있습니다.

데이터 이상 알림 서비스

기술이 급변하는 추세에 발맞춰 우리도 빠르게 움직여야 했습니다. 데이터 알림 서비스 (Data Notifier)는 데이터 입력된 직후 가능한 최단 시간 내 이상 현상을 감지하여 알려 줍니다. 예를 들어, 지난달 신규 버전 안드로이드 앱이 출시되었는데 로그 기록에 버그가 발생하여 데이터가 유실되었다고 가정합니다. 과거에는 이러한 이상 현상을 감지하려면 고객이 앱을 설치할 때까지 기다려야 했기 때문에 데이터 유실을 알아채기까지 3일이 걸렸습니다. 하지만 데이터 이상 알림 서비스를 통해 앱 릴리즈로부터 2시간 내로 이상 감지가 가능하게 됐습니다.

SLA (Service Level Agreement)

신규 데이터 플랫폼에서는 매일 한국 시간 오전 9시에 데이터 마트 테이블의 준비 완료 여부가 고객에게 이메일로 공지합니다. 추가로 데이터 SLA 투명성 제고를 위해 데이터 플랫폼 사용자들이 SLA에 관한 정보를 쉽게 읽을 수 있도록, 가독성 높은 온라인 보고서도 개발 중에 있습니다.

데이터 디스커버리 툴

데이터 플랫폼의 테이블/칼럼에 관한 태그 및 설명을 등록할 수 있는 플랫폼으로, 다른 고객이 이를 검색 및 조회할 수 있으며 유기적 성장이 가능한 오픈 플랫폼입니다. 데이터 디스커버리는 쿠팡의 모든 데이터 고객이 자체적으로 데이터 발견(discovery)을 할 수 있도록 해주었고, 해당 기능을 통해 데이터를 찾는 수백 명의 사용자는 한층 편리해진 데이터 라이프와 향상된 생산성을 누릴 수 있게 됐습니다.

EDW 관리 시스템 (EMS)

데이터 파이프라인의 생성 및 관리, 데이터 수집 자동화 그리고 메타데이터를 사용한 자동화된 Airflow DAG 생성을 지원하는 프레임워크입니다. 이 프레임워크는 데이터 엔지니어가 필요한 모니터링, 재적재(backfill) , 다운스트림 디펜던시 기능을 지원합니다. 또한, EMS는 온콜 엔지니어를 위해 초기 SLA 감지 기능도 제공합니다.

반응형

+ Recent posts