본문 바로가기

아파치

Apache Kafka - 분산 스트리밍 플랫폼 http://kafka.apache.org/ Apache Kafka - 분산 스트리밍 플랫폼 http://kafka.apache.org/ Apache Kafka카프카(kafka)는 분산 스트리밍 플랫폼(Distributed streaming platform)이다. 분산 스트리밍 플랫폼은 아래의 기능을 가지고 있어야 한다.데이터 스트림을 게시(Publish)하고 구독(Subscribe)할 수 있어야 한다. 이 점에서 메시지 큐 혹은 엔터프라이즈 메시징 시스템과 유사한 면이 있다.내결함성(장애에 대한 내성)을 가지고 있어야 한다. 스트리밍 플랫폼을 구성하는 노드에 문제가 생기더라도 데이터를 안전하게 저장 할 수 있어야 한다.데이터 스트림을 처리 할 수 있어야 한다.카프카는 분산 스트리밍 플랫폼이 가져야 하는 위의 기본적인 기능을 가지고 있다. 카프카는.. 더보기
[마소연재] 누구나 쉽게 구축할 수 있는 하둡 기반 분산시스템 [마소연재] 누구나 쉽게 구축할 수 있는 하둡 기반 분산시스템 1회 : 2012.09 | 아파치 플룸을 통한 로그 수집 2회 : 2012.10 | 아파치 하둡 활용한 로그 저장 및 처리 3회 : 2012.11 | 아파치 하이브 로그 분석 http://hadoop.apache.org/ http://hive.apache.org/ 아파치 하둡에는 그 유용성을 더 넓혀 주는 다양한 에코시스템이 있다. 하둡을 중심으로 플룸(Flume), 하이브(Hive), HBase, ZooKeeper, Oozie, Pig, Sqoop, whirr 등 다양한 에코시스템 생태계가 활성화 돼 있다. 더보기