본문 바로가기

hadoop

[마소연재] 누구나 쉽게 구축할 수 있는 하둡 기반 분산시스템 [마소연재] 누구나 쉽게 구축할 수 있는 하둡 기반 분산시스템 1회 : 2012.09 | 아파치 플룸을 통한 로그 수집 2회 : 2012.10 | 아파치 하둡 활용한 로그 저장 및 처리 3회 : 2012.11 | 아파치 하이브 로그 분석 http://hadoop.apache.org/ http://hive.apache.org/ 아파치 하둡에는 그 유용성을 더 넓혀 주는 다양한 에코시스템이 있다. 하둡을 중심으로 플룸(Flume), 하이브(Hive), HBase, ZooKeeper, Oozie, Pig, Sqoop, whirr 등 다양한 에코시스템 생태계가 활성화 돼 있다. 더보기
[NoSQL] 클라우드 서비스에 적용되는 데이터베이스 솔루션 * 빅데이터 3대 활용 요소 자원 활용할 수 있는 빅데이터 발견 기술 빅데이터 플랫폼의 데이터 저장/관리 기술(NoSQL, ETL) 및 처리 기술(Hadoop) 인력 Data Scientist 역량 향상 NoSQL(Not only Sql)은 지금까지 사용되왔던 관계형 데이터베이스 모델에 얽매이지 않고 비테이블 기반이다. NoSQL은 추가/추출 Operation과 레코드 저장 기능에 대해서 최적화가 적용되어 대용량 데이터 처리에 대해서 기존 관계형 데이터베이스가 가지고 있던 단점을 보완할 수 있다. * 클라우드 서비스에 적용되는 데이터베이스 솔루션 가상 머신 기반으로 적용 데이터베이스 서비스 SQL 데이터 모델 - Oracle DB - IBM DB2 - Ingres - PostgreSQL - MySQL -.. 더보기
[Cloud] Linux와 Apache Hadoop을 사용한 클라우드 컴퓨팅 이미 2009년에 클라우드에 대한 얘기는 했었는데, 인지를 못하고 있다가 지금 보니 이미 옆에 와있군. 클라우드 서비스 업체인 클루넷이 주가가 오르니 안오르니 그런 얘기가 오갔었는데 ㅋㅋㅋ 관심을 가져봐야 할껀 Hadoop 이 아닐까 한다. 뭔지는 잘 모르겠다고 생각하겠지만, 결국 나중엔 우리 옆에서 가장 많이 사용되는 것 중의 하나가 될지도 모르니 말이다. 클라우드 컴퓨팅 입문 클라우드 컴퓨팅이란 무엇입니까? 클라우드 컴퓨팅은 일종의 컴퓨팅 솔루션으로 이 솔루션을 이용하면 사용자가 기술이나 서비스를 이용하여 액세스하는 방법에 관계없이 직접 연결이나 LAN, WAN 또는 인터넷을 통해 필요에 따라 온 디맨드 형태로 실제 자원이나 가상의 자원 그리고 전용 자원이나 공유 자원 형태의 컴퓨팅 자원을 액세스할 .. 더보기