긍정적 사고, 음식의 절제, 규칙적인 운동

Apache Kafka - 분산 스트리밍 플랫폼

http://kafka.apache.org/

Apache Kafka

카프카(kafka)는 분산 스트리밍 플랫폼(Distributed streaming platform)이다. 분산 스트리밍 플랫폼은 아래의 기능을 가지고 있어야 한다.

1. 데이터 스트림을 게시(Publish)하고 구독(Subscribe)할 수 있어야 한다. 이 점에서 메시지 큐 혹은 엔터프라이즈 메시징 시스템과 유사한 면이 있다.
2. 내결함성(장애에 대한 내성)을 가지고 있어야 한다. 스트리밍 플랫폼을 구성하는 노드에 문제가 생기더라도 데이터를 안전하게 저장 할 수 있어야 한다.
3. 데이터 스트림을 처리 할 수 있어야 한다.

카프카는 분산 스트리밍 플랫폼이 가져야 하는 위의 기본적인 기능을 가지고 있다. 카프카는 아래의 응용프로그램을 개발하는데 유용하게 사용 할 수 있다.

1. 시스템과 시스템 혹은 시스템과 애플리케이션 사이에 안전한 데이터 전송을 위한 실시간 스트리밍 데이터 파이프라인 구축
2. 데이터 스트림을 변환하거나 이를 받아서 즉시 처리하는 실시간 스트리밍 애플리케이션의 구축

카프카가 어떻게 이런일을 하는지 살펴보자. 아래 카프카의 주요 컨셉을 설명하고 있다.

• 카프카는 하나 이상의 서버로 구성되는 클러스터에서 작동한다.
• 카프카 클러스터는 토픽(topics)라고 부르는 파이프라인에 데이터 레코드 스트림을 저장한다.
• 각각의 레코드는 키, 값, 타임스탬프로 구성된다.

카프카의 주요 API들은 아래와 같다.

• Producer API : 애플리케이션은 이 API를 이용해서 하나 이상의 카프카 토픽에 스트림 레코드를 게시할 수 있다.
• Consumer API : 애플리케이션은 이 API를 이용해서 하나 이상의 카프카 토픽으로 부터 스트림 레코드를 구독 할 수 있다.
• Streams API : 애플리케이션이 하나 이상의 토픽에서 입력 스트림을 읽고 변환해서 하나 이상의 출력 토픽으로 스트림을 보낼 수 있도록 한다.
• Connector API : Connector를 이용해서 재 사용 가능한 Producer 혹은 Consumers를 카프카 토픽에 연결 할 수 있다. 예를 들어 관계형 데이터베이스 컨넥터는 테이블에 대한 변경 사항을 캡처할 수 있다.

아래 그림은 카프카의 구성요소들을 보여주고 있다. 이들 구성요소들은 위의 주요 API를 이용해서 주어진 일을 한다.

• Kafka 시작하기
• Apache kafka
• The Pathologies of Big Data
• Kafka 컨슈머 그룹
• Apache Kafka 소개 및 아키텍처 정리

.

포트 오픈상태 확인 사이트

http://www.yougetsignal.com/tools/open-ports/

보안프로그램이 자꾸 호스트파일을 엎어서 수동 적용할 때가 자주 발생한다.

아래경로의 파일에 호스트 경로 추가하면 된다.

만약 저장권한이 없다고 나오면, 메모장을 열기 전에 메모장 아이콘에서 마우스 우측 클릭.

관리자 권한으로 실행 후 아래 경로 파일을 열고 호스트를 추가하면 된다.

C:\Windows\System32\drivers\etc\hosts

# For example:
#
#      102.54.94.97     rhino.acme.com          # source server
#       38.25.63.10     x.acme.com              # x client host

# localhost name resolution is handled within DNS itself.
# 127.0.0.1       localhost
# ::1             localhost

OpenSSL Convert PEM  

https://www.sslshopper.com/ssl-converter.html

Convert PEM to DER

openssl x509 -outform der -in certificate.pem -out certificate.der

Convert PEM to P7B

openssl crl2pkcs7 -nocrl -certfile certificate.cer -out certificate.p7b -certfile CACert.cer

Convert PEM to PFX

openssl pkcs12 -export -out certificate.pfx -inkey privateKey.key -in certificate.crt -certfile CACert.crt

OpenSSL Convert DER

Convert DER to PEM

openssl x509 -inform der -in certificate.cer -out certificate.pem

OpenSSL Convert P7B

Convert P7B to PEM

openssl pkcs7 -print_certs -in certificate.p7b -out certificate.cer

Convert P7B to PFX

openssl pkcs7 -print_certs -in certificate.p7b -out certificate.cer

openssl pkcs12 -export -in certificate.cer -inkey privateKey.key -out certificate.pfx -certfile CACert.cer

OpenSSL Convert PFX

Convert PFX to PEM

openssl pkcs12 -in certificate.pfx -out certificate.cer -nodes

If you need to convert a Java Keystore file to a different format, it usually easier to create a new private key and certificates but it is possible to convert a Java Keystore to PEM format.

윈도우 최대절전모드 끄기

어느날 부터인가 컴퓨터가 대기모드로 들어가서 꺼진다.

아무 설정하지 않았는데.  컴퓨터 전원관리에서 변경해도 꺼진다.

그럴때, 최대절전모드 끄기 명령어 실행.

[윈도우] - [검색] : CMD 검색.

관리자 권한으로 실행해야 한다.

그리고, 명령어 창에 " powercfg -h off  " 라고 입력하면 끝!

명령어창 닫는 명령은  " exit "

* 배치파일(.bat)을 항상 관리자권한으로 실행하기

  1. 배치파일의 바로가기를 만든다.

  2. 바로가기 속성에서 "고급(D)..." 선택

  3. 관리자 권한으로 실행 을 체크한다.

  4. 시작프로그램 폴더에 바로가기를 넣어두면 부팅시 항상 실행.

.

Install Ubuntu 13.10

http://www.ubuntu.com/download/desktop/install-desktop-latest