Lightning-fast cluster computing

Apache Spark™ is a fast and general engine for large-scale data processing.

Spark Overview

Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala, Python and R, and an optimized engine that supports general execution graphs. It also supports a rich set of higher-level tools including Spark SQL for SQL and structured data processing, MLlib for machine learning, GraphX for graph processing, and Spark Streaming.

Downloading

Get Spark from the downloads page of the project website. This documentation is for Spark version 2.1.1. Spark uses Hadoop’s client libraries for HDFS and YARN. Downloads are pre-packaged for a handful of popular Hadoop versions. Users can also download a “Hadoop free” binary and run Spark with any Hadoop version by augmenting Spark’s classpath. Scala and Java users can include Spark in their projects using its maven cooridnates and in the future Python users can also install Spark from PyPI.

If you’d like to build Spark from source, visit Building Spark.

Spark runs on both Windows and UNIX-like systems (e.g. Linux, Mac OS). It’s easy to run locally on one machine — all you need is to have javainstalled on your system PATH, or the JAVA_HOME environment variable pointing to a Java installation.

Spark runs on Java 7+, Python 2.6+/3.4+ and R 3.1+. For the Scala API, Spark 2.1.1 uses Scala 2.11. You will need to use a compatible Scala version (2.11.x).

Note that support for Java 7 and Python 2.6 are deprecated as of Spark 2.0.0, and support for Scala 2.10 and versions of Hadoop before 2.6 are deprecated as of Spark 2.1.0, and may be removed in Spark 2.2.0.

.

[MAC] Mac OS 10.12.5 에서 python 웹브라우저 호출하는데 open location 메세지를 인식못한다고 할때.

KoNLPy 예제 중 워드클라우드 하는데 http://konlpy.org/ko/latest/examples/wordcloud/ 

자꾸 에러발생, 

뭔가 했더니 이미지는 만들어 졌는데, 브라우저 호출이 안됨. 

뭔가 버그인듯. 

터미널에서 실행해봄. 

브라우저 지정하면 나오긴 하는데, .py 파일로 샐행하면 삼천포로 빠짐.

>>> import webbrowser as wb

>>> b = wb.get(None)

>>> 

>>> b.open('http://www.google.com')

0:37: execution error: "http://www.google.com"이(가) ‘open location’ 메시지를 인식하지 못합니다. (-1708)

False

>>> b = wb.get("Safari")

>>> b.open('http://www.google.com')

True

>>> b = wb.get("Chrome")

>>> b.open('http://www.google.com')

True

>>> 

mac에서 폰트 안되서 폰트 설치하고, pytagcloud의  font.json도 변경하고 해서 어렵사리 뛰웠더니 이미지 안나오는 줄 알고 상심, 근데 알고보니 브라우저를 못찾는 거였음, 피곤. 

기존 설치된 pytagcloud의 font.json 을 확인해야함. 폰트파일은 있는데 font.json에 설정안되있어서 

def draw_cloud(tags, filename, fontname='Noto Sans CJK', size=(800, 600)): 에서 자꾸 에러남. 

워드클라우드 처음하는 거면 http://konlpy.org/ko/latest/examples/wordcloud/ 페이지에서 주석 이라고 되어있는 부분의 링크는 다 들어가서 설치하는게 좋음. 

pip install pygame

pip install simplejson

.

macOS에서 숨겨진 폴더, 숨긴 파일을 표시

Finder 또는 데스크탑에서 shift +command + . 키를 누르면 해당 폴더에 숨겨진 파일과 하위 폴더가 스르륵 나타납니다. 그리고 다시 해당 키 조합을 누르면 사라집니다.

대추나무에 상처를 내면 그해 대추가 더 많이 열린다.

조개 속 상처가 바로 진주이고,

많이 밟힌 길이 좋은 땅이 된다.

모두가 상처의 힘이다.

실패도 스펙이다.

- 안명옥 시인 

가시에 찔리지 않고는 장미를 모을 수 없습니다.

성공을 위해서도 가시에 찔리는 고통을 감수해야합니다.

성공한 사람들은 대부분 상처를 경험했습니다.

그 상처를 열정의 에너지로, 재능의 발판으로 삼은 사람들이

곧 성공한 사람들입니다.

.

그림은 

그리움의 다른 말이에요.

그림은 기다림의 줄임말이지요. 

화가는 그림으로 바람도 잡고 해와 달도 

동시에 잡아내요. 어쩌면 보이지 않기 때문에 

그려낼 수 있어요. 

- 전수민의《이토록 환해서 그리운》중에서 - 

* '그림 같다'고 하지요? 

더없이 아름다운 풍경을 보면...

미켈란젤로는 '대리석을 보면 그 안의 천사가 

보인다'는 어록을 남겼습니다. 보통 사람들에게는 

보이지 않지만 화가의 눈에는 '그림'이 보입니다. 

깊은 그리움과 오랜 기다림이 

눈을 뜨게 합니다.

.