Lightning-fast cluster computing

Apache Spark™ is a fast and general engine for large-scale data processing.

Spark Overview

Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala, Python and R, and an optimized engine that supports general execution graphs. It also supports a rich set of higher-level tools including Spark SQL for SQL and structured data processing, MLlib for machine learning, GraphX for graph processing, and Spark Streaming.

Downloading

Get Spark from the downloads page of the project website. This documentation is for Spark version 2.1.1. Spark uses Hadoop’s client libraries for HDFS and YARN. Downloads are pre-packaged for a handful of popular Hadoop versions. Users can also download a “Hadoop free” binary and run Spark with any Hadoop version by augmenting Spark’s classpath. Scala and Java users can include Spark in their projects using its maven cooridnates and in the future Python users can also install Spark from PyPI.

If you’d like to build Spark from source, visit Building Spark.

Spark runs on both Windows and UNIX-like systems (e.g. Linux, Mac OS). It’s easy to run locally on one machine — all you need is to have javainstalled on your system PATH, or the JAVA_HOME environment variable pointing to a Java installation.

Spark runs on Java 7+, Python 2.6+/3.4+ and R 3.1+. For the Scala API, Spark 2.1.1 uses Scala 2.11. You will need to use a compatible Scala version (2.11.x).

Note that support for Java 7 and Python 2.6 are deprecated as of Spark 2.0.0, and support for Scala 2.10 and versions of Hadoop before 2.6 are deprecated as of Spark 2.1.0, and may be removed in Spark 2.2.0.

.

[MAC] Mac OS 10.12.5 에서 python 웹브라우저 호출하는데 open location 메세지를 인식못한다고 할때.

KoNLPy 예제 중 워드클라우드 하는데 http://konlpy.org/ko/latest/examples/wordcloud/ 

자꾸 에러발생, 

뭔가 했더니 이미지는 만들어 졌는데, 브라우저 호출이 안됨. 

뭔가 버그인듯. 

터미널에서 실행해봄. 

브라우저 지정하면 나오긴 하는데, .py 파일로 샐행하면 삼천포로 빠짐.

>>> import webbrowser as wb

>>> b = wb.get(None)

>>> 

>>> b.open('http://www.google.com')

0:37: execution error: "http://www.google.com"이(가) ‘open location’ 메시지를 인식하지 못합니다. (-1708)

False

>>> b = wb.get("Safari")

>>> b.open('http://www.google.com')

True

>>> b = wb.get("Chrome")

>>> b.open('http://www.google.com')

True

>>> 

mac에서 폰트 안되서 폰트 설치하고, pytagcloud의  font.json도 변경하고 해서 어렵사리 뛰웠더니 이미지 안나오는 줄 알고 상심, 근데 알고보니 브라우저를 못찾는 거였음, 피곤. 

기존 설치된 pytagcloud의 font.json 을 확인해야함. 폰트파일은 있는데 font.json에 설정안되있어서 

def draw_cloud(tags, filename, fontname='Noto Sans CJK', size=(800, 600)): 에서 자꾸 에러남. 

워드클라우드 처음하는 거면 http://konlpy.org/ko/latest/examples/wordcloud/ 페이지에서 주석 이라고 되어있는 부분의 링크는 다 들어가서 설치하는게 좋음. 

pip install pygame

pip install simplejson

.

macOS에서 숨겨진 폴더, 숨긴 파일을 표시

Finder 또는 데스크탑에서 shift +command + . 키를 누르면 해당 폴더에 숨겨진 파일과 하위 폴더가 스르륵 나타납니다. 그리고 다시 해당 키 조합을 누르면 사라집니다.

문서탐색하기 테스트 중 오류 발생 http://konlpy.org/ko/latest/examples/explore/

Traceback (most recent call last):

  File "doc_find.py", line 6, in <module>

    from konlpy.corpus import kolaw

  File "/anaconda/lib/python3.6/site-packages/konlpy/__init__.py", line 15, in <module>

    from . import tag

  File "/anaconda/lib/python3.6/site-packages/konlpy/tag/__init__.py", line 4, in <module>

    from ._hannanum import Hannanum

  File "/anaconda/lib/python3.6/site-packages/konlpy/tag/_hannanum.py", line 7, in <module>

    import jpype

ModuleNotFoundError: No module named 'jpype'

깃허브에서 해답 찾음. https://github.com/konlpy/konlpy/issues/122

anaconda python을 이용하여 konlpy를 사용시 발생합니다.
우선 시스템 기본 python에 있는 jpype와 anaconda의 jpype를 삭제 합니다.

sudo pip uninstall jpype
/usr/local/anaconda/bin/pip uninstall jpype

그리고 jpype를 apt-get으로 설치 합니다.

sudo apt-get install python-jpype

그리고 난후 jpype를 테스트 합니다.

sudo python -c "import jpype"
위의 코드가 오류 없이 넘어 가면 시스템의 python은 정상입니다.

그리고 anaconda python에 jpype를 설치 합니다.
/usr/local/anaconda/bin/pip install jpype1

그리고 anacoda python에서 테스트 합니다.
/usr/local/anaconda/bin/python -c "import jpype"
위 코드에서 임포트 오류가 발생하면

anaconda에서 설치한 jpype 라이브러리에서 오류가 발생한것입니다.

시스템 python에 설치된 라이브러리 파일을 덮어 쓰면 오류가 해결 됩니다.

시스템에서 라이버러리를 찾으면

sudo find / -name _jpype.so
[sudo] password for nuri:
/usr/lib/python2.7/dist-packages/_jpype.so
/usr/lib/pyshared/python2.7/_jpype.so
/usr/local/anaconda2/lib/python2.7/site-packages/_jpype.so

위와 같이 세개가 나오는데(사용자 환경에 따라 다릅니다.)
/usr/lib/python2.7/dist-packages/_jpype.so <- 이 파일을
/usr/local/anaconda2/lib/python2.7/site-packages/_jpype.so <- 여기에 덮어 쓰면
해결 됩니다.

.

[그래픽] “요즘 유튜브에서 뭐 보니?”

2017년, 그들은 점점 성장하고 있다. 어린아이었던 그들이 디지털 업계의 큰손이 돼 간다. 늘 수익 창출의 늪에서 허덕이는 IT 기업의 입장에선 중요한 기점이다. Z세대가 아닌, 하지만 Z세대들의 소비가 중요한 미디어 기업 관계자들은 그들의 마음을 사로잡기 위해 온 노력을 다한다. <애드위크>와 <디파이미디어>는 13세에서 20세 사이의 청소년 1452명을 대상으로 미디어 이용 현황에 대한 설문조사를 실시했다. ‘어떤’ 소셜 미디어를 ‘언제’ 사용하며 ‘왜’ 해당 플랫폼을 이용하는지 등을 물어봤다.

Z세대의 미디어 이용 현황에 대한 설문조사 인포그래픽(사진=애드위크)

‘유튜브 없인 못살아요’ 50%

Z세대에게 유튜브는 완벽히 일상을 점령했다. 이용하는 소셜 플랫폼을 묻는 질문에서 95%의 청소년이 유튜브를 이용한다고 응답했다. 다음 순서는 인스타그램 69%, 페이스북 67%, 스냅챗 67%, 트위터 52% 순으로 이어졌다. 더 놀라운 점은 ‘이것 없이는 못살아’라는 항목에 50%의 청소년이 유튜브를 선택했다는 것이다. 과거 ‘TV 없이는 못살아’라고 외쳤던 청소년 세대가 있었다면 이제는 유튜브가 그 자리를 완전히 대체했음을 알 수 있다.

선호하는 미디어 플랫폼에는 성별로 조금씩 차이가 있었다. 여자아이들은 인스타그램, 페이스북, 스냅챗과 같은 동영상·이미지 공유 기반의 소셜 네트워크 서비스를 선호했다. 반면 남자아이들은 트위치tv처럼 게임 스트리밍 방송 플랫폼을 더 선호했다. ‘유튜브 없이는 못살아요’라고 응답한 청소년 수도 남자 청소년이 여자 청소년보다 24%가량 더 많았다. 주로 남자 청소년들이 영상 중심 서비스에, 여자 청소년들이 관계 지향적인 서비스에 더 친근하다는 것을 알 수 있다.

웬만한 유명인보다 믿음직한 SNS 스타

설문조사에 따르면 청소년들은 가수, 배우 등 연예인이나 사회적으로 유명한 인물들만큼 SNS 스타를 신뢰하는 것으로 나타났다. 어떤 물건을 구입할 때 어떤 인물의 조언을 믿느냐는 질문에 대해 경우에 따라 주류 유명인보다 온라인상의 인물을 신뢰한다는 응답이 더 높기도 했다.

미용에 관한 물건을 구매할 때는 주류 유명인의 의견을 더 신뢰하는 쪽이 44%이었지만, 온라인 스타의 의견을 신뢰하는 응답은 48%로 더 높았다. 옷이나 액세사리 같은 물건에는 주류 유명인이 43%, 온라인 스타가 41%로 아직까진 주류 유명인의 영향력이 높았다. 반면 테크 기기에 대해서는 온라인 스타의 의견을 신뢰한다는 응답이 70%로 압도적이었다.

SNS 스타에 대한 신뢰도 만큼, 해당 인플루언서들이 진행하는 브랜디드 콘텐츠에 대해서도 긍정적이었다. 79%의 청소년이 광고에 기반한 브랜디드 콘텐츠에 대해서 괜찮거나 불편하지 않다는 응답을 내놓았다. 유명인들이 제품에 대해 아무런 언급을 하지 않으면서 은근슬쩍 제품을 콘텐츠에 노출시키는 형태의 브랜디드 광고에 대해서도 61%가 괜찮다고 응답했다. 유명인들의 정치적 발언 역시 62%가 긍정적인 응답을 했다.

관계는 스냅챗에서, 정보는 유튜브에서

이밖에도 상황별 이용 플랫폼도 달랐다. 주로 지인들과 관계를 유지하기 위해서는 스냅챗이나 페이스북 같은 소셜 플랫폼이 강했고, 이 밖의 정보 습득성이나 재미 콘텐츠를 위해서는 유튜브가 강했다.

친구들과 소식을 주고받기 위해서는 스냅챗을 이용한다는 의견이 35%로 가장 높았고, 페이스북 26%, 인스타그램 18%가 뒤를 이었다. 뉴스 정보를 얻기 위해서는 페이스북과 유튜브의 이용률이 23%로 동일했다. 트위터가 14%로 뒤를 이었다. 재밌게 웃기 위해서는 유튜브를 이용한다는 의견이 51%로 1위를 차지했다. 또한 팁을 얻거나 정보를 얻기 위한 ‘하우투’ 콘텐츠 역시 유튜브에서 얻는다는 의견이 66%로 압도적이었다. 쇼핑 추천을 얻기 위해서도 24%의 청소년이 유튜브를 본다고 응답했고, 인스타그램 17%, 페이스북 16%가 뒤를 이었다.