긍정적 사고, 음식의 절제, 규칙적인 운동

NetworkX1는 Python 프로그래밍 언어를 위한 복잡한 네트워크 구조를 생성, 조작, 분석, 모델링, 시각화, 그리고 저장하기 위한 강력한 라이브러리입니다. 사회 네트워크, 웹의 링크 구조, 인프라 네트워크, 과학 연구에서의 상호작용 등 다양한 유형의 네트워크를 다룰 수 있습니다. NetworkX는 데이터 구조로 그래프를 제공하며, 이 그래프는 노드와 엣지(간선)로 구성되어 있습니다.

주요 특징

1. 다양한 그래프 타입 지원: 방향성이 있는 그래프(Directed Graphs), 방향성이 없는 그래프(Undirected Graphs), 다중 그래프(MultiGraphs) 등 다양한 유형의 그래프를 생성하고 조작할 수 있습니다.
2. 풍부한 알고리즘 지원: 최단 경로, 클러스터링, 센트럴리티, 커뮤니티 구조 탐지 등 네트워크 구조를 분석하기 위한 다양한 알고리즘이 내장되어 있습니다.
3. 그래프 생성과 조작: 그래프를 쉽게 생성하고 수정할 수 있으며, 노드와 엣지를 추가하거나 제거하는 등의 작업을 손쉽게 수행할 수 있습니다.
4. 대규모 네트워크 처리 능력: NetworkX는 메모리 내에 저장할 수 있는 한에서 수천에서 수백만 개의 노드와 엣지를 가진 그래프를 처리할 수 있습니다.
5. 시각화: Matplotlib와 통합되어 간단한 네트워크 구조를 시각화할 수 있으며, 복잡한 시각화를 위해서는 Graphviz와 같은 도구와 함께 사용할 수 있습니다.

pip install networkx

https://wikidocs.net/229298

TIOBE Index for June 2025

python

https://www.tiobe.com/tiobe-index/

[python] 파이썬 requirements.txt 처리

파이썬 프로젝트에서 requirements.txt 파일은 프로젝트가 의존하는 모든 외부 라이브러리(패키지)의 목록을 관리하는 데 사용되는 표준 방식입니다. 이 파일을 사용하면 개발 환경을 일관되게 유지하고, 다른 개발자나 배포 환경에서도 동일한 의존성을 쉽게 설치할 수 있습니다.

requirements.txt의 역할과 중요성

requirements.txt는 주로 다음과 같은 목적으로 사용됩니다:

• 의존성 관리: 프로젝트에 필요한 모든 라이브러리와 그 버전을 명확하게 기록합니다.
• 재현성 확보: 특정 시점의 개발 환경을 다른 컴퓨터나 환경에서도 정확하게 재현할 수 있게 합니다.
• 협업 용이: 팀원들이 동일한 라이브러리 버전을 사용하여 개발할 수 있도록 도와 충돌을 방지합니다.
• 배포 환경 설정: 애플리케이션을 서버나 컨테이너(Docker 등)에 배포할 때 필요한 의존성을 자동으로 설치할 수 있게 합니다.

requirements.txt 파일 생성 및 관리

1. 수동으로 파일 작성하기

가장 기본적인 방법은 필요한 라이브러리 이름을 직접 requirements.txt 파일에 한 줄에 하나씩 작성하는 것입니다. 특정 버전이나 최소 버전을 명시할 수도 있습니다.

# requirements.txt 예시
requests==2.31.0      # requests 라이브러리 버전 2.31.0 지정
beautifulsoup4>=4.9.3 # beautifulsoup4 라이브러리 버전 4.9.3 이상
pandas                # pandas 라이브러리 최신 버전 설치
numpy~=1.23.0         # numpy 라이브러리 1.23.x 버전 중 최신 설치 (1.23.0 <= version < 1.24.0)

• ==: 정확한 버전 지정 (가장 안전하지만 유연성이 떨어짐)
• >=: 최소 버전 지정
• ~=: 호환 가능한 릴리스(Compatible release) 지정. ~=1.23.0은 1.23.0 이상 1.24.0 미만 버전을 의미합니다. 마이너 버전 업데이트는 허용하지만 메이저 버전 업데이트는 방지합니다.
• 버전 지정이 없으면 pip는 항상 최신 버전을 설치합니다.

2. 현재 환경의 라이브러리 목록 내보내기

현재 파이썬 환경(가상 환경)에 설치된 모든 라이브러리 목록을 requirements.txt 파일로 자동 생성할 수 있습니다.

pip freeze > requirements.txt

• 이 명령은 현재 환경에 설치된 모든 패키지와 그 정확한 버전을 requirements.txt 파일에 기록합니다.
• 주의할 점은 프로젝트에 직접적으로 필요한 라이브러리뿐만 아니라, 그 라이브러리들이 의존하는 다른 라이브러리(하위 의존성)까지 모두 포함된다는 것입니다. 따라서 파일이 상당히 길어질 수 있습니다.
• 팁: 새로운 프로젝트를 시작할 때는 깨끗한 가상 환경에서 필요한 라이브러리만 pip install로 설치하고, 개발이 완료될 시점에 pip freeze > requirements.txt를 실행하여 해당 프로젝트에 정확히 필요한 의존성만 기록하는 것이 좋습니다.

requirements.txt 파일 처리 (라이브러리 설치)

requirements.txt 파일에 명시된 모든 라이브러리를 설치하려면 다음 명령어를 사용합니다.

pip install -r requirements.txt

• 이 명령은 requirements.txt 파일을 읽어 거기에 명시된 모든 라이브러리를 한 번에 다운로드하고 설치합니다.
• 권장 사항: 항상 가상 환경(Virtual Environment) 내에서 이 작업을 수행하세요. 가상 환경을 사용하면 프로젝트별로 독립적인 의존성 관리가 가능하여 시스템 전체의 파이썬 환경과 충돌하는 것을 방지할 수 있습니다.

# 1. 가상 환경 생성 (처음 한 번만)
python -m venv my_project_env # 또는 conda create -n my_project_env python=3.9

# 2. 가상 환경 활성화
# Windows: .\my_project_env\Scripts\activate
# macOS/Linux: source my_project_env/bin/activate
# Conda: conda activate my_project_env

# 3. requirements.txt 파일이 있는 디렉토리로 이동
# cd /path/to/your/project

# 4. 라이브러리 설치
pip install -r requirements.txt

requirements.txt 관리 팁

• 가상 환경 사용: 위에서 강조했듯이, 모든 파이썬 프로젝트는 전용 가상 환경 내에서 관리하는 것이 표준이자 가장 좋은 방법입니다.
• 개발/배포 의존성 분리: 프로젝트 규모가 커지면 개발(테스트 프레임워크, 린터 등)에만 필요한 라이브러리와 실제 배포에 필요한 라이브러리를 분리하여 여러 개의 requirements 파일을 만들기도 합니다.
  • requirements.txt (배포용 필수 라이브러리)
  • requirements-dev.txt (개발용 라이브러리)
  • 설치할 때는 pip install -r requirements.txt -r requirements-dev.txt 와 같이 여러 파일을 지정할 수 있습니다.
• 버전 고정의 장단점:
  • 장점: requests==2.31.0처럼 정확히 버전을 고정하면 다른 환경에서 설치할 때 버전에 따른 호환성 문제가 발생할 확률이 매우 낮아집니다.
  • 단점: 새롭게 발견된 버그 수정이나 보안 패치가 적용된 최신 버전의 이점을 누리기 어렵습니다.
• 업데이트: 시간이 지나면서 라이브러리를 업데이트해야 할 경우, requirements.txt 파일의 버전을 직접 수정하거나, pip install --upgrade <package_name>으로 개별 패키지를 업데이트한 후 pip freeze > requirements.txt를 다시 실행하여 반영할 수 있습니다.

requirements.txt 파일은 파이썬 프로젝트의 건강한 생태계를 유지하는 데 필수적인 도구입니다.

[Python] 파이썬 python 데이터 처리 위한 기본 설치 라이브러리

1. Anaconda 설치  https://www.anaconda.com/download

pip install numpy pandas matplotlib seaborn scikit-learn

[python] List of running process using python

import psutil

def listProcesses():
    for proc in psutil.process_iter():
        try:
            pinfo = proc.as_dict(attrs=['pid', 'name'])
        except psutil.NoSuchProcess:
            pass
        else:
            print(pinfo)

[python] zimport - 수많은 python 패키지를 압축하여 관리 (github.com/waveware4ai)

python 패키지를 관리하다 보면 수많은 파일들이 부담스러울때 필요한 zimport 를 소개합니다.

소개

• zimport는 Python의 표준 zipimport를 대체하고 개선한 도구입니다.
• zimport는 zip-archives에서 Python 패키지를 로드하고 관리하는 데 사용됩니다. 즉, Java jar처럼 Python 패키지를 관리할 수 있습니다. 또한 동적 라이브러리(.dll, .pyd, .so) 로드도 지원합니다.
• 이 도구를 만들고 저의 python 작업 디렉토리는 약 160gb, 수백만개 파일에서 80G 1만 개 수준으로 줄어 들었습니다.

주요기능

• zip-archive에서 동적 라이브러리 로딩 지원(.pyd, .dll, .so, .dylib)
• zip-archive에서 내부 read() 시에 Java의 getresource처럼 내부 파일(예: 환경 파일) 읽기 지원
• 컴파일된 .pyc 파일 지원(name.cpython-version.pyc 및 pycache 폴더)

사용된기술

• importlib, meta_path, path_hooks
• function intercept (standard open, stat, read, ctypes.WinDLL, ctypes.CDLL 등)

사용환경

• python win/linux/macosx 지원
• python version 3.8~3.12 지원

사용방법

python -m pip install zimport
import zimport

• lib/site-package 디렉토리에서 패키지를 한꺼번에 압축하고, sys.path 에 추가하기만 하면 정상적으로 작동합니다.
• 물론, 시간의 여유가 되신다면 패키지별로 압축하여, java 의 jar 처럼 의존성에 따라서 패키지를 sys.path 에 추가해 주시면 됩니다.
• 또한 한번 압축된 package 는 share 하여 쓸수 있기 때문에 하드디스크 공간의 낭비를 줄여줄수 있다고 생각합니다.

마지막으로

• 소스는 github 에 공개하였으며 현재 버전은 0.1.4 입니다. 몇몇 package (예를들어 transformers) 아직 지원하지 안으며, torch, torchvision, numpy, pandas 와 같은 major 패키지는 이상없이 동작함을 확인하였습니다.

https://github.com/waveware4ai/zimport

• 또한, portable python 과 아주 궁합이 잘맞습니다. 이것도 github 에 업로드 하였습니다. linux 버전은 직접 컴파일하였고, windows 버전은 embeded 를 개작하였습니다.

https://github.com/waveware4ai/PortablePython

• 사용시 발생하는 버그나 문제점들은 리포팅해주시면 개선하도록 하겠습니다.