리치윈드 (RichWind)

맥북 M1 Chip는 Nvidia 그래픽카드를 사용하지 않는다. Apple 자체 개발한 M1 Chip을 사용하며, 이 아키텍처는 CPU와 GPU가 메모리를 공유하는 구조로 되어 있다. 따라서, NVIDA 그래픽카드 메모리에서 구동하도록 만들어진 CUDA 를 사용하지 못한다. pytorch + GPU를 사용하는 대부분 실험과 Application이 CUDA를 사용하는 것을 고려할 때, 이것은 매우 심각한 문제라고 할 수 있다. 그러나, 애플에서 이부분을 고려하지 않을리 없다. 애플 또한 CUDA에 해당하는, M1 Chip의 GPU가속을 사용하도록 지원하는 프레임워크 "MPS"를 지원하고, pytorch 또한 이 MPS를 지원한다. MPS가 세팅되었는지 확인하기 위해서 다음과 `torch.backends.m..

개발 이야기/Python 2023. 11. 13. 17:33

이번 포스팅이서 다루고자 하는 내용은 Python 소스를 배포하고 구동하는 발생하는 어려움 중 하나의 대해서 이야기 하고자 한다. 결론부터 이야기하면, Python 소스를 배포할 때 사용하는 패키지 리스트 (requirements.txt)가 간혹 호환성 (Compatible)이 없을 때가 있다. 필자의 경우는, 이런경우를 수정하고 배포하거나 검증/수정을 하는데, 다른 개발자가 개발한 배포 버전에서 이런 부분이 다수 발견되었다. 다른 분들도 이런 경우가 발생하지 싶어서 포스팅을 남겨 본다. [순서] 1) Python 패키지 배포 (기본사항 리마인드) 2) Python 패키지 리스트 중 발생 가능한 이슈 3) 문제 발생 원인 4) 문제 해결 방안 [결론] 일관된 requirements.txt 포맷을 출력하기..

개발 이야기/Python 2023. 1. 18. 16:09

2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel 2022.12.06 - [개발 이야기/Python] - [Jupyter Kernel 추가] conda 가상환경을 jupyter Kernel로 추가하기 2022.09.19 - [개발 이야기/Python] - [주피터노트북 커널] jupyter lab/notebook kernel 2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel 2020.06.04 - [개발 이야기/Python] - [파이썬] Anaconda x Jupyter notebook 설치 및 설정 방법 - 가상환경으로 파이썬 개발..

개발 이야기/Python 2022. 12. 6. 20:17

지난번 포스팅에서는 conda를 이용하여 가상환경을 생성/확인/삭제 등에 대하여 알아 보았다. conda 가상환경에 대한 글은 아래 글을 참조 바란다. 2022.09.19 - [IT 이야기/IT 상식] - [Python 가상환경] conda 설치 및 가상환경 (feat. 내부 로직 & cheat sheet) 그런데, conda에서 가상환경을 생성하였다고 하더라도, Jupyter Lab 또는 Jupyter Notebook에서는 신규 생성한 가상환경으로 시작할 수가 없다. 물론, 가상환경으로 변경(conda activate) 후에 jupyter Lab 서비스 구동 자체 다시 시작하면 해당 가상환경으로 Jupyter를 사용할 수 있기는 하다. 그러나, 매번 Jupyter 서비스를 다시 재구동 할수는 없지 않겠..

개발 이야기/Python 2022. 9. 19. 23:06

Python은 Flask / FastAPI / Django 등에서 각 Web Application 의 함수를 Routing해 준다. 그러나, AWS Lambda와 같은 Serverless 방식으로 Function을 구동한다면 어떻게 라우팅 해 줄 수 있을까? AWS에서 제시하는 답은 API Gateway를 사용하라.!!! 추가적으로 Routing을 처리하는 과정에서 L7 Layer 장비가 해 줄수있는 Application에서의 추가기능을 제공한다. 대표적으로, Request의 Validation 점검, Response의 변형, 그리고 prod/test 등의 deploy 관리 등이다. API Gateway를 사용한 솔루션 개발 그림으로 도식화하여 보자. Amazon API Gateway를 사용하면 다음 그..

개발 이야기 2022. 7. 18. 11:39

[관련글] 2022.07.11 - [IT 이야기/IT 상식] - AWS교육[요약]-Technical Essential : IAM/Role/EC2/VPC/ELB 2022.07.13 - [개발 이야기] - [AWS 교육 요약] - Developing on AWS (1/4) 2022.07.13 - [개발 이야기] - [AWS 교육 요약] Developing on AWS (2/4) AWS 데이터베이스 - DynamoDB [ Amazon DynamoDB ] 규모에 따른 성능 엔터프라이즈에 사용 가능 대기 시간이 짧은 쿼리 서버리스 / 완전관리형 세분화된 엑세스 제어 DynamoDB는 파티션키를 필수로 요구한다. 왜 그럴까 생각해 보면, NoSQL DB관점에서 각 아이템(행)을 저장할 때 Hash를 사용하는데, H..

개발 이야기 2022. 7. 13. 18:43

[관련글] 2022.07.11 - [IT 이야기/IT 상식] - AWS교육[요약]-Technical Essential : IAM/Role/EC2/VPC/ELB 2022.07.13 - [개발 이야기] - [AWS 교육 요약] - Developing on AWS (1/4) 2022.07.13 - [개발 이야기] - [AWS 교육 요약] Developing on AWS (2/4) [ 교육 목표 ] 개발환경을 지원하도록 IAM 권한 구성 AWS SDK를 사용한 Cloud Native Application 설계/구축/배포 AWS 리소스 모니터링 및 유지 관리 [ 목표 서비스 아키텍처 - MSA ] AWS Web Console에서 AWS 서비스들을 제어 할 수 있지만, 서비스에 따라서는 프로그래밍 환경에서 제어가 ..

개발 이야기 2022. 7. 13. 09:58

텐서플로우(Tesorflow)를 이용한 오디오 파이프라인을 구성하려고 할 때, tensorflow-io에서 다음과 같은 에러가 발생하는 일이 빈번하다. NotImplementedError: unable to open file: libtensorflow_io.so #1313 Tensorflow에서는 GPU 관련하여 버전이 안맞으면 이러한 에러가 자주 발생한다. (tensorflow-io와 기존 tensorflow/cuda/cuDNN의 버전이 안맞는 경우) 특히 필자의 경우는, TFIO를 사용해서 오디오를 로드해야만 하는 상황이었다. tfio.audio.AudioIOTensor(...) 구글링을 해도 여러가지 해법이 동작하지 않았다. 그 중 몇개의 댓글에서 해답을 찾았다. [해결 방안] !pip instal..

개발 이야기 2022. 7. 6. 17:02

모듈 : 함수들이 뭉쳐진 하나의 .py 파일 패키지 : 여러 개의 모듈을 그룹화한 묶음 라이브러리 : 패키지의 모음을 그룹화 [목차] 파이썬 모듈 만들기 파이썬 모듈 불러오기 (상대경로, 절대경로, 환경변수 등록) 파이썬 모듈 실행 : __name__의 의미 패키지와의 관계 파이썬 모듈 (Python Module) 모든 python 파일 (*.py)는 모듈이며, 각 모듈은 `import`를 통해서 모듈을 추가 할 수 있다. 또한 모듈 안의 모든 함수와 개체 또한 모듈로 볼 수 있다. import 모듈이름 예를 들어, 다음과 같은 코드를 `calc.py`로 저장한 경우를 가정하자. # calc.py def add(a,b): return a+b 모듈 불러오기 이 경우 다음과 같이 모듈을 추가할 수 있다. i..

개발 이야기/Python 2022. 6. 25. 23:42

librosa 설치 오류 Librosa를 처음 설치하다 보면, 아래와 같이 import도 되지 않는 상황이 종종 발생하곤 한다. 아무리, pip 명령어를 만져봐도 시작부터 되지 않는 경우이다. sndfile library not found librosa는 내부적으로, scipy.wavefile과 sounfile 라이브러리를 사용하는데, soundfile 라이브러리 설치가 잘 안되서 발생하는 문제이다. soundfile library는 파이썬 외에 os차원에서 설치해야하는 library가 포함되어 있기 때문에, pip 및 종속성검사로 설치가 되지 않는다. Librosa 공식웹페이지 이외, Github Page를 참조하면, Soundfile을 설치할 때 다음과 같은 사전설치/업데이트가 필요하다고 가이드 되어..

개발 이야기/Python 2022. 6. 2. 15:56

자꾸만 망각하게 되는 코딩테스트 유형들. 자료구조 기준으로 요약을 정리하고, 활용 사례 및 예제를 정리해 보자. 코딩테스트 하루 전에 숙지해야할 내용들을 정리해 본다. 해시 (Hash) Key-Value 쌍을 이용한 빠른 탐색 해시를 사용하는 대표적인 자료구조는 Dictionary 이다. 키-값 (Key-Value)를 사용하여 자료를 저장하는 해시(Hash) 중에서 Python에서는 Ditionary를 편하게 다루기 위해서 `Counter`, `defaultdict` 등의 라이브러리를 제공한다. 다음은 주어진 `단어배열` (Array of Words)에서 각 단어의 수를 세는 예제이다. Counter()를 이용하면 아래와 같이 단순히 `Counter(array): --> dict`로 그 수를 세어 저장할..

개발 이야기/Python 2022. 5. 24. 14:02

코딩과 개발 열풍이 불고 있다. 개발자는 당연하고 개발을 하지 않던 학생/직장인들까지 프로그램 개발에 관심도가 높아지고 있다. 이러한 현상이 언제까지 이어질지는 잘 모르겠다. 그러나, 원래 이 분야는 "좋은 직장", "높은 급여"가 보장되어서 개발을 업으로 하는 사람들이 아니었다. 그냥 개발이 좋았고, 본인의 생각데로 구현되는 것이 신기해 하고, 모르는 것을 예상외의 알고리즘들로 풀리는 것을 흥미로워 하는 사람들이다. 이 또한 썰물이 빠지고 나면 옥석이 가리게 될텐데, 그 때 "돌"이 되지 않기 위해서는 끊임없는 노력이 필요할 것이다. 그러한 관점에서 알고리즘 및 프로그램 경시대회들 또한 알아 보자. 또한, 관련한 공부 재료를 제공하는 곳도 함께 말이다. (단순히 테스트/입사 시험을 위한 코딩 테스트와는..

개발 이야기 2022. 5. 13. 19:33

[관련 글] 2022.05.24 - [개발 이야기/Python] - [코딩 테스트] 파이썬 코딩테스트 핵심 요약 (CheatSheet) - 코테 1시간전에 꼭 보자. 2022.04.30 - [개발 이야기] - [코테] 코딩 테스트 플랫폼 4종 - 백준, 리트코드, 프로그래머스, 코드시그널 2021.12.16 - [개발 이야기/Python] - 파이썬 오디오 라이브러리 Top 5종 (Python Audio Library ) 2020.12.16 - [분류 전체보기] - [개발] 피보나치(Fibonacci) 수열 구현 7가지 방법 - 파이썬 실습/확인 바로하기 2020.05.09 - [개발 이야기] - [개발] 파이썬 문법 5분만에 읽히기 - 파이썬 기본 문법 요약/정리 8 가지 2018.03.03 - [개발..

개발 이야기/Python 2022. 5. 8. 19:48

[관련 글] 2022.05.24 - [개발 이야기/Python] - [코딩 테스트] 파이썬 코딩테스트 핵심 요약 (CheatSheet) - 코테 1시간전에 꼭 보자. 2022.04.30 - [개발 이야기] - [코테] 코딩 테스트 플랫폼 4종 - 백준, 리트코드, 프로그래머스, 코드시그널 2021.12.16 - [개발 이야기/Python] - 파이썬 오디오 라이브러리 Top 5종 (Python Audio Library ) 2020.12.16 - [분류 전체보기] - [개발] 피보나치(Fibonacci) 수열 구현 7가지 방법 - 파이썬 실습/확인 바로하기 2020.05.09 - [개발 이야기] - [개발] 파이썬 문법 5분만에 읽히기 - 파이썬 기본 문법 요약/정리 8 가지 2018.03.03 - [개발..

개발 이야기/Python 2022. 5. 8. 18:48

2022.05.24 - [개발 이야기/Python] - [코딩 테스트] 파이썬 코딩테스트 핵심 요약 (CheatSheet) - 코테 1시간전에 꼭 보자. 2022.05.08 - [개발 이야기/Python] - [음성인식 - 6라인] 가장 쉬운 음성인식 (STT) 해 보기 2022.04.30 - [개발 이야기] - [코테] 코딩 테스트 플랫폼 4종 - 백준, 리트코드, 프로그래머스, 코드시그널 2021.12.16 - [개발 이야기/Python] - 파이썬 오디오 라이브러리 Top 5종 (Python Audio Library ) 2020.12.16 - [분류 전체보기] - [개발] 피보나치(Fibonacci) 수열 구현 7가지 방법 - 파이썬 실습/확인 바로하기 2020.05.09 - [개발 이야기] - [..

개발 이야기/Python 2022. 5. 7. 17:01

이 문제 때문에 반나절이 날아갔다. 다른 분들은 이런 시간 낭비를 하지 않기를 바라며, 정보를 공유 한다. 에러 발생 현상 문제의 발생은 아래와 같다. "React" 프로젝트, 갑자기 멀쩡하게 사용하고 있는 모듈에서 "Module Not Found"에러가 발생한다. 뭐지....? 멀쩡하게 잘 돌고 있던 건데...? 흐음... React Upgrade 후에 이러한 현상이 발생한것 같은데..? 위 이미지는 Tensorflow js (TFJS)의 Speech-commands 모델을 사용하면서 발생한 에러 화면이다. React Upgrade 후 갑자기 'fs' 모듈을 찾을 수 없는 상황이다. 더보기 일반적인 경우, 'fs'는 FrontEnd에서는 사용하지 않고, Server-Side에서 사용하는 경우 에러가 발..

개발 이야기 2022. 5. 6. 18:19

실력 무관, 코딩 테스트 준비가 필요하다. 최근 코로나로 인한 환경과 인식 변화, 그리고 스타트업 등 신규 서비스 개발에 대한 수요 증가, 상대적으로 준비된 개발자의 부족 등으로 개발자의 이직이 부쩍 증가하였다. 최근 개발자의 이직 과정에서 서류 다음 절차로 코딩테스트를 기본으로 하고 있다. 오랫동안 한 직장에 근무하다 이직은 준비하는 사람이라면, 코딩 테스트의 난이도를 떠나서 코딩테스트 자체가 낯설 수 있다. 아무리 실무적 실력이 좋아도 다음과 같은 이유로 코딩테스트는 미리 준비해야할 필요가 있다. 1차적으로 플랫폼 마다 Input/Output이 익숙 해져야 한다. 출제되는 문제도 어느 유형이 있기 때문에, 실력과 별개로 학습이 필요하다. 코딩테스트는 제한된 시간 내에 풀어야 하므로, 즉각적인 유형 파..

개발 이야기 2022. 4. 30. 22:38

[관련 글] 2022.05.24 - [개발 이야기/Python] - [코딩 테스트] 파이썬 코딩테스트 핵심 요약 (CheatSheet) - 코테 1시간전에 꼭 보자. 2022.05.08 - [개발 이야기/Python] - [음성인식 - 6라인] 가장 쉬운 음성인식 (STT) 해 보기 2022.04.30 - [개발 이야기] - [코테] 코딩 테스트 플랫폼 4종 - 백준, 리트코드, 프로그래머스, 코드시그널 2020.12.16 - [분류 전체보기] - [개발] 피보나치(Fibonacci) 수열 구현 7가지 방법 - 파이썬 실습/확인 바로하기 2020.05.09 - [개발 이야기] - [개발] 파이썬 문법 5분만에 읽히기 - 파이썬 기본 문법 요약/정리 8 가지 2018.03.03 - [개발 이야기/Pytho..

개발 이야기/Python 2021. 12. 16. 22:10

PIP 오류 : 아무것도 할 수 없다. PYthon으로 개발을 하다 보면가상환경을 만들거나 PIP Install를 빈번하게 사용한다. 그런데, 간혹 PIP 자체가 에러를 보인다. PIP ImportError 다음은 필자가 가상환경(Virtual Env.)에서 몇몇 모듈을 설치하다가 겪은 오류중 하나이다. 환경은 MacOS (Big Sur) 환경이다. $ pip --version Traceback (most recent call last): File "/Users/windstream/anaconda3/envs/Pytorch/bin/pip", line 7, in from pip._internal.cli.main import main File "/Users/windstream/anaconda3/envs/Pyt..

개발 이야기/Python 2021. 7. 16. 14:30

관련글 2020.05.09 - [개발 이야기] - 온라인 IDE - 개발 환경 구축 없어 어디서나 웹브라우저로 개발하기 2020.12.16 - [분류 전체보기] - 피보나치(Fibonacci) 수열 구현 7가지 방법 - 파이썬 실습/확인 바로하기 2020.04.30 - [개발 이야기] - 코딩시험 대비 - 웹 IDE(구름IDE)로 개발(Coding)환경을 구축해 보자. 2020.06.04 - [개발 이야기/Python] - [파이썬] Anaconda x Jupyter notebook 설치 및 설정 방법 - 가상환경으로 파이썬 개발환경 구성 구름 코딩 테스트 소개 SW개발과 코딩 역량이 더욱 중요해 지는 요즈음, 여러가지 언어에 대한 개발/테스트 환경이 중요한 요소가 되었다. 물론, 본인의 PC/데스크탑에..

개발 이야기 2021. 5. 18. 15:10