리치윈드 (RichWind)

맥북에서 Docker 사용 최적화 방법 3가지

리치윈드 - windFlex — Sat, 21 Feb 2026 12:28:03 +0900

맥북에서 Docker Desktop을 구동할 때,

부담 스럽다고 느낀 사람 손 !!!

맥북에서 Docker Compose가 느린 이유와 최적의 해결책 3가지

맥북으로 개발하다 보면 이런 고민에 빠지게 됩니다. "분명 사양은 좋은데, 왜 도커만 띄우면 팬이 돌고 빌드 속도가 느릴까?" 맥(macOS)은 리눅스가 아니기 때문에, 도커를 실행하려면 내부적으로 가상 머신(VM)을 한 번 거쳐야 합니다. 특히 소스 코드를 실시간으로 컨테이너에 동기화하는 '파일 마운트' 과정에서 병목 현상이 심하죠. 오늘은 맥북 환경에서 Docker Compose를 가장 쾌적하게 사용하는 3가지 방법을 정리해 드립니다.

1. 가장 쉬운 정공법: Docker Desktop (VirtioFS 설정)

별도의 툴 설치 없이 기존 도커 데스크탑을 그대로 쓰고 싶다면 설정 하나만 바꿔보세요.

최적화 핵심: Settings -> General -> Choose file sharing implementation에서 VirtioFS를 선택하세요.
왜 좋은가요? 애플의 가상화 프레임워크를 활용해 파일 읽기/쓰기 속도를 기존보다 최대 수 배 이상 높여줍니다.
추천: "이것저것 새로 깔기 귀찮다! 설정만으로 해결하고 싶다"는 분들께 추천합니다.

2. 가벼움의 끝판왕: OrbStack (강력 추천)

최근 맥 개발자들 사이에서 가장 핫한 대안입니다. "Docker Desktop의 상위 호환"이라는 평을 듣습니다.

특징: 도커 데스크탑보다 실행 속도가 압도적으로 빠르고 메모리 점유율이 매우 낮습니다.
장점:
- 터미널에서 docker-compose up을 치는 순간 반응이 옵니다.
- 배터리 효율이 좋아 카페에서 작업할 때 유리합니다.
- 로컬 도메인(예: my-project.orb.local)을 자동으로 생성해 줍니다.
추천: "유료라도 상관없다(개인은 무료), 내 맥북의 퍼포먼스를 끝까지 뽑아 쓰고 싶다"는 분들께 추천합니다.

3. 미니멀리스트를 위한 선택: Colima

GUI 없이 터미널에서 모든 것을 제어하는 오픈소스 도구입니다.

설치 방법: brew install colima
장점:
- 완전 무료이며 오픈소스입니다.
- 불필요한 대시보드 앱이 없어 시스템 자원을 거의 사용하지 않습니다.
- colima start --cpu 4 --memory 8 처럼 자원 할당을 세밀하게 제어할 수 있습니다.
추천: "커맨드 라인 환경을 사랑하고, 가장 순수한 리눅스 환경에 가깝게 도커를 쓰고 싶다"는 개발자분들께 추천합니다.

한 줄 요약: 어떤 것을 선택할까요?

선택지	장점	단점
Docker Desktop	가장 표준적, 쉬운 GUI	고사양 리소스 소모
OrbStack	압도적인 속도, 낮은 배터리 소모	비즈니스 사용 시 유료
Colima	무료, 가벼움, 오픈소스	GUI 없음 (터미널 숙련도 필요)

마무리하며

맥북에서 도커가 느린 건 당신의 잘못이 아닙니다. 하지만 어떤 도구를 선택하느냐에 따라 빌드 시간 5분을 1분으로 단축할 수 있습니다.

개인적으로는 OrbStack을 한 번 설치해 보시길 권장합니다. 처음 실행했을 때의 그 가벼움은 다시 Docker Desktop으로 돌아가지 못하게 만들거든요!

---

도구별 실행 및 Docker Compose 예제

각 도구의 설치부터 가장 기초적인 Hello World 컨테이너 실행까지의 과정입니다.

1. Docker Desktop: 설정이 전부입니다

Docker Desktop은 설치 후 GUI 설정만 바꿔주면 기존 docker 명령어를 그대로 사용합니다.

설정 변경: Settings > General > VirtioFS 체크 후 적용(Apply & Restart)
실행 예제:

Bash

# 터미널에서 바로 실행
docker run hello-world

2. OrbStack: 설치 즉시 마이그레이션

OrbStack은 설치하면 기존 Docker Desktop의 컨테이너를 자동으로 가져오기도 합니다.

설치: OrbStack 홈페이지에서 다운로드 또는 brew install orbstack
실행 예제:Tip: OrbStack은 실행 즉시 http://getting-started.orb.local 같은 로컬 도메인을 제공합니다.

Bash

# OrbStack 앱 실행 후 터미널에서
docker run -d -p 80:80 docker/getting-started

3. Colima: 터미널 기반의 정석 (Hello World 예제)

질문하신 Colima에서 도커를 띄우는 전체 과정입니다. Colima는 가상 머신(VM)을 먼저 띄운 뒤 도커 명령어를 사용한다는 점이 핵심입니다.

1단계: 설치

Bash

brew install colima docker docker-compose

2단계: VM 시작 (최적화 옵션 포함)

Bash

# CPU 2코어, 메모리 4GB, Rosetta(M1/M2/M3용 가속) 활성화
colima start --cpu 2 --memory 4 --arch aarch64 --vm-type=vz --vz-rosetta

3단계: 컨테이너 실행

Bash

# 가장 기본적인 Hello World 이미지 실행
docker run hello-world

4단계: Docker Compose 실행

Bash

# 실행 명령어
docker-compose up -d

YAML

# docker-compose.yml 예시
services:
  web:
    image: nginx:latest
    ports:
      - "8080:80"

실무 꿀팁: 어떤 상황에 무엇을 쓸까?

빠른 피드백이 중요한 프론트엔드 개발: 파일 수정이 즉시 반영되어야 하므로 OrbStack이 가장 유리합니다.
서버 리소스를 아껴야 하는 복합 마이크로서비스: 여러 개의 컨테이너를 띄워야 한다면 가벼운 Colima가 정답입니다.
도커가 처음인 입문자: 오류 메시지를 시각적으로 볼 수 있는 Docker Desktop으로 시작하세요.

⚠️ 주의사항

여러 도구를 동시에 실행하면 포트 충돌이나 리소스 낭비가 발생할 수 있습니다. 하나를 선택했다면 다른 도구는 반드시 종료(Quit/Stop) 상태로 두는 것이 좋습니다.

Claude Code Tutorial-2 (클로드 코드 튜터리얼)

리치윈드 - windFlex — Fri, 20 Feb 2026 00:16:44 +0900

Claude Code 실전 튜터리얼 2편 — Skills & 병렬 에이전트

실전 튜터리얼 2편

PART 02 / 02

Skills &
병렬 에이전트 완전 정복

CLAUDE.md·Plan Mode·Hooks를 익혔다면 이제 다음 단계로 — 재사용 가능한 Skills와 동시 실행 에이전트로 개발 속도를 극대화합니다.

← 1편: CLAUDE.md · Plan Mode · Hooks · @ 파일 참조

2 핵심 기능

4x 병렬 실행

∞ 재사용 가능

1편 복습 — 오늘 이것들을 알고 있다고 가정합니다

CLAUDE.md

Plan Mode

@파일 참조

Hooks

01 Skills란 무엇인가
02 SKILL.md 구조 이해
03 첫 Skill 직접 만들기
04 실수: Unknown skill 에러
05 병렬 에이전트란
06 병렬 실행 직접 해보기
07 Task vs Explore 에이전트
08 전체 로드맵 총정리

STEP 01

Skills란 무엇인가

Skills는 Claude에게 특정 작업 방법을 가르쳐두는 재사용 가능한 지식 패키지입니다. CLAUDE.md와 헷갈리기 쉬운데, 역할이 명확히 다릅니다.

구분	CLAUDE.md	Skills
역할	프로젝트 정체성·규칙	특정 작업의 실행 방법
로딩	항상 자동 로딩	필요할 때만 로딩
범위	전체 프로젝트	특정 작업 유형
스크립트	불가	Python·Shell 번들 가능
저장 위치	.claude/CLAUDE.md	.claude/skills/이름/SKILL.md

언제 만드나? 같은 프롬프트를 여러 대화에서 반복해서 타이핑하고 있다면, Skill을 만들 때가 된 겁니다. "코드 리뷰해줘", "PR 요약해줘" 같은 반복 작업이 대표적입니다.

STEP 02

SKILL.md 구조 이해

모든 Skill은 폴더 안의 SKILL.md 파일로 정의됩니다. 파일명이 아닌 폴더명이 Skill 이름이 됩니다.

.claude/skills/ └── code-reviewer/ ← 폴더명 = Skill 이름 ├── SKILL.md ← 필수 ├── scripts/ ← 번들 스크립트 (선택) │ └── lint.sh └── resources/ ← 참고 자료 (선택) └── checklist.md

SKILL.md 기본 형식

.claude/skills/code-reviewer/SKILL.md

---

name: code-reviewer

description: Python 코드 품질 리뷰. 타입힌트·docstring·

예외처리를 검토할 때 사용.

---

↑ frontmatter: Claude가 언제 이 Skill을 쓸지 판단하는 기준

## 코드 리뷰 체크리스트

리뷰 시 반드시 아래 순서로 확인한다:

1. 타입 힌트 — 모든 함수에 있는지

2. Docstring — Args, Returns, Raises 포함 여부

3. 예외 처리 — ValueError/TypeError 적절히 발생하는지

...

↑ 본문: 실제 Claude에게 주입되는 지시사항

⚙️ 작동 원리: Claude Code는 SKILL.md의 frontmatter를 스캔해서 사용 가능한 Skill 목록을 만들고, 실제 호출 시 SKILL.md 본문을 대화 컨텍스트에 주입합니다. 메인 프롬프트를 항상 가볍게 유지하면서 필요할 때만 로딩하는 구조입니다.

STEP 03

첫 Skill 직접 만들기

계산기 프로젝트에 코드 리뷰어 Skill을 만들어봅니다. 순서가 중요합니다.

1단계 — 폴더 먼저 생성 (터미널에서)

Terminal — Claude Code 밖에서

mkdir -p .claude/skills/code-reviewer

2단계 — Claude Code 세션에서 SKILL.md 작성

Claude Code

.claude/skills/code-reviewer/SKILL.md 파일을 만들어줘:

---

name: code-reviewer

description: Python 코드 품질 리뷰. 타입힌트·docstring·

예외처리·Pythonic 코드를 검토할 때 사용.

---

## 코드 리뷰 체크리스트

1. 타입 힌트 [심각도: 상/중/하]

2. Docstring

3. 예외 처리

4. Pythonic 스타일

5. 로깅 (print 금지)

각 항목에 수정 코드 예시를 함께 제시한다.

3단계 — 세션 재시작 (필수!)

Terminal

Claude Code 종료 후 재시작 — Skills는 세션 시작 시 로딩됨

claude

4단계 — Skill 호출

Claude Code

code-reviewer skill을 사용해서 @calculator.py 를 리뷰해줘

Skill(code-reviewer) — Successfully loaded skill

1. 타입 힌트 [심각도: 하] — 모든 함수 양호

2. Docstring [심각도: 중] — absolute 스타일 불일치

3. 예외 처리 [심각도: 중] — float == 0 비교 관행

4. Pythonic [심각도: 하] — math.pow → ** 권장

5. 로깅 [심각도: 하] — 전부 logger.debug() 사용 양호

STEP 04

실수: Unknown skill 에러

처음 Skill을 만들 때 거의 모두가 이 에러를 만납니다. 원인과 해결법을 정확히 알아두세요.

에러 상황

Skill(code-reviewer)

Error: Unknown skill: code-reviewer

리뷰는 됐지만 Skill은 로딩 안 됨 → 그냥 Claude가 직접 한 것

❌ 흔한 실수 Claude Code 세션 안에서만 파일 생성 후 바로 호출 or 세션 재시작 없이 호출 → Unknown skill 에러 발생

✅ 올바른 순서 1. mkdir -p .claude/skills/이름 2. SKILL.md 파일 생성 3. Claude Code 종료 4. claude 재시작 5. Skill 호출 → Successfully loaded skill ✓

⚠️ 핵심: Skills는 세션 시작 시 로딩됩니다. 파일을 직접 추가했다면 반드시 세션을 재시작해야 합니다. 또는 /agents 명령어로 즉시 로딩할 수도 있습니다.

STEP 05

병렬 에이전트란 무엇인가

서브에이전트는 메인 세션이 특정 작업을 위해 생성하는 독립적인 Claude 인스턴스입니다. 각각 자신만의 200k 컨텍스트 창을 갖고 동시에 실행됩니다.

순차 실행 vs 병렬 실행 비교

순차 실행

Task A → Task B → Task C → Task D

병렬 실행

Task A

Task B

Task C

Task D

동시 실행 → 최대 4배 빠름 · 각 에이전트 독립 200k 컨텍스트

언제 병렬 에이전트를 쓰나?

상황	예시
대형 리팩토링	75개 파일의 함수명 변경 → 파일별 병렬 처리
멀티 서비스 분석	backend / frontend / infra 동시 분석
테스트 생성	각 모듈별 테스트 파일 병렬 작성
로그 분석	3개 마이크로서비스 로그 동시 분석 후 종합
코드 탐색	대형 코드베이스 디렉토리별 동시 탐색

STEP 06

병렬 실행 직접 해보기

Claude Code는 기본적으로 보수적으로 동작합니다. 병렬화를 최대화하려면 프롬프트에서 명시적으로 요청해야 합니다.

핵심 — 명시적으로 요청하기

❌ 병렬 안 됨 calculator.py 분석하고 테스트 커버리지도 확인하고 프로젝트 구조도 봐줘 → 순차적으로 하나씩 실행

✅ 병렬 실행 4개의 parallel 서브에이전트로 동시에 아래 작업을 해줘: 1. add/subtract 성능 분석 2. multiply/divide 성능 분석 3. 테스트 커버리지 분석 4. 프로젝트 구조 분석 → 4개 동시 실행

Claude Code — 실제 실행 결과

4 agents launched

├─ Task (add/subtract 성능 분석)

│ ⎿ Running in the background

├─ Task (multiply/divide 성능 분석)

│ ⎿ Running in the background

├─ Task (테스트 커버리지 분석)

│ ⎿ Running in the background

└─ Explore (프로젝트 구조 분석)

⎿ Running in the background

30초 후...

Agent "add/subtract 성능 분석" completed

→ 모든 에이전트 완료 후 메인 세션에서 결과 종합

"4개의 parallel 에이전트", "동시에" 같은 구체적인 숫자와 명시적 표현이 핵심입니다. 모호하게 요청하면 Claude가 순차 실행을 선택합니다.

STEP 07

Task vs Explore 에이전트

병렬 실행 시 Claude가 자동으로 에이전트 유형을 선택합니다. 어떤 에이전트가 언제 선택되는지 알아두면 결과를 예측할 수 있습니다.

Task 에이전트 범용 파일 읽기·쓰기·수정 모두 가능. 성능 분석, 테스트 작성, 코드 수정 같은 실행이 필요한 작업에 자동 선택됩니다.

Explore 에이전트 읽기 전용 파일 읽기만 가능. 코드베이스 탐색, 구조 분석, 개선점 제안 같은 탐색·분석 작업에 자동 선택됩니다.

실제 실행에서 관찰된 패턴

├─ Task (add/subtract 성능 분석) ← 분석 + 결과 작성

├─ Task (multiply/divide 성능 분석) ← 분석 + 결과 작성

├─ Task (테스트 커버리지 분석) ← 파일 읽기 + 계산

└─ Explore (프로젝트 구조 분석) ← 읽기 전용 탐색

Claude가 작업 특성을 보고 자동으로 에이전트 유형 결정

빌트인 에이전트 외에 .claude/agents/ 폴더에 커스텀 에이전트를 만들 수 있습니다. 예: code-reviewer 에이전트, security-auditor 에이전트 등을 전용 도구 권한과 함께 정의할 수 있습니다.

SUMMARY

1·2편 전체 로드맵 총정리

두 편에 걸쳐 배운 Claude Code의 핵심 기능 전체를 한눈에 정리합니다.

Claude Code 마스터 로드맵

# 1편 — 기초 정복 CLAUDE.md — 규칙을 한 번 쓰면 영원히 자동 적용 Plan Mode (Shift+Tab) — 실행 전 계획 검토 /clear — 새 작업마다 컨텍스트 초기화 @ 파일 참조 — 정확한 컨텍스트 타겟팅 프롬프트 패턴 — 역할+제약+검증 세트, TDD Hooks — .claude/settings.json, Write|Edit|MultiEdit
# 2편 — 고급 기능 Skills — .claude/skills/이름/SKILL.md 재사용 지식 패키지 병렬 에이전트 — "N개의 parallel 에이전트로" 명시적 요청
# 다음 단계 MCP 서버 연동 — GitHub·DB 직접 연결 커스텀 서브에이전트 — .claude/agents/ 전문가 팀 구성 CI/CD 파이프라인 통합

Skills = 재사용 지식 반복하는 작업을 SKILL.md로 정의. 폴더명이 이름. 세션 재시작 필수.

⚡ 병렬 = 명시적 요청 "N개의 parallel 에이전트로 동시에" — 구체적 숫자와 명시적 표현 필수.

Task vs Explore 실행 작업 → Task 자동 선택. 탐색 분석 → Explore 자동 선택.

저장 위치 원칙 Skills·Hooks·Agents 모두 프로젝트 레벨 .claude/에 저장. 전역 ~/.claude/는 최소화.

Claude Code Tutorial - 1 (클로드 코드 튜터리얼)

리치윈드 - windFlex — Thu, 19 Feb 2026 23:19:43 +0900

실전 튜터리얼

Claude Code를
정교하게 사용하는 법

설치부터 Hooks 자동화까지 — 직접 따라하며 배우는 Step-by-Step 가이드

6 핵심 단계

41 테스트 통과

0 사전 지식 필요

00 환경 준비
01 CLAUDE.md
02 Plan Mode
03 슬래시 명령어
04 @ 파일 참조
05 프롬프트 패턴
06 Hooks 자동화
07 워크플로우 총정리

STEP 00

시작 전 환경 확인

Claude Code는 터미널에서 실행되는 도구입니다. claude.ai 채팅창이 아닙니다.

먼저 Node.js 18 이상이 설치되어 있는지 확인하세요:

Terminal

node --version

v25.3.0 ← v18 이상이면 OK

Claude Code 설치 (이미 설치된 경우 생략)

npm install -g @anthropic-ai/claude-code

연습 프로젝트 폴더 생성 후 시작

mkdir claude-tutorial && cd claude-tutorial && claude

ℹ️ 필요 조건: macOS/Linux/WSL 터미널 + Claude Pro($20/월) 이상 구독 또는 Anthropic API 키.

STEP 01

CLAUDE.md — 한 번 쓰고 영원히 적용

가장 중요한 기능입니다. Claude Code가 프로젝트 시작 시 자동으로 읽는 규칙 파일입니다. 여기에 코딩 규칙을 써두면 매번 설명할 필요가 없어집니다.

Claude Code 세션 안에서 /init 명령어로 CLAUDE.md를 자동 생성합니다:

Claude Code

/init

CLAUDE.md를 생성할까요? → Yes 선택

그 다음 실제 규칙을 직접 작성합니다:

Claude Code

CLAUDE.md를 아래 내용으로 업데이트해줘:

- 언어: Python

- 코딩 스타일: 함수마다 docstring 필수, 타입 힌트 사용

- 테스트: 새 함수 만들면 pytest 테스트도 항상 같이 작성

- 커밋 메시지: 한국어로 작성

- 절대 하지 말 것: print 대신 logging, 전역변수 금지

왜 강력한가? 이 파일이 있으면 앞으로 이 프로젝트에서 Claude Code를 열 때마다 자동으로 규칙을 따릅니다. "타입 힌트 써줘", "테스트도 작성해줘"를 매번 말하지 않아도 됩니다.

⚠️ CLAUDE.md는 git에 커밋해두면 팀원 모두가 같은 규칙을 공유할 수 있습니다.

STEP 02

Plan Mode — 실행 전 계획 검토

Claude가 파일을 건드리기 전에 "이렇게 할 계획입니다"를 먼저 보여주는 모드입니다. 큰 작업 전에 방향이 맞는지 확인할 수 있어서 필수입니다.

Plan Mode 진입

Claude Code 세션에서 Shift + Tab을 누르면 모드가 순환합니다:

모드 전환 — Shift + Tab

Normal → Auto-Accept → Plan Mode → Normal → ...

왼쪽 하단에 현재 모드 표시됨

Plan Mode로 전환 후 아래를 입력해보세요:

Claude Code — Plan Mode

간단한 계산기 Python 파일을 만들어줘.

더하기, 빼기, 곱하기, 나누기 기능 포함.

실제 Plan Mode 출력 결과

생성할 파일: calculator.py
— add(a, b), subtract(a, b), multiply(a, b), divide(a, b)
— divide는 0으로 나눌 때 ValueError 발생
— 모든 함수에 docstring + 타입 힌트 ← CLAUDE.md 규칙 자동 적용!

test_calculator.py
— 각 연산 함수에 대한 pytest 테스트 케이스 ← 자동 포함!

CLAUDE.md에 써둔 규칙들을 Claude가 스스로 읽고 계획에 반영했습니다. 계획이 마음에 들면 승인, 아니면 수정 요청 후 승인할 수 있습니다.

STEP 03

슬래시 명령어 마스터

Claude Code 세션 안에서 바로 사용할 수 있는 핵심 명령어들입니다.

명령어	기능
/init	프로젝트 분석 후 CLAUDE.md 자동 생성
/clear	대화 히스토리 초기화 (파일은 그대로 유지)
/plan	Plan Mode 진입
/doctor	설치 및 환경 진단

/clear — 가장 중요한 습관

새 작업을 시작할 때마다 /clear를 실행하세요. 대화 히스토리가 길어지면 토큰이 낭비되고 Claude가 혼선을 일으킵니다. 파일 자체는 그대로 남습니다.

Claude Code

/clear

대화 초기화됨

calculator.py가 뭐 하는 파일이야?

파일을 직접 읽어서 정확하게 답변

대화 히스토리가 없어도 실제 파일을 읽기 때문에 정확히 동작

STEP 04

@ 파일 참조 — 정확한 컨텍스트

여러 파일이 있을 때 Claude가 어떤 파일을 봐야 하는지 명시적으로 지정합니다. 프로젝트가 커질수록 엉뚱한 파일을 수정하는 실수를 방지하는 핵심 기능입니다.

Claude Code

@test_calculator.py 를 보고,

테스트가 빠진 엣지케이스가 있으면 추가해줘

11개 → 22개 테스트로 자동 확장

- add: 0 더하기, 양수+음수 혼합

- subtract: 0 빼기, 같은 수 빼기, 부동소수점

- divide: 음수÷음수, 0÷숫자, ÷1(항등원)

파일명 타이핑 중에 Tab 자동완성이 됩니다. 여러 파일 동시 참조도 가능합니다: @calculator.py @test_calculator.py

STEP 05

프롬프트 패턴 — 되묻기 없애기

같은 요청도 어떻게 쓰느냐에 따라 결과가 완전히 달라집니다. 가장 실전적인 부분입니다.

❌ 나쁜 프롬프트 calculator에 기능 추가해줘 → "어떤 기능을 추가할까요?" 되물음
작업 중단, 계속 기다려야 함

✅ 좋은 프롬프트 @calculator.py 에 추가: - power(base, exp): 거듭제곱 - sqrt(a): 제곱근 제약: 기존 함수 건드리지 말 것 테스트도 추가 후 pytest 실행 → 코드 + 테스트 + 검증 한 번에 완료

패턴 1: 역할 + 제약 + 검증 세트

Claude Code

@calculator.py 를 시니어 Python 개발자 관점에서 리뷰해줘.

리뷰 항목: 타입 힌트 누락 / 예외 처리 미흡 / Pythonic하지 않은 코드

출력 형식: [심각도: 상/중/하] 표시

수정은 하지 말고 리뷰만 해줘

패턴 2: TDD (테스트 먼저 작성)

Claude Code — TDD 방식

modulo(a, b) 함수를 추가할건데,

코드 작성 전에 실패하는 테스트를 먼저 @test_calculator.py 에 작성해줘.

테스트 실패 확인 후에 구현해줘.

1. 테스트 작성 → ImportError 확인 (Red )

2. 함수 구현

3. 37/37 테스트 PASSED (Green )

TDD는 실무에서 가장 안전한 개발 방식입니다. Red(실패) → Green(통과) 순서를 Claude가 그대로 따릅니다.

STEP 06

Hooks — 자동화 트리거

특정 이벤트가 발생할 때 자동으로 셸 명령을 실행합니다. 파일 저장 시 자동 테스트 실행이 대표적입니다.

이벤트 종류

이벤트	발생 시점
PreToolUse	Claude가 도구 사용하기 직전
PostToolUse	Claude가 도구 사용한 직후 ← 가장 많이 씀
Stop	Claude가 응답 완료했을 때

⚠️ 저장 위치가 핵심!

파일 위치	범위
~/.claude/settings.json	전역 — 모든 프로젝트에 적용 (비추천)
.claude/settings.json	✅ 프로젝트 — 이 프로젝트에만 적용
.claude/settings.local.json	로컬 — git 제외 개인 설정

프로젝트별로 다른 테스트 파일이 있으므로 반드시 프로젝트 레벨에 저장해야 합니다.

Claude Code

PostToolUse hook을 설정해줘.

조건: Write|Edit|MultiEdit 도구로 .py 파일 저장 시

동작: python3 -m pytest test_calculator.py -q 자동 실행

전역(~/.claude)이 아닌 프로젝트(.claude)에 저장해줘.

생성되는 .claude/settings.json 구조:

.claude/settings.json

{

"hooks": {

"PostToolUse": [{

"matcher": "Write|Edit|MultiEdit",

"hooks": [{ "type": "command",

"command": "python3 -m pytest test_calculator.py -q" }]

}]

}

⚠️ matcher를 Write만 설정하면 Edit 도구로 수정할 때 트리거가 안 됩니다. 반드시 Write|Edit|MultiEdit 세 가지를 모두 포함하세요.

SUMMARY

실전 워크플로우 총정리

오늘 배운 것들을 실전에서 사용하는 순서로 정리했습니다.

최적 워크플로우

1. 새 프로젝트 시작

mkdir my-project && cd my-project && claude

/init → CLAUDE.md에 언어·스타일·금지사항 작성

2. 큰 작업 전

Shift+Tab (Plan Mode) → 계획 검토 → 승인

3. 작업 시

@파일명 + 요구사항 + 제약 + 검증 세트로 작성

4. 새 작업마다

/clear → 컨텍스트 초기화

5. 자동화

.claude/settings.json → PostToolUse Hook 설정

CLAUDE.md 규칙을 한 번만 써두면 영원히 자동 적용

Plan Mode Shift+Tab — 실행 전 검토, 큰 작업 필수

@ 파일 참조 정확한 컨텍스트로 엉뚱한 수정 방지

✍️ 프롬프트 패턴 역할+제약+검증 세트로 되묻기 없앰

Hooks 프로젝트 레벨 .claude/settings.json에만 저장

/clear 습관 새 작업마다 컨텍스트 초기화 필수

맥북 샀어? 그럼 터미널부터 꾸며야지! Zsh & Warp 완벽 가이드

리치윈드 - windFlex — Sat, 17 Jan 2026 18:23:09 +0900

맥북 샀어? 그럼 터미널부터 꾸며야지! Zsh & Warp 완벽 가이드

새 맥북을 구매하신 모든 분들, 축하드립니다!
맥북을 샀다면 가장 먼저 해야 할 일, 바로 개발자의 '집'과 같은 터미널 세팅이죠.
검정 화면에 하얀 글자만 나오는 기본 터미널은 이제 안녕! 효율을 200% 올려주는 세팅법을 쉽고 캐주얼하게 알려드릴게요.

1. 터미널의 국룰, Oh My Zsh 설치하기

맥북은 기본적으로 Zsh를 사용하지만, 그냥 쓰면 너무 밋밋하죠.
그래서 우리는 Oh My Zsh라는 프레임워크를 설치해서 터미널에 예쁜 옷을 입히고 똑똑한 기능을 추가할 거예요.

✨ 왜 쓰나요?

가독성: 현재 내가 어떤 폴더에 있는지, Git 브랜치는 무엇인지 한눈에 보여요.
편의성: 명령어 자동 완성, 오타 강조 등 강력한 플러그인을 쓸 수 있어요.

Oh My Zsh 설치 및 설정

설치 방법

Homebrew 설치 (맥북 필수 패키지 관리자):
/bin/bash -c "$(curl -fsSL [https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh](https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh))"

2. **Oh My Zsh 설치**:
```bash
sh -c "$(curl -fsSL [https://raw.github.com/ohmyzsh/ohmyzsh/master/tools/install.sh](https://raw.github.com/ohmyzsh/ohmyzsh/master/tools/install.sh))"

추천 테마: Powerlevel10k > 가장 인기 있는 테마예요. 설치 과정에서 질문에 답만 하면 나만의 터미널 디자인이 완성됩니다!

블로그에 기술적인 내용을 보충하기 위해 Oh My Zsh와 Powerlevel10k를 설정하는 상세 단계를 정리해 드립니다. 이 내용을 블로그의 중간 섹션에 추가하거나 별도의 '심화 가이드'로 활용하시면 좋습니다.

Oh My Zsh & Powerlevel10k 상세 설정 가이드

단순히 설치하는 것을 넘어, 터미널을 정말 "쓸만하게" 만드는 핵심 과정입니다.

1. 폰트 설치 (가장 중요! ⭐)

Powerlevel10k는 화살표나 아이콘을 많이 사용합니다. 일반 폰트를 쓰면 아이콘이 깨져서 보이므로 Nerd Font가 필수입니다.

가장 추천하는 폰트: MesloLGS NF
설정 방법: iTerm2 설정(Cmd + ,) > Profiles > Text > Font에서 'MesloLGS NF'로 변경하세요.

2. Powerlevel10k 설치하기

터미널에서 아래 명령어를 복사해서 실행하세요.

git clone --depth=1 https://github.com/romkatv/powerlevel10k.git ${ZSH_CUSTOM:-$HOME/.oh-my-zsh/custom}/themes/powerlevel10k

3. 테마 적용하기

설정 파일(.zshrc)을 열어 테마 이름을 변경해야 합니다.

vi ~/.zshrc 또는 open -e ~/.zshrc 명령어로 파일을 엽니다.
ZSH_THEME="robbyrussell" 부분을 찾아 아래와 같이 수정합니다.
```
ZSH_THEME="powerlevel10k/powerlevel10k"
```

저장 후 터미널을 재시작하거나 source ~/.zshrc를 입력합니다.

4. 인터랙티브 설정 (Wizard)

터미널을 다시 열면 자동으로 설정 마법사가 시작됩니다. 만약 안 뜬다면 p10k configure를 입력하세요.

"다이아몬드가 보이나요?", "잠금 아이콘이 보이나요?" 등의 질문에 y 혹은 n으로 답하면서 본인의 취향대로 터미널 디자인을 커스터마이징할 수 있습니다.

생산성을 높여주는 필수 플러그인 설정

터미널에서 명령어를 일일이 치지 않아도 되게 만들어주는 설정입니다.

① 플러그인 다운로드

# 자동 완성 플러그인
git clone https://github.com/zsh-users/zsh-autosuggestions ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-autosuggestions

# 문법 강조 플러그인
git clone https://github.com/zsh-users/zsh-syntax-highlighting.git ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-syntax-highlighting

② `.zshrc` 파일에 등록

.zshrc 파일에서 plugins=(git) 부분을 찾아 아래와 같이 수정합니다.

plugins=(
  git
  zsh-autosuggestions
  zsh-syntax-highlighting
)

2. 터미널의 혁명, Warp가 왜 필요할까? ⚡️

전통적인 방식이 iTerm2 + Oh My Zsh라면, 요즘 뜨는 '터미널 계의 테슬라'는 바로 Warp(워프)입니다.

Warp를 써야 하는 이유 (Necessity)

AI가 내장되어 있어요: 명령어가 기억 안 날 때 #만 치고 "최근 커밋 취소해줘"라고 물어보세요. AI가 바로 답을 줍니다.
블록(Block) 단위 UI: 명령어와 결과값이 하나의 박스로 묶여 있어 가독성이 끝내주고, 특정 결과만 복사하기 정말 편해요.
속도가 미쳤어요: Rust 기반이라 엄청나게 빠르고 부드럽습니다.
마우스 클릭 가능: 터미널 커서를 마우스로 툭 찍어서 이동할 수 있다는 게 얼마나 편한지 써보시면 압니다!

warp 화면 예시

3. Warp 설치 및 설정하기 ️

Warp는 복잡한 설정 파일을 만질 필요가 거의 없어서 초보자에게 더 추천드려요.

✅ 설치하기

터미널에서 아래 한 줄만 입력하면 끝!

brew install --cask warp

✅ 초기 설정 팁

Appearance: Settings > Appearance에서 테마를 바꿔보세요. 다크 모드가 정말 세련됐습니다.
AI Command Search: 궁금한 게 생기면 무조건 # 키를 누르고 질문해 보세요. 구글링 시간이 절반으로 줄어듭니다.

4. 한눈에 비교: Zsh vs Warp ⚖️

특징	Oh My Zsh (Classic)	Warp (Modern)
설정 난이도	조금 복잡 (설정 파일 수정)	매우 쉬움 (설치 후 바로 사용)
디자인	내가 직접 커스텀하는 맛	세련된 기본 UI + 테마
주요 기능	무궁무진한 플러그인 생태계	AI 통합, 블록 단위 UI, 워크플로우
추천 대상	튜닝 끝판왕을 원하는 분	설정 귀찮고 똑똑한 도구가 좋은 분

마치며 ✍️

새 맥북과 함께하는 코딩 라이프, 어떤 터미널로 시작하고 싶으신가요?
내 입맛대로 하나하나 꾸미는 재미는 Oh My Zsh가, 압도적인 편리함과 AI의 도움은 Warp가 앞섭니다.

사실 정답은 없어요! 둘 다 설치해 보고 나에게 맞는 '인생 터미널'을 찾아보세요.

도움이 되셨다면 공감과 댓글 부탁드려요! 궁금한 점은 언제든 물어봐 주세요.

2025년 글로벌 경제 동향 분석: Fed 정책과 시장 전망

리치윈드 - windFlex — Thu, 19 Jun 2025 22:36:52 +0900

2025년 글로벌 경제 동향 분석

1. 연방준비제도(Fed) 통화정책 동향

Fed는 최근 회의에서 신중한 입장을 유지하고 있으나, 시장은 여전히 불안정한 모습
올해 인플레이션 전망치를 3%로 상향 조정
Powell 의장은 관세 정책이 소비자 물가 상승에 '의미 있는' 영향을 미칠 것으로 전망

2. 글로벌 IPO 시장 침체

글로벌 주식 IPO 규모가 9년 만에 최저치 기록
전년 대비 9.3% 감소한 443억 달러 수준
관세 분쟁과 시장 변동성이 주요 원인으로 지목

3. 미국 달러 강세와 원유가 상승

달러 강세와 유가 상승이 동시에 발생하며 글로벌 주식시장에 부담
이러한 조합은 시장의 불안정성을 가중시키는 요인으로 작용
특히 신흥국 시장에 대한 우려가 증가

4. 이란-이스라엘 갈등 영향

지정학적 리스크가 시장 불확실성 증가의 주요 요인으로 부각
중동 지역 긴장 고조로 인한 에너지 가격 변동성 확대
글로벌 금융시장의 안전자산 선호 현상 강화

5. 글로벌 무역 긴장 고조

무역 분쟁 우려가 다시 부각되며 시장 불확실성 확대
스위스 등 주요 교역국들의 무역 전망에 대한 우려 증가
관세 리스크가 인플레이션 압력으로 작용할 가능성 제기

참고 자료

2025년 6월 부동산/경제 동향 종합 보고서

리치윈드 - windFlex — Thu, 19 Jun 2025 22:28:33 +0900

2025년 6월 부동산/경제 종합 보고서

1. 부동산 시장 동향

최근 서울을 중심으로 한 부동산 시장이 강세를 보이고 있습니다. 특히 강남 3구를 중심으로 한 상승세가 두드러지며, 이는 공급 부족과 향후 금리 인하 기대감이 복합적으로 작용한 결과로 분석됩니다. 다만 전문가들은 무리한 추격 매수에 대해서는 주의를 당부하고 있습니다.

2. 산업용 부동산 시장 현황

산업용 부동산 시장은 경기 침체의 직격탄을 맞았습니다. 공장 및 창고 거래량이 20% 가량 감소하며, 전반적인 산업용 부동산 시장이 어려움을 겪고 있는 것으로 나타났습니다. 이는 전반적인 경기 둔화와 관련이 있는 것으로 분석됩니다.

3. 정부 정책 동향

현 정부는 '세금으로 집값을 잡지 않겠다'는 기조를 유지하고 있으며, 시장 친화적인 정책을 추진할 것으로 예상됩니다. 이러한 정책 기조는 부동산 시장에 긍정적인 시그널로 작용할 것으로 전망됩니다.

4. 제로에너지 인증 의무화 정책

민간 아파트에 대한 제로에너지 인증 의무화 정책이 시행될 예정입니다. 이는 장기적으로 연료비 절감 효과가 있을 것으로 기대되나, 단기적으로는 분양가 상승 요인으로 작용할 수 있어 시장의 주목을 받고 있습니다.

5. 거시경제 환경

한국은행은 현재 국내 의식주 물가가 OECD 평균을 크게 웃도는 것으로 분석하고 있으며, 이는 소비 제약 요인으로 작용할 수 있다고 경고하고 있습니다. 또한 시티그룹은 서울 아파트 가격이 연간 10% 이상 상승할 것으로 전망하고 있으며, 이로 인해 금리 인하 시기가 지연될 수 있다고 분석하고 있습니다.

참고자료

2025년 여름 휴가 트렌드: 새로운 여행의 패러다임과 추천 여행지

리치윈드 - windFlex — Thu, 19 Jun 2025 12:37:19 +0900

안녕하세요, 여행 애호가 여러분!

2025년 여름이 다가오면서 여행의 패러다임이 크게 변화하고 있습니다. 코로나19 이후 완전히 달라진 여행 문화와 새로운 기술의 발전, 그리고 변화하는 소비자들의 니즈가 만나 전혀 새로운 여행 트렌드가 형성되고 있죠. 오늘은 2025년 여름 휴가 시즌의 주요 트렌드와 이에 맞춘 추천 여행지를 상세히 알아보도록 하겠습니다.

1. 2025년 주목해야 할 여행 트렌드

1) 경험 중심의 여행 (Experience-focused Travel)

단순 관광이 아닌 현지 문화 체험 선호
쿠킹 클래스, 예술 워크샵 등 참여형 활동 증가
현지인과의 교류를 중시하는 프로그램 인기

2) 스마트 버짓 여행 (Smart Budget Travel)

AI 기반 가격 비교 및 최적 예약 시기 활용
공유 경제 서비스 활용 증가
장기체류형 워케이션으로 비용 효율화

3) 웰니스 & 힐링 여행 (Wellness Travel)

정신적, 육체적 건강을 위한 여행 수요 증가
요가 리트릿, 명상 프로그램 인기
자연 친화적인 에코 리조트 선호

4) 쿨케이션 (Coolcation)

폭염을 피해 시원한 지역으로 떠나는 여행
북유럽, 고산지대 인기
실내 액티비티가 가능한 목적지 선호

2. 2025년 추천 여행지

1) 국내 추천지

강원도 평창: 시원한 기후와 웰니스 시설 완비
제주 서귀포: AI 기반 스마트 관광 시스템 도입
울릉도: 독특한 섬 문화 체험과 시원한 해양성 기후

2) 해외 추천지

일본 홋카이도: 시원한 기후와 온천 힐링
이탈리아 트리에스테: 숨은 유럽 관광지의 매력
태국 치앙마이: 현지 문화 체험과 웰니스 프로그램

마치며

2025년의 여행은 단순한 관광이 아닌, 개인의 성장과 힐링, 그리고 의미 있는 경험을 추구하는 방향으로 진화하고 있습니다. 여러분도 이러한 트렌드를 참고하여 자신만의 특별한 여름 휴가를 계획해보시는 건 어떨까요?

참고 자료

World Travel Trends Report 2025
한국관광공사 '2025 관광트렌드 분석'
Global Tourism Insights 2025

2025년 디지털 혁신의 물결: AI와 데이터가 이끄는 미래 기술 트렌드 전망

리치윈드 - windFlex — Thu, 19 Jun 2025 12:33:02 +0900

서론: 디지털 혁신의 새로운 지평

결론: 2025년을 향한 디지털 혁신의 시급성

2025년을 앞두고 있는 지금, 기업들은 디지털 혁신의 큰 길목에 서 있습니다. AI와 데이터 기술의 발전은 산업 전반에 걸쳐 혁신적인 변화를 촉발하고 있으며, 이러한 변화에 적응하지 못하는 기업은 도태될 수밖에 없는 현실입니다.

특히 주목해야 할 부분은 다음과 같습니다:

1. AI와 데이터 기술의 실질적 활용

2. 디지털 인재 역량 강화

3. 조직 문화의 혁신적 변화

행동 계획(Call-to-Action):

1. 디지털 역량 진단 및 평가 실시

2. 단계별 디지털 혁신 로드맵 수립

3. 혁신 역량 강화를 위한 교육 프로그램 개발

이제 더 이상 디지털 혁신은 선택이 아닌 필수가 되었습니다. 2025년을 향한 준비는 지금 시작되어야 합니다.

참고자료:

1. CES 2025 Technology Trends Report

2. Capgemini Digital Transformation Review 2024

3. SK C&C Digital Innovation Insight 2025

4. Samsung SDS Tech Navigator 2025

이러한 기술 트렌드를 성공적으로 도입하기 위해서는 체계적인 접근이 필요합니다.

1. 디지털 역량 투자 및 강화

- 인재 교육 및 역량 개발 프로그램 운영

- AI와 데이터 분석 역량 확보

- 디지털 인프라 구축 및 혁신

2. 조직 문화 혁신

- 데이터 기반 의사결정 문화 정착

- 실험과 혁신을 장려하는 조직 문화 조성

- 변화 관리와 직원 인게이지먼트 강화

3. 파트너십 및 생태계 구축

- 전략적 파트너십 구축

- 스타트업과의 협력 강화

- 산업 간 협력 모델 개발

산업별 영향과 전망

1. 제조업

- AI 기반 스마트 팩토리 확대

- 실시간 생산 모니터링 및 예측 유지보수

- 공급체인 디지털화

2. 금융업

- AI 기반 위험 분석 및 자산 관리

- 개인화된 금융 서비스 확대

- 블록체인 기술 활용 확대

3. 소매업

- 사용자 행동 분석 기반 개인화

- 오프라인-온라인 통합 경험 강화

- AI 기반 재고 관리 및 수요 예측

이 글에서는 2025년을 주도할 주요 기술 트렌드와 디지털 혁신의 방향성을 심도 있게 살펴보고, 기업들이 이러한 변화에 어떻게 대응해야 하는지 알아보겠습니다.

주요 기술 트렌드 및 전망

1. AI 기반 자동화의 고도화

- 인공지능 기술의 실용적 적용 확대

- 로봇공학과 AI의 융합으로 인한 생산성 혁신

- 기업 의사결정 프로세스의 AI 도입 가속화

2. 데이터 중심 경영의 진화

- 실시간 데이터 분석 및 활용 증가

- 데이터 사일로 제거를 통한 통합적 데이터 관리

- 엔터프라이즈 데이터의 전략적 가치 창출

3. 클라우드 전환 가속화

- 하이브리드/멀티 클라우드 환경 보편화

- 클라우드 네이티브 애플리케이션 개발 증가

- 클라우드 기반 협업 도구의 고도화

4. 사용자 중심 디지털 경험

- 개인화된 서비스 제공 확대

- AI 기반 고객 경험 최적화

- 초연결 환경에서의 원활한 서비스 제공

2024년 주목해야 할 인공지능(AI) 기술 트렌드 5가지

리치윈드 - windFlex — Thu, 19 Jun 2025 12:17:28 +0900

인공지능 기술은 하루가 다르게 발전하고 있습니다. 2024년을 맞이하여 주목해야 할 AI 기술 트렌드를 살펴보고, 이러한 변화가 우리의 일상과 비즈니스에 어떤 영향을 미칠지 알아보겠습니다.

1. 생성형 AI의 진화

더욱 정교해진 텍스트, 이미지, 음성 생성 능력
산업 특화된 맞춤형 AI 모델의 등장
윤리적 고려사항과 저작권 문제 해결 노력

2. AI 기반 자동화의 가속화

비즈니스 프로세스의 전면적 자동화
로봇 프로세스 자동화(RPA)와 AI의 결합
업무 효율성과 생산성의 획기적 향상

3. 엣지 AI의 부상

실시간 데이터 처리와 즉각적인 의사결정
개인정보 보호 강화
IoT 기기와의 seamless한 통합

4. 설명 가능한 AI(XAI)의 중요성 증가

AI 의사결정 과정의 투명성 확보
규제 준수와 신뢰성 향상
금융, 의료 등 중요 산업에서의 필수 요소

5. AI와 인간의 협업 모델 발전

AI 보조 도구를 활용한 창의적 작업
교육과 학습에서의 AI 활용
새로운 직무와 역할의 창출

결론

이러한 AI 기술 트렌드는 우리 사회를 더욱 스마트하고 효율적으로 변화시킬 것입니다. 하지만 기술의 발전과 함께 윤리적 고려사항과 사회적 영향에 대한 신중한 접근도 필요합니다. 기업과 개인 모두 이러한 변화에 적극적으로 대응하고 준비하는 자세가 필요한 시점입니다.

[이미지 제안]

AI 기술 발전을 표현하는 미래지향적 그래픽
다양한 AI 응용 분야를 보여주는 인포그래픽
인간과 AI의 협업을 상징하는 일러스트레이션

Agent AI 완벽 가이드: 정의부터 응용까지 상세 분석 리포트

리치윈드 - windFlex — Thu, 19 Jun 2025 12:02:38 +0900

Agent AI(에이전트 AI)의 세계로 오신 것을 환영합니다

아키텍처별 분류:

규칙 기반 에이전트: 사전 정의된 규칙과 로직을 기반으로 동작
학습형 에이전트: 머신러닝을 통해 경험으로부터 학습하고 개선
계획형 에이전트: 목표 달성을 위한 단계별 계획을 수립하고 실행
반응형 에이전트: 현재 상황에 즉각적으로 반응하여 행동

3. Agent AI의 실제 응용 사례

비즈니스 및 산업 분야:

자동화된 고객 서비스
- 24/7 고객 응대 챗봇
- 맞춤형 제품 추천 시스템
- 자동 이메일 응답 시스템

프로세스 자동화
- 업무 흐름 최적화
- 문서 처리 자동화
- 데이터 분석 및 보고서 생성

연구 및 과학 분야:

과학적 발견
- 신약 개발 보조
- 기후 변화 모델링
- 유전체 분석

로보틱스
- 자율 주행 로봇
- 산업용 로봇 제어
- 협업 로봇 시스템

4. Agent AI 구현 예제

간단한 규칙 기반 에이전트 예제 코드 (Python):


class SimpleAgent:

    def __init__(self):

        self.knowledge_base = {}

        self.goals = []



    def set_goal(self, goal):

        self.goals.append(goal)



    def sense_environment(self, environment):

        # 환경으로부터 정보 수집

        return environment.get_state()



    def decide_action(self, current_state):

        # 규칙 기반 의사 결정

        if current_state in self.knowledge_base:

            return self.knowledge_base[current_state]

        return 'default_action'



    def act(self, action):

        # 선택된 행동 실행

        print(f'Executing action: {action}')



    def learn(self, state, action, result):

        # 경험으로부터 학습

        self.knowledge_base[state] = action

5. Agent AI의 미래와 도전 과제

현재 직면한 과제:

윤리적 고려사항
- 의사결정의 투명성
- 책임성 문제
- 프라이버시 보호

기술적 한계
- 복잡한 상황에서의 의사결정
- 불확실성 처리
- 일반화 능력

향후 발전 방향:

더 강력한 학습 능력
- 적은 데이터로도 효과적인 학습
- 지속적인 학습과 적응

향상된 협업 능력
- 인간-AI 협업 개선
- 다중 에이전트 시스템의 발전

결론

Agent AI는 인공지능 기술의 핵심 분야로서, 자율성과 적응성을 바탕으로 다양한 분야에서 혁신을 이끌고 있습니다. 기술이 발전함에 따라 더욱 지능적이고 효율적인 에이전트가 등장할 것으로 예상되며, 이는 우리의 일상과 산업 전반에 큰 변화를 가져올 것입니다. 다만, 윤리적 고려사항과 기술적 한계를 신중히 다루면서 발전시켜 나가는 것이 중요할 것입니다.

1. Agent AI란 무엇인가?

Agent AI(에이전트 AI)는 사용자나 다른 시스템을 대신하여 자율적으로 목표를 추구하고 작업을 수행하는 AI 기반 소프트웨어 시스템입니다. 다음과 같은 핵심 특성을 가지고 있습니다:

자율성(Autonomy): 외부의 직접적인 개입 없이 독립적으로 판단하고 행동
목표 지향성(Goal-oriented): 주어진 목표를 달성하기 위해 계획을 수립하고 실행
추론 능력(Reasoning): 상황을 분석하고 최적의 행동 방침을 결정
학습 능력(Learning): 경험을 통해 성능을 개선하고 지식을 축적
환경 인식(Environmental Sensing): 주변 환경을 감지하고 이해
적응성(Adaptability): 변화하는 상황에 맞춰 행동을 조정

2. Agent AI의 주요 유형

Agent AI는 그 기능과 아키텍처에 따라 다음과 같이 분류됩니다:

기능별 분류:

작업 특화형 에이전트: 특정 작업에 최적화된 AI
범용 에이전트: 다양한 작업을 수행할 수 있는 유연한 AI
다중 에이전트 시스템: 여러 에이전트가 협력하는 시스템
협업 에이전트: 사용자 또는 다른 에이전트와 협력하는 시스템

[초등학생을 위한 세계명작] 빅토르 위고의 '레 미제라블' - 용서와 사랑의 감동 이야기

리치윈드 - windFlex — Thu, 19 Jun 2025 11:42:05 +0900

안녕하세요, 친구들! 오늘은 세계적으로 유명한 소설 '레 미제라블'에 대해 함께 알아보려고 해요. 이 이야기는 한 사람이 어떻게 선한 마음과 사랑으로 자신의 인생을 바꾸고, 다른 사람들의 삶도 변화시키는지를 보여주는 감동적인 이야기랍니다.

### 1. 이야기의 배경

프랑스의 1800년대를 배경으로 하는 이 이야기는, 당시 가난하고 힘들었던 사람들의 모습을 보여줍니다. 빅토르 위고라는 유명한 작가가 이 책을 썼는데, 그는 불공평한 세상을 바꾸고 싶었답니다.

### 2. 주요 등장인물

- 장발장: 우리 이야기의 주인공이에요. 처음에는 빵을 훔친 죄로 19년 동안 감옥에 있었지만, 나중에는 착한 사람이 되어 다른 사람들을 돕는 영웅이 됩니다.

- 미리엘 신부님: 장발장에게 은수저를 주면서 새 삶을 살 수 있게 도와준 착한 신부님이에요.

- 코제트: 불쌍한 어린 소녀였지만 장발장이 딸처럼 키워준 아이에요.

- 자베르 경감: 법을 중요하게 생각하는 경찰관으로, 계속 장발장을 쫓아다녀요.

### 3. 이야기 줄거리

가난한 장발장은 굶주린 조카를 위해 빵을 훔쳤다가 감옥에 가게 됩니다. 출소 후에는 미리엘 신부님의 은혜로 새 삶을 살기로 결심하죠. 그는 공장 사장이 되어 많은 사람들을 도와주고, 불쌍한 코제트를 입양해서 사랑으로 키웁니다. 하지만 자베르 경감이 계속 그를 쫓아다니면서 과거의 죄를 들추려고 해요.

### 4. 우리가 배울 수 있는 점

1. 용서의 힘: 미리엘 신부님처럼 다른 사람을 용서하고 기회를 주는 것이 얼마나 큰 변화를 만들 수 있는지 배워요.

2. 선한 마음의 중요성: 장발장이 어떻게 나쁜 사람에서 착한 사람으로 변했는지를 보며, 우리도 항상 선한 일을 하려고 노력해야 해요.

3. 사랑의 가치: 장발장이 코제트를 돌보면서 보여준 것처럼, 다른 사람을 사랑하고 도와주는 것이 얼마나 소중한지 알 수 있어요.

### 5. 마무리

'레 미제라블'은 비록 오래전 이야기지만, 지금 우리에게도 매우 중요한 교훈을 주는 책이에요. 용서하는 마음, 다른 사람을 돕고자 하는 마음, 그리고 사랑의 힘이 얼마나 큰지 보여주죠. 여러분도 장발장처럼 어려운 사람들을 도와주는 착한 마음을 가진 사람이 되면 좋겠어요!

통풍의 효과적인 관리와 예방 가이드

리치윈드 - windFlex — Thu, 19 Jun 2025 11:35:54 +0900

안녕하세요, 오늘은 통풍의 효과적인 관리와 예방법에 대해 자세히 알아보도록 하겠습니다.

1. 통풍이란 무엇인가?

통풍은 체내 요산 수치가 비정상적으로 높아져 발생하는 관절염의 한 종류입니다. 주로 발가락 관절에서 시작되며, 극심한 통증과 붓기를 동반하는 것이 특징입니다.

2. 통풍의 원인과 증상

- 주요 원인:

• 과다한 퓨린 섭취

• 신장 기능 저하

• 유전적 요인

• 비만

• 과도한 음주

- 대표적 증상:

• 갑작스러운 극심한 관절 통증

• 발적과 부종

• 관절 부위 열감

• 활동 제한

3. 통풍 예방을 위한 생활수칙

- 규칙적인 운동:

• 적절한 유산소 운동

• 체중 관리를 위한 운동

• 관절에 무리가 가지 않는 저강도 운동 선택

- 수분 섭취:

• 하루 2L 이상의 물 섭취

• 요산 배출 촉진

4. 통풍 관리를 위한 식단 조절

- 피해야 할 음식:

• 동물성 내장

• 해산물 (정어리, 고등어 등)

• 알코올 (특히 맥주)

• 붉은 고기

- 권장되는 음식:

• 저지방 유제품

• 통곡물

• 채소류

• 저지방 단백질 (닭가슴살, 두부)

5. 통풍 치료법과 약물 관리

- 급성기 치료:

• 비스테로이드성 소염제

• 콜히친

• 코르티코스테로이드

- 장기 관리:

• 요산 저하제 복용

• 정기적인 혈중 요산 수치 검사

• 의사와의 지속적인 상담

6. 결론 및 요약

통풍은 적절한 생활습관 개선과 식이요법, 그리고 꾸준한 의학적 관리를 통해 충분히 예방하고 관리할 수 있는 질환입니다. 규칙적인 운동, 균형 잡힌 식단, 충분한 수분 섭취를 통해 건강한 생활을 유지하시기 바랍니다.

Python uv 패키지 관리자 사용 방법 - pip의 강력한 대안

리치윈드 - windFlex — Thu, 19 Jun 2025 11:31:54 +0900

Python uv 소개

Python 패키지 관리자인 uv는 pip의 강력한 대안으로 등장한 새로운 도구입니다. Rust로 작성되어 뛰어난 성능을 자랑하며, pip보다 최대 10-100배 빠른 속도로 패키지를 설치할 수 있습니다.

왜 uv를 사용해야 할까요?

속도: pip보다 훨씬 빠른 패키지 설치 속도
의존성 해결: 더 똑똑한 의존성 관리 시스템
호환성: 기존 pip 명령어와 유사한 사용법
안정성: Rust로 작성되어 안정적인 성능

설치 및 설정

설치 방법


pip install uv

또는 curl을 이용한 설치:


curl -LsSf https://astral.sh/uv/install.sh | sh

주요 사용법

1. 패키지 설치


# 단일 패키지 설치

uv pip install requests



# 여러 패키지 동시 설치

uv pip install numpy pandas matplotlib

2. 가상환경 생성 및 관리


# 가상환경 생성

uv venv .venv



# 가상환경 활성화

source .venv/bin/activate  # Linux/Mac

.venv\Scripts\activate    # Windows

3. requirements.txt 사용


# requirements.txt로부터 설치

uv pip install -r requirements.txt



# 현재 환경의 패키지 목록 저장

uv pip freeze > requirements.txt

성능 비교 및 장점

pip vs uv 성능 비교

대규모 프로젝트에서 패키지 설치 시 최대 100배 빠름
메모리 사용량 최적화
병렬 다운로드 지원

실무 활용 팁

기존 프로젝트 마이그레이션
- pip에서 uv로 쉽게 전환 가능
- 기존 requirements.txt 파일 그대로 사용

CI/CD 파이프라인 최적화
- 빌드 시간 단축
- 자동화 스크립트 통합 용이

결론

uv는 Python 패키지 관리의 새로운 표준이 될 잠재력을 가지고 있습니다. 특히 대규모 프로젝트나 CI/CD 환경에서 그 진가를 발휘하며, pip의 한계를 뛰어넘는 훌륭한 대안입니다. 지금 바로 uv를 시작해보세요!

#python #패키지관리 #uv #개발도구

외장하드가 MacBook에서 마운트되지 않을 때 해결하는 꿀팁!

리치윈드 - windFlex — Fri, 6 Dec 2024 16:16:38 +0900

오늘은 많은 분들이 겪는 문제 중 하나인 외장하드가 MacBook에서 인식되지만 마운트되지 않는 문제를 해결하는 방법을 공유하려고 합니다.

어제까지 잘 되던 나의 외장 SSD
갑자기 인식을 못합니다. ㅜ_ㅠ

상황 설명

**1TB SSD 외장하드 (SanDisk Extreme Pro)**를 MacBook에 연결했지만, Disk Utility에서도 마운트되지 않고, 하드웨어 정보에서만 "ExFAT" 파일 시스템으로 표시되었다는 문제를 겪었습니다.

첨부 이미지를 보면, System Information에서 하드웨어 정보는 제대로 표시되고 있었습니다:

장치 이름: Extreme Pro 55AF
용량: 1TB
파일 시스템: ExFAT
Partition Map Type: GPT (GUID Partition Table)

그러나, 외장하드는 마운트되지 않았고, Disk Utility에서의 "검사" 및 "복구" 시도 역시 실패했습니다.

문제의 원인

이와 같은 문제는 외장하드의 파일 시스템이 손상되었거나, 특정 섹터에 에러가 발생했을 가능성이 큽니다. 특히, ExFAT는 Mac과 Windows 모두에서 호환되지만, 파일 시스템 오류가 생기면 Mac에서 읽기/쓰기 또는 마운트가 불가능한 경우가 있습니다.

사전 확인 사항

첫번째로 해야할 일은, mac > Finder > Application > Utility > System Information 을 열어서 USB자체를 인식하는지 여부를 확인해 보아야 합니다.

mac > Finder > Application > Utility > System Information

다행히, USB 3.1 Bus 아래 SSD를 인식하기는 합니다.

Disk Utility에서 검사/복구/마운트 등을 수행하면 해결된다는 이야기도 있습니다. 다만, 제 경우에는 해당 사항이 없었습니다. 근본적으로 Mac에서 exFat을 인식하지 못하는 상황입니다.

해결 방법

이 문제를 해결하기 위해 Windows PC에서 다음 과정을 진행하였습니다:

Windows PC에 외장하드 연결
Mac에서는 복구되지 않던 외장하드를 Windows로 연결했더니 정상적으로 인식되었습니다. 그러나 파일에 접근하려고 하면 여전히 오류 메시지가 표시되었습니다.
명령 프롬프트 실행 Windows의 검색창에서 "cmd"를 입력하여 명령 프롬프트를 실행합니다.
디스크 복구 명령어 실행 명령 프롬프트에 다음 명령어를 입력했습니다:
- 여기서 d:는 외장하드가 Windows에서 할당받은 드라이브 레터입니다. 환경에 따라 다를 수 있으니, **내 PC(파일 탐색기)**에서 확인하세요.
코드 복사

chkdsk /F d:
cmd
오류 복구 진행 chkdsk는 파일 시스템의 오류를 검색하고, 가능한 경우 자동으로 복구합니다. 몇 분의 시간이 소요되며, 아래와 같은 메시지가 표시될 수 있습니다:이 메시지가 보이면, 복구가 성공적으로 완료된 것입니다.
css

코드 복사

Windows has made corrections to the file system.
MacBook에서 재연결 복구된 외장하드를 다시 MacBook에 연결하면, 이제 정상적으로 마운트되고 모든 데이터에 접근할 수 있었습니다!

이제 Macbook 에서도 ExFAT SSD가 정상적으로 동작합니다. ^^

Mac에서 해결되지 않을 때 Windows를 활용하라!

이 경험을 통해, MacBook에서 외장하드 문제를 해결하지 못할 경우, Windows를 활용하여 chkdsk를 실행하는 것이 유용한 해결책임을 알게 되었습니다.

마무리

여러분의 외장하드가 갑작스럽게 Mac에서 마운트되지 않는다면, 당황하지 말고 위 방법을 시도해 보세요. 추가로, 외장하드를 정기적으로 백업하고, 중요한 데이터는 한 곳에만 저장하지 않는 습관을 들이는 것도 중요합니다!

여러분의 Mac과 Windows 사용 경험이 있다면 댓글로 공유해 주세요. 다음에도 유용한 IT 팁으로 찾아뵙겠습니다.

맥북 M1 Chip GPU에서 pytorch 실행

리치윈드 - windFlex — Mon, 13 Nov 2023 17:33:49 +0900

맥북 M1 Chip는 Nvidia 그래픽카드를 사용하지 않는다. Apple 자체 개발한 M1 Chip을 사용하며, 이 아키텍처는 CPU와 GPU가 메모리를 공유하는 구조로 되어 있다. 따라서, NVIDA 그래픽카드 메모리에서 구동하도록 만들어진 CUDA 를 사용하지 못한다.

pytorch + GPU를 사용하는 대부분 실험과 Application이 CUDA를 사용하는 것을 고려할 때, 이것은 매우 심각한 문제라고 할 수 있다.

그러나, 애플에서 이부분을 고려하지 않을리 없다.

애플 또한 CUDA에 해당하는, M1 Chip의 GPU가속을 사용하도록 지원하는 프레임워크 "MPS"를 지원하고,

pytorch 또한 이 MPS를 지원한다.

MPS가 세팅되었는지 확인하기 위해서 다음과 `torch.backends.mps.is_build()` 와 `torch.backend.mps.is_available()`을 사용함으로써 확인할 수 있다.

import torch
print(f"MPS 장치를 지원하도록 build가 되었는가? {torch.backends.mps.is_built()}")
print(f"MPS 장치가 사용 가능한가? {torch.backends.mps.is_available()}")

일반적으로 Cuda를 사용하는 실험에서 다음과 같은 device를 변수로 사용하도록 많이들 작성한다.

애플 M1 Chip에서는 device를 `mps` 센팅함으로써 기존과 동일한 함수를 m1 chip의 GPU에서 구동 할 수 있다.

device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")
device = torch.device("mps") if torch.backends.mps.is_available() else torch.device("cpu")
print(device)
model.to(device)

hugging face fine tuning with LoRa

리치윈드 - windFlex — Mon, 13 Nov 2023 17:28:01 +0900

!pip install transformers datasets evaluate accelerate -q

> accelerate 는 병렬처리 등을 위한

train_dataloader = DataLoader(train_tensor, shuffle=True, batch_size=8)
eval_dataloader = DataLoader(eval_tensor, batch_size=8)
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)
optimizer = AdamW(model.parameters(), lr=5e-5)

기존에는 HuggingFace에서 Tokenizer와 Classifier를 각각 따로 불러왔어야만 했다.

그러나, 최근에는 AutoOOOO 등의 Warpper Class가 등장했는데, 이는 hugging Face의 모델명만 입력하면 자동으로 HuggingFace에 등록된 모델을 로딩하는 클래스들이다. 대표적으로, `AutoTokenizer` , `AutoModelForSequenceClassification` 등이 있다. 각각 Tokenizer와 Model에 대한 Auto Class이다.

참조 : huggingface

기존에 pretraining matrix W는 고정하고, 여기에 새로운 변화하는 dW만 (Rank가 현저히 작은) 를 더해서.

[참조] https://medium.com/@alexmriggio/lora-low-rank-adaptation-from-scratch-code-and-theory-f31509106650

LoRA: Low-Rank Adaptation from Scratch — Code and Theory

Transformer models can have a lot of parameters which can make fine-tuning them an expensive and time-consuming endeavor that is sometimes…

medium.com

JupyterLab javascript error - Interactive Widget 실행 에러

리치윈드 - windFlex — Mon, 13 Nov 2023 11:34:25 +0900

1. JupyterLab Interative Widget 실행 에러 경우

JupyterLab에서 ML 모듈을 실행 시킬 때, Interactive Widget을 사용하는 경우가 있다.

본인이 사용하는 경우도 있고, Hugging Face 등에서 제공하는 라이브러리를 사용하면 내부적으로 사용하는 경우도 있다.

Google Colab, 혹은 다른 Jupyter Lab 을 SaaS로 제공하는 경우는 버전 매핑을 잘 해두었겠지만, Local에서 설정하는 경우 간혹 버전이 맞지 않는 경우가 존재한다. 다음 사례는 Interactive Widget을 사용하는 경우 javascript가 구동되지 않는 사례이다.

위와 같인, JupyterLab에서 Web Page 처럼 Interactive한 Component 사용하는 Extention이 실행되지 않는 경우이다. 위에서는 javascript의 Columns, Rows를 구성하는 HBoxModel이 제대로 Display되지 않는 경우 이다. 구글 검색을 통해 찾아 보면, 다음과 같은 해법을 제시하고 있다.

[ 구글링 결과 제시된 해법]

ipywidgets 다운 그레이드 : ipywidgets==7.5.1
ipympl 다운그레이드 : ipympl==0.9.3
jupyterlab extention enable : `jupyter nbextension enable --py widgetsnbextension`

필자의 경우 위 설정들을 모두 해 보았는데 해결 되지 않았다.

2. 해결 방법 - JupyterLab 다운그레이드

필자의 해법은 다음과 같다.

JupyterLab에서 js가 실행되지 않는다. (좌), js extention이 실행되는 버전 (우)

Macbook의 경우, Jupyter Lab을 Application으로 실행하지 말고, 터미널에서 `python -m jupyterlab`으로 실행해 보자. 이렇게 실행하면 jupyter lab이 Desktop App가 아니라 Browser에서 실행된다. 원칙적으로 이러한 실행은 동일해야 하나, 상기 문제가 발생할 경우, js 실행은 browser 실행이 좀더 직접적인 방법일 수 있다.

2023년 1분기 근로자 산업안전보건교육 TEST

리치윈드 - windFlex — Mon, 3 Apr 2023 13:40:01 +0900

다시 돌아온 산업안전보건교육

법정 의무 교육이라서 정해진 시간만큼 교육이수를 필수로 해야하고요.

당연히 시험도 있습니다.

이게 현장에서 뛰시는 분이 아니라면, 체감도 되지 않고 무의미한 시간으로 여겨지기도 하는데요.

몇몇 사항은 도움이 되기도 하지만 대다수는 의미 없어 보이는 내용들입니다.

Q.01 다음 중 사무실에서 근무하는 근로자의 건강장해를 예방하기 위한 효과적인 방법이 아닌 것은?
  1) 사무실 실내오염물질을  파악해야 한다
  2) 사무실 공기질을 적정수준으로 관리해야 한다
  3) 실내명암차이가 심하고 직사광선이 잘 들어오는 구조를 유지한다
  4) 컴퓨터를 이용하여 장기간 앉아서 근무하는 근로자의 건강을 관리해야 한다

정답) 3

설명) 사무실에서 근무하는 근로자의 건강장해를 예방하기 위해서는 첫째, 사무실 실내오염 물질을 파악해야 합니다. 둘째, 사무실 공기질을 적정 수준으로 관리하여야 합니다. 셋째, 컴퓨터를 이용하여 장기간 앉아서 근무하는 근로자의 건강을 관리해야 합니다.
---------------------

Q.02 직장 내 괴롭힘에 대한 예로써 옳지 않은 것은 무엇인가요?
  1) 정당한 이유 없이 휴가나 병가, 각종 복지혜택등을 쓰지 못하도록 압력을 행사
  2) 남성/여성비하 행동, 성역할의 강요 또는 성 정체성 등에 근거한 성적 괴롭힘
  3) 신체적인 위협, 욕설이나 위협적인 말을 함
  4) 팀장이 팀원에게 특정 업무에 대해 계속된 보안을 요구하는 행동
정답) 4
  설명) 사용자 또는 근로자가 직장에서의 지위 또는 관계 등의 우위를 이용하여 업무상 적정범위를 넘어 신체적·정신적 고통을 주거나 근무환경을 악화시키는
행위이며, 괴롭힘 범주에는 남성/여성비하 행동, 성역할의 강요, 성 정체성 등에 근거한 성적 괴롭힘도 직장내 괴롭힘에 포함됩니다.
구체적인 예로는, ①정당한 이유 없이 휴가나 병가, 각종 복지혜택등을 쓰지 못하도록 압력을 행사 ② 사적 심부름 등 개인적인 일상생활과 관련된 일을 하도록 지속,반복적으로 지시 ③ 신체적인 위협이나 폭력을 가함 ④ 욕설이나 위협적인 말을 함 ⑤ 집단 따돌림 등이 있습니다.
---------------------

Q.03 사업장의 안전보건 관계자 중, 해당 사업장의 안전보건을 실질적으로 총괄관리하는 사람을 뜻하는 말은?
  1) 관리감독자
  2) 안전관리자
  3) 보건관리자
  4) 안전보건관리책임자
정답) 4
  설명) 우리 사업장의 경우 구성원이 100인 이상 근무하는 사옥 그리고 Enterprise 수주사업은 공사금액 20억원 이상인 사업장에
해당 사업장의 안전보건을 실질적으로 총괄관리하는 안전보건관리책임자가 선임되어 있습니다.
---------------------

Q.04 산업재해 발생 후 근로자에게 신속하고 공정하게 보상하기 위한 목적으로 제정된 법은 무엇인가요?
  1) 산업재해보상보험법
  2) 산업안전보건법
  3) 재해보상보험법
  4) 보상재해산업법
정답) 1
  설명) 산업재해보상보험법의 목적은 근로자의 업무상의 재해를 신속하고 공정하게 보상하며, 재해근로자의 재활 및 사회 복귀를 촉진하기 위하여
이에 필요한 보험시설을 설치ㆍ운영하고, 재해 예방과 그 밖에 근로자의 복지 증진을 위한 사업을 시행하여 근로자 보호에 이바지하는 것을 목적으로 한다.
---------------------

Q.05 다음은 무엇에 대한 설명인가? 빈 칸에 알맞은 답을 쓰시오.
□□□□□□□□□는 공사종류 및 규모에 따라 일정금액을 도급금액에 별도로 계상하도록 해 시공자가 건설공사 중에 안전관리자 인건비, 안전시설비, 기술 지도비 등에 사용함으로써 재해예방에 기여하는 비용을 말한다.
  1)
정답) 산업안전보건관리비
  설명) 사업장에서 근무하는 근로자의 산업재해와 건강장해를 예방하기 위한 목적으로 건설사업장 및 본사 안전전담부서에서 사용하는 돈을 산업안전보건관리비라고 하는데요. 산업안전보건관리비는 건설공사 발주자가 건설공사 종류 및 규모에 따라 일정금액을 도급금액에 별도로 계상, 즉 예산 편성에 반영하도록 해 시공자가 건설공사 중에 안전관리자 인건비, 안전시설비, 기술지도비 등에 사용함으로써 재해예방에 기여하는 데 그 목적이 있습니다.

---------------------

Q.06 [O/X 문제] 재해자의 의식이 없으면 응급처치를 바로 실시하되, 재해자가 의식이 있는 상태라면, 실시할 응급 구조 활동에 대한 내용을 설명 후 동의를 구해야 한다.

  1) O
  2) X
정답) 1
  설명) 응급처치를 하기 전 요구조자로부터 사전 동의를 얻어야 합니다. 만약 재해자의 의식이 없으면 응급처치를 바로 실시하되, 재해자가 의식이 있는 상태라면, 실시할 응급 구조 활동에 대한 내용을 설명 후 동의를 구하도록 합니다.

---------------------

Q.07 [O/X 문제] 공사 도급 내역서에 유도자 또는 신호자의 인건비가 이미 반영되어있거나, 타워크레인 등 양중기를 사용하는 현장에서 유도자 또는 신호자가 유도 · 신호업무만 전담하지 않는 경우도 인건비 사용이 불가능하다.

  1) O
  2) X
정답) 1
  설명) 공사 도급 내역서에서 이미 계상된 금액이고,안전 목적의 업무만 전담하지 않는 경우 사용이 불가능합니다.

---------------------

Q.08 [O/X 문제] 사업장의 안전보건 관계자 중, 해당 사업장의 생산과 관련된 업무와 그 소속 직원을 직접 지휘 감독하는 사람을 뜻하는 말은 관리감독자이다.
  1) O
  2) X
정답) 1
  설명) 관리감독자는, 사업장의 생산과 관련된 업무와 그 소속 직원을 직접 지휘·감독하는 사람을 선임하도록 법의로 규정하고 있으며
우리 회사는, HR, 경영기획, 재무회계 등 순수 경영지원직군을 제외한 전 직군을 비사무직으로 분류하고, 비사무직 조직의 리더를 관리감독자로 선임하고 있습니다.
---------------------

Q.09 직무스트레스를 관리하는 방법 중 옳은 것은 무엇인가요?
  1) 개인 스스로 받고 있는 스트레스 원인에 대한 불인지
  2) 명상, 운동, 인적교류 등 자신만의 스트레스 해소법을 찾고 실행
  3) 무분별한 약물 사용(신경안정제, 수면제 등)
  4) 스트레스 발생 원인을 자기 자신에게서 찾기
정답) 2
  설명) .
---------------------

Q.10 다음 중 고용노동부 고시에 따른 근골격계 질환 업무상 질병의 범위가 아닌 것은?
  1) 머리 부분
  2) 팔 부분
  3) 허리 부분
  4) 다리 부분
정답) 1
  설명) 근골격계 질환은 반복적인 동작, 부적절한 작업자세, 과도한 힘의 사용, 진동 및 온도로 발생하며, 팔/다리/허리 부분에 발생합니다.
---------------------

Q.11 다음은 안전문화 특성 중 무엇에 대한 설명인가?  "안전하지 못한 위험을 처벌에 대한 두려움 없이 자유롭게 보고할 수 있는 분위기를 말합니다. 만약 망가진 설비로 인해 재해가 발생할까 걱정되어 상급자에게 보고하였는데 이에 대한 책임을 물거나, 처벌한다면 누가 위험을 보고하려 할까요? 위험 요인이 보고되어 적절한 조치가 취해지지 않으면 오히려 이로 인해 재해가 발생할 수 있습니다.
  1) 보고문화
  2) 공정문화
  3) 학습문화
  4) 유연문화
정답) 1
  설명) 보고문화란 안전하지 못한 위험을 처벌에 대한 두려움 없이 자유롭게 보고할 수 있는 분위기를 말합니다. 만약 망가진 설비로 인해 재해가 발생할까 걱정되어 상급자에게 보고하였는데 이에 대한 책임을 물거나, 처벌한다면 누가 위험을 보고하려 할까요? 위험 요인이 보고되어 적절한 조치가 취해지지 않으면 오히려 이로 인해 재해가 발생할 수 있습니다.
---------------------

Q.12 직무스트레스의 원인으로 옳지 않은 것은 무엇인가요?
  1) 업무의 균형
  2) 업무량이 높거나 노력 대비 부적절한 보상
  3) 개인생활로 인한 스트레스
  4) 직장 등 사회생활로 인한 스트레스
정답) 1
  설명) (주요 원인) 직무스트레스의 가장 큰 원인은 업무의 불균형이며, 직무와 직/간접적으로 연관된 스트레스 원인으로부터 야기되는 경우가 많습니다. 직무에 따라 다르지만, 업무량이 높거나 노력에 비해 보상이 적절하지 않은 것들도 직무스트레스의 원인 중 하나입니다.
(일상 환경 원인) 보통 일상생활에서 발생하는 스트레스가 직무스트레스와 연결될 수 있습니다. 개인마다 요인이 모두 다르겠지만, 체중, 가족 건강, 재산의 감소, 범죄 발생등이 있을 수 있습니다.
(근무 환경 요인) 근무 환경에서도 직무스트레스를 발생시킬 수 있는 여러 요인들이 있습니다. 대표적으로 사무공간에서 발생할 수 있는 소음, 진동, 조명, 환기 등 이에 해당되는데, 해당 요인들이 장기적/지속적으로 사무공간에 발생하게될 경우 신체적/정신적으로 좋지 않은 영향을 끼치게 됩니다.
(사회심리적 환경 요인) 직장 등 사회활동을 하면서도 직무스트레스가 발생할 수 있습니다. 대표적으로 직장 내 개인의 과다한 책임이나, 직무/직위의 불안정, 승진기회 결여, 역할 갈등 등이 있습니다.
---------------------

Q.13 [O/X 문제] 근골격계 질환 1단계는 작업시간 동안 통증이나 피로감을 호소하지만 하룻밤 지나거나 휴식을 취하게 되면 증상이 없어지는 단계이며 작업능력의 변화도 없는 단계이다.
  1) O
  2) X
정답) 1
  설명) 근골격계 질환은 증상과 징후의 정도에 따라 발생단계를 3단계로 나누어 정의하고 있습니다. 1단계는 작업시간 동안 통증이나 피로감을 호소하지만 하룻밤 지나거나 휴식을 취하게 되면 증상이 없어지는 단계이며 작업능력의 변화도 없습니다. 즉 이때는 적절한 휴식을 취하면 이전 상태로 돌아오는 것이 가능한 상태입니다. 2단계는 작업시작 초기부터 통증이 발생되어 증상으로 인해 밤에 잠을 못자기도 하고, 하룻밤이 지나도 통증이 없어지지 않습니다. 작업능력의 감소가 동반되며 이러한 상태가 몇 달 동안 지속되는 단계입니다. 3단계는 하루 종일 통증을 느끼며 이로 인해 잠을 제대로 못 자고, 작업 수행을 할 수 없는 상태에 이르며 다른 일에도 어려움과 통증을 느끼게 됩니다.
---------------------

Q.14 다음 근골격계 대표질환 중 범위가 다른 하나는?
  1) 회전근개건염
  2) 경추염좌
  3) 수근관증후군
  4) 슬개대퇴부 통증 증후군
정답) 4
  설명) 슬개대퇴부 통증 증후군은 다리 부분의 대표적 질환이며, 경추염좌, 경추간판탈출증, 회전근개건염, 팔꿈치의 내/외 상과염, 수부의 건염 및 건초염, 수근관증후군 등은 팔 부분의 대표적 질환입니다.
---------------------

Q.15 [O/X 문제] 부상자는 재빨리 이동시키는 것이 바람직하다.

  1) O
  2) X
정답) 2
  설명) 사고 발생 장소가 2차 사고가 발생할 수 있는 위험장소인 경우를 제외하고는 가급적이면 부상자를 무리하게 일으키거나 옮기는 등의 행동은 하지 않는 것이 좋습니다.

---------------------

Q.16 우리 생활 주변에서 흔히들 사용되고 있는 낮은 농도의 화학물질에 누출되어 불편감이나 증상을 나타내는 증후군은 무엇인가요?
  1) 화학물질 과민증
  2) 신경과민증
  3) VDT증후군
  4) 산소 과민증
정답) 1
  설명) 특정 시간이나 특정 건물 체류 후 발생하는 건물 관련 질환은 화학물질 과민증이라고 해서 우리생활 주변에서 흔히들 사용되고 있는 낮은 농도의 화학물질에 누출되어 불편감이나 증상을 나타내는 증후군이 있습니다.
---------------------

Q.17 2021년 기준 우리나라 업무상 사고 사망자는 828명, 사고사망만인율은 0.43‱입니다. 여기서 말하는 사고사망만인율의 정의는 무엇일까요?
  1) 근로자 1만명 당 재래형 재해(사고) 사망자수
  2) 1만 근로시간 당 업무상 재해(사고) 사망자수
  3) 근로자 1만명 당 업무상 재해(사고) 사망자수
  4) 1만 근로시간 당 재래형 재해(사고) 사망자수
정답) 3
  설명) 사고사망만인율은, 근로자 1만명 당 업무상 재해(사고) 사망자수를 말하며, 여기서 근로자는 산재보험을 적용 받는 근로자수를 말합니다.
---------------------

Q.18 ㅇㅇㅇ 회사의 위험성의 크기를 산출하는 방법은?
  1) 행렬법
  2) 곱셈법
  3) 덧셈법
  4) 분기법
정답) 2
  설명) 위험성의 크기는 가능성과 중대성을 행렬법, 곱셈법, 덧셈법, 분기법 등의 가능성과 중대성을 조합하여 산출하며,
우리 회사는 가능성 5, 중대성 4의 곱셈법을 사용하고 있습니다.
---------------------

Q.19 안전한 상태라고 볼 수 없는 것은?
  1) 위험을 지각하고 있을 때
  2) 위험이 수용가능한 수준의 낮은 것일 때
  3) 유해인자나 부상으로 부터 자유로운 상태
  4) 위험이 수용가능한 수준인지 아닌지 인식하지 못한 상태
정답) 4
  설명)  우리가 일반적으로 안전하다고 하는것은 위험을 지각하고 있고 그 위험이 수용가능한 수준의 낮은 것일때를 말한다고 볼 수 있습니다.
---------------------

Q.20 다음 중 사무실 공기 오염물질이 아닌 것은?
  1) 가스
  2) 분진
  3) 곰팡이
  4) 산소
정답) 4
  설명) .
---------------------

[Mac OS] zsh 테마 프롬프트 (cmd prompt) 변경

리치윈드 - windFlex — Wed, 15 Feb 2023 17:08:25 +0900

ZSH 테마 커스터마이징

필자는 Mac/Linux 환경에서 `iTerm2 + ZSH + Oh-my-zsh` 조합으로 Terminal을 커스터마이징 하여 사용중이다. 이제는 맥북에서 기본 shell을 ZSH을 사용하기 때문에, 아마도 많은 유저가 필자와 유사한 환경으로 사용중일것 으로 추정하고 있다.

일단, 기본 터미널 세팅을 사용하면, 터미널이 너무 밋밋할 뿐만 아니라 이로 인하여 가독성이 떨어진다. 개발 IDE와 터미널 사용 시간이 거의 비슷한 필자 입장에서, 터미널의 가독성은 생산성과도 직결된다 할 수 있다. 따라서, 터미널의 환경 설정 또한 상당히 예민한 편이다. 필자가 사용하는 터미널 (Terminal) 환경과 테마 적용에 대한 내용은 아래 포스팅을 참조하면 된다.

2022.10.20 - [IT 이야기/IT 상식] - [MacOS - ZSH] 유용한 플러그인 2종 - 자동완성/하이라이트

ZSH 테마 (agnoster) 적용 결과 불편한 점 - 프롬프트가 너무 길어..

이번 포스팅의 내용은, "기본 테마 설정의 불편함"을 거론하고자 한다. 개인의 취향을 모두 마쳐줄 수 없기 때문에, 그 중에서 가장 일반화를 한 것일 것이다. 그러나, 그 중에서 계속 방해되는 것이 있는데, 바로 터미널 (Terminal)에서 "프롬프트 (Prompt) " 표기에 관한 부분은 너무 영향이 크다. 테마는 좋은데 프롬프트가 너무 길다.

물론 Minimal 에 충실한 테마들도 많이 존재한다.

먼저 ZSH 테마가 적용된 결과를 살펴 보도록 하자.

Oh-my-zsh의 테마 (agnoster)가 적용된 iTerm2의 터미널 결과

어떤 느낌이 드는가?

우선 기본 터미널 대비 가독성이 뛰어나다. 필요한 한 정보가 눈에 쏙 들어오고, 명령어/문자열이 속성에 따라 카테고리가 나뉘어서 매우 보기에 편하다. 그 중에서 프롬프트는 다음과 같이 구성되어 있다. (agnoster 테마를 적용했다. 다른 테마도 비슷할 것이다.)

(가상환경 이름) 사용자명@사용자PC이름 > 현재 Directory Path > Git Branch

명령어 프롬프트 한중에 많은 정보들이 같이 출력 되어 있기 때문에, 현재 상태를 한 눈에 알아보기 좋다. 그러나, 위 이미지에도 표기한 것과 같이 필자에게는 "개.인.적."으로 불편한 점들이 있다.

1) 혼자 사용하는 Mac Book에 "사용자@PC이름"이 모든 명령어 줄에 들어가 있을 필요가 있나?
- 서버 환경이라면 이 또한 매우 중요할 것이다. 만약 `su -` 등을 사용하여 현재 root권한 이라면 큰 문제가 발생할 수도 있으니까.
2) 정보를 주는 것은 좋은데, 명령어 줄에 입력할 공간이 이제 너무 부족한거 아닌가?
- git 까지 사용하면 그 뒤에 공간은 더욱 줄어들게 된다.
- 필자는, 명령어 줄이 다음줄로 넘어가는 것을 싫어한다. 다음줄로 넘어가면 혼동될 수도 있고, 스페이스/엔터 등의 차이로 중대한 오류를 발생할 수도 있다.
- directory Path 경로를 모두 표기할 필요가 있을까?하는 생각도 들기도 한다.

이러한 이유로, ZSH 테마의 명령어 프롬프트 변경할 필요가 있다.

ZSH 테마 프롬프트 커스터마이징 - 프롬프트 표기 정보 변경

ZSH 프롬프트 표기되는 정보를 커스터마이징 하기 위해서 다음과 같은 순서 진행이 필요하다.

1) 어떤 테마를 사용하고 있는지 확인한다. (.zshrc 파일 확인)

2) 적용된 테마 파일(*.zsh-theme)에서 프롬프트 출력 포맷 수정

1) 적용된 테마 확인 (.zshrc)

홈 디렉토리에 위치한 .zshrc 파일을 열어보자. 잘 모른다면, 터미널을 열고 다음 명령어중 하나를 실행 하면 된다.

`open ~/.zshrc`
`nano ~/.zshrc`
`code ~/.zshrc`

가장 윗부분에서 몇라인 안쪽에 테마 설정이 있을 것이다. 나머지 회색은 전부 "주석"이다. 필자의 경우는 agnoster 테마가 적용되어 있는 것을 확인 할 수 있다. (ZSH_THEME="agnoster")

ZSH 설정 (.zshrc) 파일 - agnoster theme가 적용되어 있다. (좌), 다양한 테마 파일중 agnoster.zsh-theme 파일을 수정한다. (우)

2) 테마별 설정 파일 수정 ( .zsh-theme 파일 )

테마를 확인했다면, 테마에 해당하는 설정 파일을 열어서 수정한다. 테마 파일은 `~/.oh-my-zsh/themes` 위치에 테마의 이름과 동일한 파일명과 ".zsh-theme" 확장자를 가진 파일에 저장되어 있다. 예를 들어 필자는 agnoster 테마를 적용하고 있으므로, 파일의 위치는 다음과 같다.

~/.oh-my-zsh/themes/agnoster.zsh-theme

본인에 해당하는 <테마명>.zsh-theme 파일을 열어보면 매우 복잡한 구조의 shell script로 정의되어 있는 것을 확인 할 수 있다. 그러나 잘 살펴보면, 프롬프트를 구성하는 각 영역별로 함수를 나누어 두었고, 색상과 내용을 어떻게 설정할지에 대하여 반복적으로 기술된 내용이다. 앞 부분에는 각 영역들에 대하여 정의하고 가장 마지막에 가서, 각 영역을 조리하여 프롬프트를 생성하는 것을 확인 할 수 있다.

agnoster.zsh-theme 파일의 context 수정 (좌), prompt build 라인 (우)

본 포스팅에서 수정하려는 부분은 명령어 프롬프트에서의 Context이다. 주석에도 표기 되어 있지만, "Context"는 "user@hostname"으로 표기된다. 여기에서 다음 표기에 집중하여 수정하면 된다.

%n : 사용자 이름 (username)
%m: PC이름 (hostname)

필자의 경우 3가지를 테스트 해 보고 마음에 드는 것을 선택하여 사용중이다.

%n@%m : 그대로 사용
%n : 단독사용하는 MacBook에 PC명이 뭐 중요하겠는가? hostname은 제거한다
: username, hostname 모두 필요없지. 예쁜 프롬프트 표시 하나면 되지.

위 3가지 경우중에서 실행해 보고 입맛에 맞게 선택하면 되겠다. 추가적으로 프롬프트 표시는 본인 선호에 따라서 아무거나 하면 된다. 필자는 재미삼아 별모양을 넣어 놓긴 했다.

아무것도 넣지 않은 Minmal도 좋을 듯 하다. 이미 알겠지만, 맥북 환경에서 `Control + Command + Spacebar`를 입력하면 다양한 이모티콘을 입력할 수 있는 창이 열린다. ✌️⭐︎☆⚡︎ 〉 아래는 별모양 프롬프트만 남긴 결과이다.

zsh prompt - 별모양 프롬프트 Context남 남긴 결과

추가적으로, 본인이 사용하지 않는 기능이 있다면, Prompt 구성에서 아예 제외 시켜도 될것 같다. 다음은 앞서 거론한 Prompt 를 조립(build)하는 부분이다. 테마파일을 가장 마지막에 위치해 있다. 이 부분중 본인이 사용하지 않는 기능은 주석 처리하거나, 삭제하면 간편한 커스터마이징이 될것이다. 가령, 가상환경을 사용하지 않는다면, prompt_virtualenv 라인을 주석처리 해도 될것 이다.

## Main prompt
build_prompt() {
  RETVAL=$?
  prompt_status
  prompt_virtualenv
  prompt_aws
  prompt_context
  prompt_dir
  prompt_git
  prompt_bzr
  prompt_hg
  prompt_end
}

취향에 맞게 테마를 사용하도록 하자.

기타 - ZSH 추천 테마

oh-my-zsh의 기본 설정으로는 "robbyrussell" 테마가 설정되어 있다. 필자는 아래와 같은 테마를 추천한다.

(추천) agnoster : oh-my-zsh 기본 내장
(추천) Powerlevel10k : https://github.com/romkatv/powerlevel10k
spaceship : https://spaceship-prompt.sh/
pure : https://github.com/sindresorhus/pure

기본 사용자는 agnoster를 추천한다. 이래저래 가장 기본적으로 사용하기에 좋다.

고급 사용자는 Powerleve10k를 추천한다. 추천 사유는 테마에서 커스터마이징 자체를 지원해 준다. (config wizard) config wizard의 예시 화면은 아래와 같다. 각 모양과 포함되야할 내용 및 포맷을 설정하도록 지원한다. 다양한 정보를 제공하기 때문에 새로운 경험을 할 수 있다.

필자는 agnoster 도 상당이 괜찮다고 생각한다. 위에서 설명한 프롬프트 길이만 조절하자.

ZSH - Powerlevel10k의 config wizard 를 사용한 커스터마이징 (customizing) (좌), 커스터마이징 적용 결과 (우)

Powerlevel10k 설정 가능한 테마 형식. 다양한 정보를 다양한 형태로 담을 수 있다. 그러나, 본인에게 맞지 않는 기능은 불필요하므로 사용해 보고 적당한 기능만 사용하자.

[ 0h-my-zsh 설치 / 삭제]

1) git clone으로 테마 프로젝트 다운로드, 2) 다운로드 완료 후 .zshrc 에서 테마 이름 변경

$ git clone --depth=1 https://github.com/romkatv/powerlevel10k.git ${ZSH_CUSTOM:-$HOME/.oh-my-zsh/custom}/themes/powerlevel10k

3) 삭제 하기

$ rm -rf -- ${ZSH_CUSTOM:-$HOME/.oh-my-zsh/custom}/themes/powerlevel10k

테마 파일 삭제 후, ~/.zshrc 에서 `ZSH_THEME` 변수 변경

[ Homebrew 설치 ]

별도 .zshrc를 변경하지 않아도 된다.

$ brew install romkatv/powerlevel10k/powerlevel10k
$ echo "source $(brew --prefix)/opt/powerlevel10k/powerlevel10k.zsh-theme" >>~/.zshrc

homebrew 설치가 편리하긴 한데, 아래와 같이 ~/.zshrc 파일에 본인이 직접 수정하지 않은 이상한 라인들이 자꾸 늘어나게 된다.
설치 후 변경된 .zshrc 파일

[ 삭제하기 ]

$ brew uninstall powerlevel10k; brew untap romkatv/powerlevel10k

[ Configuration Wizard 설정 / 재설정 ]

$ p10k configure

설치 후 ZSH을 다시 시작하면, configuration wizard가 실행된다. 만약 위자드가 실행되지 않으면 위 명령어를 통해서 강제 실행 하면 된다. 마찬가지로, 설정을 다시 초기화 하고 재 설정 하려면, 위 명령어 ("p10k configure")를 실행해 주자.

설정 위자드가 완료되면, 홈 디렉터리 밑에 아래와 같은 ".p10k.zsh" 폴더가 생성된다. (자꾸 뭐가 추가되네....)

위자드를 통해서 설정된 값은 해당 폴더 내부에 파일로 저장된다. 그리고, 이것은 ~/.zshrc 파일에서 다시 참조하여 shell을 설정한다. 따라서, 해당 폴더를 삭제해 버리면 설정 위자드가 초기화 되고 다시 설정하도록 할 것이다.

powerlevel10k의 설정 위자드를 통한 설정값 저장 디렉토리 (좌), ~/.zshrc의 추가된 설정라인 (우)

Happy Dev.

[Mac OS] Python GUI 프레임워크/라이브러리 - PyQt5 설치 시 정지 (Hang) 현상 해결

리치윈드 - windFlex — Wed, 15 Feb 2023 15:19:03 +0900

Python GUI Framework - TKinter, PyQt, PySide, Kivy

Mac OS 환경 Python GUI

일반적으로 Python 환경에서 Gui 환경을 구축하는 것은 별다른 작업을 요구하지 않는다.

대표적인 Python GUI 라이브러인 TKinter는 Python 내장 라이브러리 이므로, pip install을 통해서 한번에 환경을 구축할 수 있다.

[ Python 주요 GUI 라이브러리 ]

TKinter - 참조 : https://076923.github.io/posts/Python-tkinter-1/
- (장점) 무지 쉽다. 빠르게 UI를 구성할 수 있다. 따로 설치할것이 별로 없다.
- (단점) 단순하다. UI가 복잡해지면 Layout이 어렵다.
PyQt4, PyQt5, 최근 PyQt6 - 참조 : https://wikidocs.net/35478
(TKinter는 복잡한 GUI를 구성하기에는 번거롭다. UI 자체도 예쁘지는 않다. ==> 좀 더 UI 편의성을 개선한 라이브러리 이다)
- (장점) 상대적으로 고급 UI 개발이 가능하다.
- (단점) 추가 설치가 필요하고, 본격적으로 UI 개발이다.
PySide - 참조 : https://pypi.org/project/PySide/
(PyQt는 상용 (Commercial) 사용 불가하기 때문에 대안으로 개발)
- (장점) 개인/업무/상용으로 모두 사용할 수 있다.
- (단점) PyQt와 유사하지만, 다르다. PyQt 대비 자료가 부족하다.
Kivy - 참조 : https://kivy.org/
(파이썬으로 모바일 앱을 만들어보려는 시도에서 GUI 프레임워크로 발전)
- (장점) Python으로 모바일 개발할 수 있는 유일한 프레임워크 이다.
- (단점) 결과물의 품질을 높이기가 어렵다. 굳이 Python으로 해야하는 생각이 든다. 아직 마이너하다.
  Flutter/ReactNative가 CrossPlatform을 지원해주는 시기에 굳이 이렇게 해야하나 하는 생각 ^^;;;

기본적인 GUI 환경인, TKinter의 부족한 측면에 대응하여 좀 더 다양한 GUI 환경 구축을 원한다면, PyQt5를 고려해 볼 수 있을 것이다. PyQt 또한 대중적으로 많이 사용하는 라이브러리인 만큼 그에 대한 자료는 매우 많으며, 지속적으로 보완 되어 왔다. 이 덕분에 오늘날의 python3 환경에서 PyQt 사용을 위해서는 `pip install PyQt5` 한줄 입력이면 환경이 완료되는 것이 일반적이다.

[설치 에러] Mac OS 환경 PyQt5 설치 - Hang 해결

그런데, pyqt5의 라이선스는 상용 (commertial) 사용은 유료 이다. 이 때문에, 설치 시점에 license에 대한 서명을 해야하는 것 같다.

pip3 install pyqt5 --config-settings --confirm-license= --verbose

우선, pip install 중에 무엇을 하고 있는지 상세하게 살펴보자. --> `--verbose`

환경 설정 할 수 있도록 해주자 --> `--config-settings`

라이선스 서명에 동의 해 주자. --> `confirm-license=`

[SSH] SSH 연결 자동화 설정 개념/config/문제해결

리치윈드 - windFlex — Fri, 27 Jan 2023 17:56:31 +0900

매번 SSH 연결.... 귀찮아~

Linux/Mac 및 Cloud 환경에서 개발을 하게 되면, 필연적으로 SSH 연결을 사용하게끔 된다.

Windows 환경에서는 Putty, WinSCP 등을 사용하여 GUI 환경에서 연결하고, 자동화하는 수단이 다수 제공하고 있다.

그러나, Linux or Mac 등에서는 이러한 자동화 혹은 GUI 툴이 부족한 편이다.

그도 그럴것이, Terminal에서 기본적으로 OpneSSH Remote Login Client를 지원하기 때문에, 굳이 별도의 Application의 사용 필요성을 느끼지 못하는 부분도 있다. 그러나, 개발과 원격접속이 반복됨에 따라서 이러한 부분도 점점 귀찮아지는 상황이 발생하곤 한다.

OpenSSH의 모든 기능을 이야기 하려면 끝도 없기 때문에, 이번 포스팅에서는 연결 자동화 하는 부분으로 한정하여 이야기 해 보려 한다.

SSH (Secured Shell) 및 비대칭키 암호화, 자동화 설정하기

I. SSH 기본 연결

SSH의 가장 단순한 사용 형식은 다음과 같다.

$ ssh <remote server address>

이후 프롬프트에서 Username / Password를 입력하고 로그인 할 수 있다. 그러나, 이러한 user/password 방식은 무작위대입공격(Brute-force Attack)등에 매우 취약하기 때문에 보안 강화 차원에서 Password 문구 대신에 Hash (RSA Private Key)로 이루어진 Key파일로 인증을 진행하는 것이 표준으로 자리 잡고 있다.

SSH는 Secured Shell 의 약자로써, 여기에서 "Secured"는 암화화 연결을 의미한다. 반대로 암호화를 하지 않는 터미널 연결인 Telnet이 있는데, Telnet는 네트워크 상에 평문(텍스트)로 전송이 되기 때문에, Wireshark 등의 Packet Dump를 한다면, 패스워드를 포함한 모든 명령어가 노출될 수 있다. 이러한 단점 때문에, 접속하고자 하는 서버측에서는 암호화 채널을 생성하고, 이를 통하여 통신하도록 한다. 이 때 비대칭키 (Asymetric Key : Public/Private Key 쌍)을 사용하여 암호화 한다.

이번 포스팅에서는 이러한 연결 Session을 암호화 할 때 사용하는 키를 거론하는 것은 아니다. SSH 접속 시 세션 암호화에 대한 내용은 하단을 참조하도록 하자. 이번 포스팅에서 대상으로 하는 것은, 인증 (ex. 로그인)에 대한 키를 대상으로 한다. 간혹, SSH에서 키파일을 거론할 때 이러한 점이 혼동을 유발하기도 하기 때문에 거론한다. 잘 모르겠다면 넘어가도 좋다.

II. SSH 키파일 로그인

패스워드 입력 대신 "키파일"을 입력하는 방식으로 SSH를 접속한다면, 수정된 명령어 유형은 다음과 같다. 옵션 -i를 사용하여 키파일을 지정해 주면 된다. 또한, 원격서버를 지정할 때, 키파일을 사용하는 username을 지정해 줄 수 있다.

$ ssh -i keyfilename username@<Remote Server Address>

옵션 -i : 키파일을 별도 지정한다. 일반적으로, 홈폴더(/Users/username) 하위에 .ssh/에 보관하는 것이 기본설정이다.

[참조] URI 정의

인터넷에서 리소스를 지칭하는 URI는 본래적인 의미로, 사용자이름(user)와 패스워드(password)를 포함할 수 있다. 그 예중 하나로, http://user:password@host_address/ 형태가 될 수 있다. 즉, 위 SSH의 예에서 "username@<remote Server Address>" 중 username을 포함하는 것 자체가 URI이다. 이러한 예는, Github를 사용할 때에도 자주 확인할 수 있다.

scheme:[//[user[:password]@]host[:port]][/path][?query][#fragment]
참조: 위키피디아 ( https://ko.wikipedia.org/wiki/%ED%86%B5%ED%95%A9_%EC%9E%90%EC%9B%90_%EC%8B%9D%EB%B3%84%EC%9E%90)

클라우드 환경에서 User/Password 로그인 금지

최근 클라우드 환경 (AWS, Azure 등)에서는 User/Password 로그인을 금지하도록 SSH 서비스 설정을 하고 있다.

설정파일 : /etc/ssh/ssh_config 또는 /etc/ssh/ssh_config.d/*.conf
설정값 :
"PasswordAuthentication no"

III. SSH 키파일 로그인 자동화

`SSH -i <키파일>`을 통해서 username/password 없이 원격접속이 가능한 것은 알겠다.
몇가지 의문이 생긴다.
키파일은 어떻게 생성하거나 구하는가?
어떤 구조이길래 가능한가? --> 즉, 어떻게 설정해야 하는가?

그렇다. 키파일을 통한 로그인이 무작정 될리 없다. 해당하는 비대칭키-쌍도 등록을 해 주어야 할것이다. 아무 키파일이나 로그인이 되지는 않을것 아닌가?

근본적인 원리는, 구어체로 쓰면 다음과 같다.

비대칭키 (공개키, 개인키 각각 다른 키)를 생성하고,

원격서버에 공개키를 주고, 개인키는 내가 보관하고,

원격서버에 접속할 때, 로그인으로 인증해 줄 사용자에 키를 할당 해줌

좀 더 실제적으로는, 서버에 키-파일을 등록하고 로그인 자동화를 하기 위해서 일반적으로 다음과 같은 단계로 진행한다. (클라우드에 따라서는 key 등록 과정들이 생략될 수 있다.)

SSH-Keygen으로 비대칭키쌍 (Public Key, Private Key)를 생성 : ex) ssh-keygen -t rsa
Server에 인증가능한 대상으로 등록 : authorized_keys에 등록 (public key를 추가함)
ssh -i 로 접속 --> 로그인 자동화
추가적인 설정 : ~/.ssh/config 설정

1) ssh-keygen으로 비대칭키-쌍 생성

키파일의 생성은 여러가지 비대칭키 생성기가 있지만, Linux/Mac 등 환경에 기본 제공하고 있는 `ssh-keygen`명령어를 사용하도록 하자.

$ ssh-keygen 
or
$ ssh-keygen -t rsa

ssh-keygen 의 옵션 -t 를 통해서 암호화 알고리즘을 설정 할 수 있다. 기본적으로 로그인용 키파일은 RSA알고리즘을 많이 사용한다. SSH Session을 암호화하기 위해서 ecdsa 등을 사용하기도 한다.
옵션 설정은 다음과 같이 설정 할 수 있다. [-t dsa | ecdsa | ecdsa-sk | ed25519 | ed25519-sk | rsa]

ssh-keygen 실행 결과. 옵션 없이 실행하는 경우 기본값으로 RSA알고리즘을 사용한다. passphrase는 키파일에 사용할 패스워드이다. 그냥 엔터를 입력해도 좋고, 키파일에 패스워드를 추가할 때 입력해주면 된다.

ssh-keygen 명령어를 실행하면, RSA 공개키/개인키 쌍 (public/private pair)를 생성해 준다. 기본 설정은 각각 다음 파일에 공개키, 개인키를 저장하도록 하고 있다. 별도 파일을 지정하여 저장할 수 있다. 변경없이 진행한다면 그냥 엔터를 눌러주자. (위 실행 결과에서는 "test_key"와 "test_key.pub"에 각각 개인키와 공개키가 저장되었다. )

개인키 : ~/.ssh/id_rsa
공개키 : ~/.ssh/id_rsa.pub ==> 이후, 원격 서버 authorized_keys로 복사

이 때, Fingerprint가 같이 구해 진다. 출력된다. Fingerprint는 Key File을 검증하기 위해 사용된다. Fingerprint는 공개키의 해쉬값이다. (위 예에서는 SHA256, 알고리즘에 따라서 Salt가 추가 된다.). 이러한 Fingerprint는 ssh 연결에서 "known_hosts"에 사용된다. 또한 github 등의 deploy_key 등의 위변조를 확인 용도로 자주 접할 수 있다.

`ssh-keygen -l -f <공개키 파일명>` 을 통해서 해당 키의 fingerprint를 다시 확인 할 수 있다.

2) 공개키 원격서버에 등록

공개키/개인키를 확보했다면, 서버에 해당 유저가 사용할 키로 등록해 주어야 한다. 이 후 만약 해당 User로 접속할 경우, 패스워드 입력 대신에 Keyfile로 인증을 대체 하게 되는 것이다. 이러한 역할을 하는 파일이 `~/.ssh/authorized_keys`에 등록된다. 이미 등록되어 있는 authorized_keys 파일을 열어서 확인해 보면, 등록한 공개키(public key)와 동일하다. 즉, 인증받고자 하는 공개키를 `~/.ssh/authorized_keys`로 복사해 주면 된다. (기존에 authorized_keys가 존재한다면 다음 행에 공개키를 추가한다.)

원격 서버의 ~/.ssh/authorized_keys는 클라이언트의 공개키를 복사한 것이다. 이후, 개인키를 사용하여 원격서버에 인증을 요청하면, 권한이 부여된다.

즉, 패스워드 입력없이 SSH 접속을 하려면, 다음처럼 진행 하면 된다.

rsa 공개키/개인키 쌍을 생성한다.
rsa 공개키를 원격서버로 복사한다.
복사한 공개키를 원격서버의 ~/.ssh/authorized_keys로 변경하거나, 추가 한다.

2-2) 클라우드 환경 Authorized_keys

이 과정이 처음에는 어렵고 번거로울 수 있다. 그런데, 요즈음 클라우드 서버들은 이러한 과정은 GUI/Portal로 처리하고 있다. 다음은 Azure Portal에서 VM을 생성할 때, SSH 공개키를 등록하는 과정이다. (VM 생성 이후에더 암호변경 메뉴에서 사후 설정할 수 있다.)

Azure Cloud Portal에서 VM을 생성 시, 관리자 계정에 대한 SSH 공개키 방식으로 설정 ==> 해당 계정에 Authorized_keys에 등록해 준다. 여기에서 사용된 공개키는 새롭게 생성하거나, 기존 키를 사용할 수 있다. 생성된 키는 Key Service에서 별도 관리된다.

실제 설정 완료, Provisioning 이 완료된 후에 해당 서버에 접속하여 확인해 보면 해당 계정의 Authorized_keys에 공개키가 등록되어 있는 것을 확인할 수 있다.

Azure Cloud에서는 Key Service를 VM에 연결할 수 있다.

Azure 및 AWS의 경우, Key Service를 별도록 제공한다.

3) SSH 접속 ( ssh -i )

이제 SSH를 접속하기 위해 shell에서 다음과 같이 입력할 수 있다.

$ ssh -i ~/.ssh/id_rsa 계정이름@<원격서버>

ex) ssh -i ~/.ssh/id_rsa user@testcloud.com

~/.ssh/id_rsa는 기본값이므로 파일명을 생략이 가능하다. 만약, 다른 파일에 개인키를 저장하고 있다면 이 파일을 명시해 주어야 할것이다.

자.! 이제 패스워드 입력 환경 없이, SSH를 접속하는 환경이 세팅 되었다. 해당 명령어가 번거롭다면 스크립트 파일을 만들어서 단순화 할 수 도 있을 것이다. 또한, 다음장에서 소개하는 `.ssh/config`를 통해서 더욱 단순화 할 수 있다.

4) 발생 가능한 이슈/문제점

키파일을 사용하여 SSH를 접속할 때, 빈번하게 발생하는 문제점중 하나는 아래와 같이 "UNPROTECTED PRIVATE KEY FILE!"이라는 경고가 출력되면서 접속이 되지 않는 현상이다.

이것은 최소한의 보안 장치이다. 보안적인 관점에서 다음과 같이 생각해 볼 수 있다.

으음.. 이렇게 되면 private key 파일만 있으면 누구든지 서버에 접속할 수 있는거 아냐??
좀...... 위험한데?

이러한, 이유로 키파일은 좀더 타이트하게 관리되어야 한다. 따라서, 해당 소유자만 읽기(READ)을 가지며, 다른 모든 사용자는 권한을 제거하도록 강제하고 있다. 위 경고는 소유자 외에도 리드권한이 있기 때문에 키파일로써 허가하지 않는다는 의미이다. 만약, 개인PC가 아닌 다중사용자 환경 (서버 등)에서 644 권한을 가진 키파일이 사용된다면, 다른 권한없는 사용자들도 해당 서버에 SSH로 접속할 수 있게 될것이다. 이러한 이유로, 키파일 (개인키)는 600 혹은 400 (소유자만, 읽거나/쓰기 권한)으로 설정되어 있어야만 동작하도록 강제하고 있다.

다음과 같이 수정해 주면 해결 할 수 있다.

$ chmod 400 ~/.ssh/test_key

III. SSH Config

우리는 SSH 접속할 때 매번 패스워드 입력을 하는 작업을 단순화 하였다. 그러나, 원격 개발을 하는 과정에서 반복적으로 접속을 하거나 다수개의 터미널을 사용하여 처리하는 일이 빈번하다. 패스워드 입력 없이 SSH를 접속하더라도 매번 키파일을 지정하고, 기억 나지도 않는 IP 혹은 Domain 등을 입력하기도 번거로운 것이 사실이다. Putty 등은 기존 접속이력을 보관하여 버튼 클릭 한번이면 재접속이 가능하기도 하다. (보안에 유의하자...!!!)

$ touch ~/.ssh/config

만약, 이미 config 파일이 존재한다면, 편집으로 추가 하면 된다.

~/.ssh/config 에는 우리가 command line에 Argument로 입력할 사항을 미리 적어두면 된다. 다음은 하나의 예이다.

Host remote-server
    HostName mytest-server.example.com
    User testuser
    IdentityFile ~/.ssh/test_key

첫째줄에 Host는 나중에 ssh 접속 시 사용할 별칭 (alias)가 된다. 둘째줄 부터 설정 값으로 각각, 접속할 원격서버의 IP/도메인네임, 접속할 사용자 계정, 마지막으로 개인키 파일을 지정한다. 설정이 완료된 경우, 앞으로 다음과 같은 명령만으로 SSH 접속을 단순화 할 수 있다.

$ ssh remote-server

어떠한가? 정말 단순해 지지 않았는가?

복잡하게 도메인이름이나, IP를 기억하지 않아도 된다.

각 서버마다 다른 키파일을 기억하거나 입력하지 않아도 된다.

오늘도 삽질을 줄여보자.....

IV. 기타

[ known_hosts ]

~/.ssh 디렉토리를 살펴보면, `known_hosts`라는 파일이 있다. 이 파일의 용도는 무엇일까?

파일을 열어서 확인해 보면, 다음과 같이 도메인이름과 해시 값들이 열거되어 있다.

$ cat ~/.ssh/known_hosts

known_hosts 파일 내용. 도메인-해시값이 나열되어 있다.

결론적으로, `known_hosts`파일은 fingerprint 값을 저장하고 있다. 앞서 잠깐거론 했듯이, fingerprint는 공개키의 해시값에 해당한다. 결국, 이 fingerprint라는 해시값은 해당 Client(접속하는 서버도 Client가 될 수 있다)에서 인지하고 있는 원격서버가 정확한지? 변조는 없었는지를 검증하는 용도이다.

원격 서버가 SSH 데몬서비스를 오픈하면 기본적으로 세팅된 공개키가 존재한다. 이것은 SSH에서는 HostKey라고 한다. 또한, 이 HostKey는 SSH 데몬서비스인 sshd의 설정값에 따라서 다른 인코딩 알고리즘을 사용한다. 다음은 서버에 일반적으로 존재하는 지원하는 알고리즘별로 공개키를 fingerprint 해 둔 파일들이다.

예를 들면, 위 예제의 서버에서는 ed25519 알고리즘을 HostKey로 사용하고 있다. 따라서, Client (위 예제 서버에 접속하는 Client)의 `known_host`에는 위에 표기된 `ssh_host_ed25519_key.pub`에 기록된 해시값이 입력되게 된다.

그런데, 이러한 fingerprint는 왜......? 필요한건데..?
결론은 보안 때문이다.

앞서 거론했듯이, 핑거프린팅(fingerprint)은 공개키를 검증하는데 사용하고 있다.

우리가, 최초 ssh로 서버에 접속하게 되면, fingerprint를 known_host에 등록하겠냐는 질문을 받는다. (대부분 엔터를 입력하므로 등록된다.) 따라서, 우리는 `www.example.com`이라는 원격서버에 접속해서, 공개키를 기준으로 핑거프린트를 등록해 두었다. 이것은 다음과 같은 작업을 의미한다.

www.example.com의 공개키는 "xxx"값이다. 이것을 빠르게 검증하기 위해 fingerprint 사용할께~

이런 상황에서 만약, 어떠한 이유에서 공개키가 변경될 수 있다.

동일한 "ww.example.com"에서 hostkey가 변경된 경우 --> 이런 경우는 정상이므로 제외하도록 하자.
"www.example.com"을 위장한 다른서버로의 접속
/etc/hosts 파일 변경 등으로 인한, 다른 서버 접속
중간에 proxy 이 중간에 껴서 대상 서버가 달라지는 경우

특히, 마지막의 경우를 우리는 중간자공격 (MITM : Man In The Middle)이라고 하는데, fingerprint는 이러한 공격을 방지하고자 함이다. 내가 분명히 "www.example.com"으로 접속했을 때, 접속한 대상이 과거에 기록된 "www.example.com"의 HostKey와 동일함을 확인하는 것이다. 그렇지 않고, 위장서버 또는 중간에 가로채기 등이 존재하는 경우, HostKey가 변경될 것이고, 이 변경사항을 Fingerprint로 빠르게 확인 할 수 있다.

[Visual Studio Code - Extension]

Visual Studio Code에서는 다양한 확장App을 제공한다. 이중에서 Remote-SSH를 제공하는데, Microsoft가 제공/유지 관리하여 상당히 신뢰성을 가지고 사용해 볼만 하다. "Remote-SSH 호스트에 연결" 명령어를 통하여 쉽게 서버에 접속하고, Visual Stuiod Code 환경으로 편집/개발을 할 수 있으며, Terminal도 오픈하여 사용할 수 있다. 굳이 Code를 작성하는 시점이 아니더라도, Terminal 사용 환경으로도 우수한 환경을 지원한다.

그러나, 항상 Visual Studio Code를 사용할 수 있는 환경만 있는 것은 아니므로, 기본기는 갖추어야 할 것이다. 툴을 최대한 이용하되 툴에 종속되지는 말자....!!!

[MacOS/Linux] 자꾸 패킷을 날리는 것은 누구인가? (ft. netstat, lsof, Streamlit)

리치윈드 - windFlex — Thu, 26 Jan 2023 22:03:44 +0900

Python FastAPI로 간단한 RestAPI 서버를 테스트 중입니다. (클라우드 서버에서)

그런데, 해당하는 개발 서버에 지속적으로 패킷을 발송(Send)하는 대상이 있습니다.

지속적으로, "GET /healthz"를 보내고 있습니다. 처음에는 그냥 그런가보다 했는데, 자꾸 발송하니 테스트에 방해가 되었습니다.

1) Log를 확인해 봅니다.

2) 대상 출발지를 확인해 봅니다.

3) 대상 IP를 확인하니, 어처구니 없게도 본인의 공인 아이피 입니다. 헐~

어떤 프로세스가 지속적으로 패킷을 보내는가? 너무 귀찮습니다. 로그도 계속 쌓여서 테스트하고자 하는 로그찾기도 귀찮아 집니다.

테스트중인 POSTMan, Proxy 등은 /healthz 라는 URI를 호출하지 않습니다.

그렇다면, 내 개발장비의 어느 프로세스 인가가 계속 루프를 돌면서 호출하고 있는게 분명합니다.

누구냐..? 넌..?
나를 귀찮게 하는 것은 누구인가?

4) 로컬PC (mac)에서, 네트워크가 연결되어 있는 정보를 살펴 봅니다.

$ netstat -ant | grep 8080

다음과 같이 목적지 서버에 8080포트로 연결하여 ESTABLISHED 되어 있는 연결이 있습니다. 신기한것은 TIME_WAIT 되었지만 몇놈 더 있었다는 것입니다.

목적지 서버에 접속하여 커넥션을 유지하고 있는 프로세스가 있다. (netstat -ant)

다시 netstat 를 서버 IP로 잡아보고, 어떤 프로토콜을 사용하는지 살펴보았습니다. 연결하여 사용하고 있는 ssh는 문제가 없어 보입니다. "http-al"이 수상해 보입니다. http protocol을 사용하고 있는 녀석입니다. http 프로토콜은 기본적으로 한번 접속하고 connection을 끊어 주는데, 지속 연결하고 있습니다.

5) lsof 명령으로 정확한 프로세스/파일명을 찾는다.

http를 사용하는 어떤 프로세스인지, 정확히 실행파일 단위로 알고 싶습니다. 이럴 때, `lsof` 명령어는 매우 요긴하게 사용할 수 있습니다. `lsof`명령어는 List of File의 약자로 Linux/Unix계열에서 오픈되어 있는 파일을 나열하는 명령어 입니다. 아시다시피, Linux/Unix계열의 모든것은 파일형태로 관리하기 때문에 네트워크 소켓 또한 파일로 관리됩니다. 따라서, lsof를 사용하면 열려있는 소켓과 이를 사용하는 프로세스를 확인 할 수 있습니다.

다음은 포트 8080을 열고있는 파일을 나열합니다.

$ lsof -i:8080

lsof 명령어로 8080 포트를 열고 있는 프로세스는 무엇인지 확인

흐음... Google 입니다. Google + HTTP ==> Chrome ?
PID == 569

6) 정확한 Application 확인

확인을 위해서 `ps -ef`를 사용하여 정확한 실행 파일명을 찾아 보았습니다. "/Applications/Google Chrome.app"를 확인하였습니다. Chrome 브라우저가 맞습니다.

필자는 Chrome의 탭을 30~40개 띄워놓고 작업을 하는데, 이중에서 무엇인가 있나 봅니다. 탭을 하나 하나 확인 결과, Chrome Browser에 띄워 놓은 Streamlit 이었습니다. Streamlit은 Frontend/Backend 모두 포함하고 있는데, FrontEnd의 Javascript로 변환된 코드 중에서 지속적으로 Health Check 를 확인하는 코드가 포함되어 있는 것을 확인했습니다. Streamlit을 사용하시는 분은 참조하시기 바랍니다.

에효~~ 결국 브라우저에서 원하지 않는 health Check를 하는 녀석이네요.
집 앞에 있는 파랑새를 잡은 느낌입니다만, 개발하는 과정은 언제나 이렇습니다.

[Python] 패키지 배포 리스트 관리 (ft. Requirements.txt 포맷팅 오류)

리치윈드 - windFlex — Wed, 18 Jan 2023 16:09:46 +0900

이번 포스팅이서 다루고자 하는 내용은 Python 소스를 배포하고 구동하는 발생하는 어려움 중 하나의 대해서 이야기 하고자 한다. 결론부터 이야기하면, Python 소스를 배포할 때 사용하는 패키지 리스트 (requirements.txt)가 간혹 호환성 (Compatible)이 없을 때가 있다. 필자의 경우는, 이런경우를 수정하고 배포하거나 검증/수정을 하는데, 다른 개발자가 개발한 배포 버전에서 이런 부분이 다수 발견되었다.

python 패키지 배포 시 requirements.txt의 설치 목록 포맷팅 오류

다른 분들도 이런 경우가 발생하지 싶어서 포스팅을 남겨 본다.

[순서]

1) Python 패키지 배포 (기본사항 리마인드)

2) Python 패키지 리스트 중 발생 가능한 이슈

3) 문제 발생 원인

4) 문제 해결 방안

[결론]

일관된 requirements.txt 포맷을 출력하기 위해서 다음 명령어를 사용하자.

pip list --format=freeze > requirement_pip_list.txt

1. Python 패키지 배포, 가상환경 생성 및 배포 (리마인드)

Python으로 모듈 개발을 완료한 후에는 이제 Staging/Production 환경에 구축하고, 구동을 해야 할것이다. 이미 잘 알고 계시듯, Python에서는 개발환경과 동일한 환경을 구축 할 수 있도록 가상환경 체계와 설치환경을 제공한고 있다. 패치지 관리자가 지원하는 가상환경 (VirtualEnv)과, 설치된 패키지 목록(requirements.txt)을 통해서 수월하게 환경을 재구축 할 수 있다.

간략히 요약해 보자. (PIP 기준)

[ 설치 목록 생성 ]

설치된 패키지 목록은 아래와 같이 상태를 고정 (freeze)하면서 목록을 얻을 수 있다. 다음 명령은 pip를 사용하여 requirements.txt를 생성한다.

pip freeze > requirements.txt

[ 가상환경 생성 및 패키지 설치 ]

다음은 Python 기본 내장 모듈인 `venv`를 사용하여 가상환경을 생성하고, requirements.txt에 표기된 패키지를 설치한다.

python -m venv .venv
source .venv/bin/activation
pip install -r requirements.txt

가상환경을 생성할 때, venv 외에 virtualenv 또는 conda env를 사용할 수도 있다. virtualenv의 용법은 venv와 거의 유사하면, conda의 경우는 다음과 같이 가상환경을 생성할 수 있다. ex) `conda create -n <가상환경 이름> python=3.9`

Conda 등 가상환경 생성에 대한 부분은 다음 포스팅을 참조 바란다:

2022.12.06 - [개발 이야기/Python] - [Conda-Jupyter] Conda 가상환경과 Jupyter Kernel 연동/생성/삭제

[ Docker 환경에서 배포/설치하는 경우 ]

Docker/Container의 경우에는 Container 자체가 가상환경이며, 초기 상태를 가정하고 있으므로 굳이 새로운 가상환경을 만들 필요는 없을 것이다. 이 경우, 아래와 같이 COPY명령어로 requirementx.txt를 복사하고, RUN명령어로 pip install을 실행해 주면 된다. 다음은 Dockerfile의 일부 이다.

COPY ./requirements.txt /path/to/requirements.txt
RUN pip install -r requirements.txt

2. Python 패키지 목록 발생 가능 문제점

위에서 우리는 Python 패키지 설치목록을 배포하고, 이를 통해서 개발환경을 재구축하는 방법에 대하여 상기하여 보았다. 이제 발생가능한 문제점을 살펴보자. 아래는 정상적인 상태에서 패키지 목록 (requirements.txt)의 유형을 표기한 것이다. 아래와 같이 requirements.txt는 설치된 패키지 이름과 버전을 표기하고 있는 텍스트 파일일 뿐이다.

패키지이름1==버전
패키지이름2==버전
패키지이름3==버전

다음은 실제 사례 (requirements.txt) 중 일부이다.

...
matplotlib==3.6.0
mkl-fft==1.3.1
mkl-service==2.4.0
...

그런데, 개발을 진행하다가 보면, 다음과 같은 이상한 문자열을 보기도 한다.

numpy @ file:///tmp/abs_653_j00fmm/croots/recipe/numpy_and_numpy_base_1659432701727/work

잘 살펴보면, 패키지 이름을 나열하고, 그 패키지 파일이 어디에 있는지를 표기하고 있는것으로 보인다. 기본적인 pip는 PyPy를 기반으로 <패키지명>, <버전>만 표기하면 그때 그때 다운로드 받아서 설치하는 구조인데, 상기의 표기는 무엇인가 기본적인 정책에 부합하지 않는다.

아래는 실제 필자가 사용하는 패키지 중 일부에서 발췌한 실 사례이다. certifi, mkl-random, numpy 등이 비정상적인 포맷으로 표기되어 있는 것을 볼수 있다.

blinker==1.5
cachetools==5.2.0
certifi @ file:///opt/conda/conda-bld/certifi_1663615672595/work/certifi
cffi==1.15.1
charset-normalizer==2.1.1
click==8.1.3
commonmark==0.9.1
contourpy==1.0.5
decorator==5.1.1
entrypoints==0.4
importlib-metadata==4.12.0
Jinja2==3.1.2
joblib==1.2.0
llvmlite==0.39.1
MarkupSafe==2.1.1
matplotlib==3.6.0
mkl-fft==1.3.1
mkl-random @ file:///home/builder/ci_310/mkl_random_1641843545607/work
mkl-service==2.4.0
numba==0.56.2
numpy @ file:///tmp/abs_653_j00fmm/croots/recipe/numpy_and_numpy_base_1659432701727/work
packaging==21.3
(생략)
...

당연하게도, 이러한 requirements.txt를 기반으로 `pip install -r requirements.txt`를 실행하면 아래와 같은 에러를 만나게 될것이다. (필자는 타사에서 requirements.txt로 배포/전달하여 곤란을 겪은 경험이 있다.)

정상적인 포맷이 아닌 requirements.txt를 사용하여 패키지 설치. 당연하게도 에러가 발생한다.

3. 문제 발생 원인

문제 발생의 원인을 알아보자. (빈번하게 이런 상황이 발생하면, 많이 힘들어 진다.) 정확하지는 않아도 발생하는 케이스를 살펴봄으로써, 정답에 근접한 답을 도출할 수 있다. 우선 두가지 상황을 비교해 보자. 1) venv로 가상환경을 생성한 결과, 2) conda로 가상환경을 생성한 결과.

1. venv 가상환경

python -m venv .venv_test 
source .venv_test/bin/activate
pip freeze

실행결과 : 아무것도 출력 되지 않는다. (목록 없음) --> 당연한다.

그렇다면, 기본적인 패키지를 하나 (joblib) 설치해 보자.

pip install joblib

실행 결과 :

joblib==1.2.0

2. conda 가상환경

conda create -n test_env python=3.9
conda activate test_env
pip freeze

실행 결과 :

certifi @ file:///croot/certifi_1671487769961/work/certifi

으응.....????

기본적인 패키지 (joblib) 를 하나 설치해 보자.

conda install joblib

실행 결과:

joblib @ file:///croot/joblib_1666298844297/work

네 이놈......... 잡았다 !!!

확실하게 conda로 패키지를 설치하고, pip freeze의 결과는 그 포맷이 다름을 알 수 있다. 확실하게 하기 위해서, conda install 을 사용한 joblib를 삭제하고, pip install로 다시 설치해 보자.

conda uninstall joblib
pip install joblib
pip freeze

실행 결과 :

joblib==1.2.0

예상과 같이 `conda install`로 설치한 결과와, `pip install`로 설치하는 결과는 `pip freeze`로 표현한 결과의 포맷이 다르다는 것을 확인 할 수 있다. 즉, `pip freeze`를 통하여 패키지 목록을 추출할 때, conda와 pip 는 다른 포맷으로 목록을 출력해 준다는 사실을 확인했다. 어떻게 보면 너무나도 당연한 결과이다.

그러나, 많은 개발자/연구자들이, python 가상환경을 생성/관리할 때, conda와 venv, 그리고 pip를 혼용해서 사용한다. 필자의 경우는 대부분 venv/pip를 사용하고 있지만, 경우에 따라서는 conda를 사용하기도 한다. 필자의 경우 conda를 사용하는 경우는, python version을 변경할 때 base에 버전을 추가 설치하기는 번거로울 때 이다. venv는 os에서 지정된 python을 그대로 사용하며, conda의 경우에는 python 버전을 자체로 추가 설치하기 때문에 개별 버전을 따로 지정할 수 있기 때문이다.

각설하고, 결국 venv, conda, pip 는 각각 다른 패키지 인것이다. 이것들을 혼용하여 사용한다면 각각의 특징과 출력 결과를 인지하고 있어야 할것이다. 필자 주변에서 venv와 conda install 조합( ^^? )하는 특이한 케이스도 봤는데, 이런 경우 괴랄한 결과가 나오더라.

추가적인 PIP 버그 (Ubuntu) : pkg_resources

전체적인 맥락과는 다른 이야기 이지만, Ubuntu에서 PIP에 버그가 존재한다. 이 때문에 아래와 같은 불필요한 패키지가 하나 추가 된다. (아래는 PIP freeze 결과중 해당 패키지 라인이다.)

pkg_resources==0.0.0

pkg_resources==0.0.0

버전을 보면 알 수 있듯이, 버전 `0.0.0`으로 무엇인가 이상하다. 이것은 Linux/Ubuntu에서 발생하는 PIP 버그로 알려져 있다. (PIP Github issue : https://github.com/pypa/pip/issues/4022) 이러한 이 때문에, `pip install -r requirements.txt`를 실행하면 에러가 발생한다. 해결 방안은 requirements.txt에서 해당 라인을 제거하면 된다. 매번 `pkg_resources==0.0.0`을 제거하기 번거롭다면, `grep -v`를 사용하여 requirements.txt를 생성하면 된다. 해당 명령 내용은 아래 "해결방안"에서 거론한다.

4. 해결 방안

대부분의 문제에서 원인이 밝혀지면, 해결방법은 그다지 어렵지 않다.

사실은 conda가 되었든, pip 가 되었든, 다음과 같이 패키지 리스트와 버전이 출력이 가능하다. (이렇다는 이야기는 단순 포맷팅의 차이라 할 수 있겠다. )

pip list
conda list

pip list 실행 결과 (좌), conda list 실행 결과 (우)

`conda list`의 경우는 상단에 package 환경에 대한 위치와 가상환경 이름이 같이 출력되고 있다. 사실, 이러한 환경 정보를 활용하여 가상환경을 재현하는 방법이 별도로 존재한다. 아래는 conda를 이용하여 패키지 설치 목록을 생성하고, 이를 통하여 배포/재설치하는 명령이다.

[설치 패키지 목록 생성]

conda env export > conda_requirements.txt

[conda 가상환경 생성 및 패키지 재설치]

conda env create -f conda_requirements.txt

conda_requirements.txt에는 가상환경에 대한 정보도 포함되어 있기 때문에, 가상환경 이름을 포함하여 동일한 환경을 재구축한다.

이러한 패키지를 관리하는 포맷이 다르기 때문에, pip 중심의 requirements.txt와는 거리가 있다. 따라서, 해결 방법은 이러한 포맷을 동일하게 맞추어 주면 된다.

생각외로 해결 방법은 단순하다. `pip freeze` 대신 `pip list`를 사용하고, 포맷은 freeze 형태로 지정해 주면 된다.

pip list --format=freeze > requirement_pip_list.txt

위 명령어를 사용하면, conda install을 사용하였거나, pip install을 사용한것과 무관하게 동일한 포맷으로 패키지 목록을 추출할 수 있다.

이제 이전 섹션에서 언급한 `pkg_resources=0.0.0`을 제거해 보자.

pip list --format=freeze | grep -v pkg_resources > requirement_pip_list.txt

`grep -v "문자열"` 은 인버스 매칭이다. 해당 문자열/조건에 매칭되지 않는 라인만을 출력한다. 상세 내용은 `grep --help`를 참조하기 바란다.

혹은 `pip freeze`에 문제가 없다면 바로 다음과 같이 표현 해도 될것이다.

pip freeze | grep -v "pkg_resources" > requirements.txt

[줌/구글미트] 온라인 회의 가상 배경 사진 모음-1

리치윈드 - windFlex — Wed, 18 Jan 2023 13:31:24 +0900

온라인 회의를 진행하다 보면, 배경 (가상 배경) 화면을 새롭게 설정하거나, 변경하고 싶은 경우가 있다.

또한, 회의 성격에 따라서 그에 걸맞게 변경하면, 센스가 남달라 보이기도 한다.

줌 또는 구글미트에서는 기본 배경을 제공하지만, 너무 식상하기도 하다.

이러한 이유로 온라인 가상 배경을 모아 두고자 하는 Needs 생겼다.

모아 두었던 배경 이미지를 공유해 본다.

출처 : unsplash

[Git/Github] Git 브랜치(branch) 이름 변경 master -> main

리치윈드 - windFlex — Thu, 12 Jan 2023 11:20:14 +0900

기존의 Github의 기본/메인 브랜치는 "master"라는 이름을 사용했으나, 최근에는 "main"으로 변경 되었다.

그런데, Git에서는 아직 기본 브랜치 명칭을 "master"로 사용하고 있으며, Cloud / Serverless 등 서비스에 따라서 CI/CD를 적용할 때 브랜치 명이 각각 다르다.

아래는 main브랜치 명을 사용하고 있으나, "master"브랜치를 요구하고 있어서 에러가 발생하는 경우이다.

이렇게 기본 브랜치 명칭이 달라지는데, 기본 브랜치를 "master"와 "main"으로 2종을 관리하기도 어렵다. 따라서, 기본 브랜치의 명칭 자체를 변경해야 하는 경우도 발생한다. 이런경우, 아래와 같이 브랜치 이름을 변경해 주자. `옵션 -m`

git branch -m master main

git status

또는 브랜치명을 변경하지 않고, 타겟 브랜치에 push를 하기 위해서는 다음과 같이 수행할 수 있다.

git push origin main:master

로컬 리파지토리의 브랜치는 "main" 원격 리파지토리는 "master"인 경우이다.

[Azure] Azure 웹앱(App Service)으로 API 서버 만들기 - 1

리치윈드 - windFlex — Sat, 7 Jan 2023 13:55:12 +0900

Azure 웹앱 (App Service)에 Python/Flask API 서버를 만들어 보자.

[요약]

Python/Flask 소스 준비
Azure Portal에서 App Service 생성 -> 일단 source 는 설정하지 않음
App Service > 배포센터 > 코드 : Local Git으로 설정
App Service > 구성 > LocalGit/FTP 인증정보 (Credential) 확인
Local PC/개발PC의 Terminal에서 Git Push (인증정보와 함께)

Python/Flask는 Azure App Service Container에서 Default Setting 되어 있어서 별다른 할것이 없음 (단순함)
FastAPI 등 기본지원 하지 않는 WSGI는 추가 설정을 해야함
JAVA/Node 등과 같이 Build Process가 포함된 부분은 Build에 관련한 설정이 필요

0. [배경] - Azure 웹앱 (App Service)로 Python API 서버 만들기

AI/ML 연구하는 사람들의 90%는 Jupyter Notebook 에서 전처리/모델을 개발하고 실험 및 과제를 종료 한다고 한다.

이렇게 하면, 자신이 개발한 모델이 우수할 지라도 어느 순간엔가 그냥 사라져 버릴 가능성이 높다.

특히 대기업 같은 경우는, 한해 목표와 KPI를 만족 했다면 그 다음해에는 아무도 신경 쓰지 않는 경우가 많다.

일부, 모델이 상용화 적용되는 경우는, Web 개발 파트 혹은 아웃소싱사에서 모델을 Deploy한다.

이러한, 이유로 정작 모델을 개발한 사람은 자신이 만든 모델이 활용되는 성취감을 100% 느끼지 못한다.

필자는, 여러가지 내적 동기중에서 작은계단 (Small Step)을 하나씩 걸어올라거면서 성취감/자존감을 하나씩 쌓아 올리는 것이 매우 중요하다고 생각한다. 여러 훌륭한 연구자들 중에 이 부분이 부족하여 자신감이 결여된 인재들을 여럿 보았다.

따라서, 최소의 노력으로 본인들이 개발한 모델/모듈/API를 배포해 보는 것은, 자존감/동기부여/실력향상/업무 등 대부분의 측면에서 긍적적인 효과를 가져온다. 중요한 부분은 "최소한의 노력"이라는 것이다.

다행하게도 요즈음 AWS/Azure/GCP 등 클라우드 환경의 일반화로 서버/네트워크 장비 등 자체구매/운영 (On-Premise) 하지 않아도 되기 때문에, 목표로 하는 최소한의 노력이라는 관점에서 매우 유용한다. 특히, PaaS 서비스 또는 Container를 지원하는 서비스를 사용하여 별다른 신경을 써 주지 않고도 운영/배포 할 수 있다. (단, 처음 학습하는것이 조금 더 시간이 걸릴것 이다. )

우선 가장 단순화를 하여 서비스를 Cloud에 올리는 것을 목표로 하여 보자.

여러 클라우드 서비스가 있겠지만, 필자는 Azure를 사용할 예정이다. AWS가 좀 더 자유도가 높을 것이나, 필자가 보유한 구독이 Azure에 있기 때문에 Azure를 사용하고 있다. (필자 또한 AWS가 더 익숙하긴 하다. ㅜ_ㅜ) Azure 계정/구독이 없는 분은 무료 구독을 사용하면 된다. (약 6개월~1년정도는 사용할 수 있을것이다. )

Azure에는 App Service라는 웹 어플리케이션 용 PaaS를 제공한다. Java, NodeJS/Javascript, Python, Ruby, PHP 등 대부분의 웹프레임워크를 지원한다. 이 서비스를 이용하면 굳이 WEB/WAS/DB 등 서버를 별도 (VM, On-Prem.)을 생성/구축하지 않고 웹서비스를 구축할 수 있다. 클라우드 환경에서 VM을 활용해서 구축한다면, VM을 생성하고, OS설치/운영하고, OS에 필요 라이브러리를 설치/구동하고, 개발모듈을 올려서 연동하는 등 다수의 구축작업을 해야 한다. 또한 다른 구성요소(Component)간의 연동을 고려한다면 할일이 많아지고, 복잡해지는 만큼 관리요소/운영요소/장애요소 또한 많아지게 된다. Azure App Service, Azure Functions을 활용하면 이러한 부분을 간소화 해서 구축/운영할 수 있다.

앞서 거론한 바와 같이, 우리는 가장 단순화하여 진행하는 것을 목표로 하고 있으니, 여러 프레임워크중 Python으로 웹프레임워크를 구축/배포해 보도록 하자.

Python은 Build 과정이 없이 구동되기 때문에 가장 단순하다. Java, Javascript 등은 Build에 관련된 별도의 yml 파일을 생성해야 된다. 어떤 라이브러리 환경에서, 빌드하고, 배포를 위한 설정들을 지정해 주어야 하므로 다소 복잡해 질 수 있다. 이런 부분은 추후 다루도록 하겠다.

다음과 같은 순서로 진행하도록 한다.

Python Web Source Code 확보
Azure App Service 생성
Source Code 배포 (Azure Upload)
구동 확인

참조 : https://learn.microsoft.com/ko-kr/azure/app-service/quickstart-python

1. Python Web Source Code

본 포스팅에서는, Python Web Source Code는 각자 개발한 내용으로 사용할 수 있으나, 최대한 단순화 하기 위해서 Azure에서 제공하는 Sample을 Github에서 다운로드 받아 사용하도록 한다. 아래는 Python Web Framework인 Flask의 Hello World이다.

MS Flask Web App : https://github.com/Azure-Samples/msdocs-python-flask-webapp-quickstart

해당 부분 관련하여, 이미 개발코드를 가지고 있다면, 각자 판단에 따라서 진행하면 될것이다. 그러나, 우선 가장 단순한 경우를 테스트하고 응용하는 것이 가장 쉽게 가는 길이라고 생각한다. 나중에 본인의 코드에서 에러가 발생한다면 그 차이점을 인지하여 실수를 고쳐나가기 수월하다.

Terminal / CMD 에서 아래와 같이 `git clone <url>`으로 다운로드 받아주자.

$ git clone https://github.com/Azure-Samples/msdocs-python-flask-webapp-quickstart
$ cd msdocs-python-fastapi-quickstart
$ ll

웹프레임워크 샘플 파일 (MS flask first example )

(소스코드 동작 확인) 로컬에서 정상 동작하는지 일단 확인을 해 보자.

$ python3 -m venv .venv
$ source .venv/bin/activate
$ pip install -r requirements.txt
$ flask run

웹브라우저에서 접속해서 확인해 보자 : `http://localhost:5000/`

Flask 외에 다른 Web Framework를 사용하다면, 기본 Port가 달라질 수 있다. 예를 들어, Django, FastAPI는 기본 Port로 8000을 사용한다.

Azure flask web sample 구동 화면 (Local 구동)

2. Azure App Service 생성/설정

다음으로 Azure에 App Service를 생성해 준다. App Service를 생성하는 방법은, 1) Azure Portal, 2) Azure CLI, 3) VS Code, 4) Azure SDK 등 다양하다. 다만, 각 행위자체를 GUI로 하느냐, 명령어로 하느냐, IDE로 하느냐 등만 차이가 있을 뿐이다. 본 포스팅에서는 가장 일반적인 Azure Portal (GUI)를 사용해서 진행하도록 하자.

Azure Portal에 접속 (https://portal.azure.com)하여 로그인을하고, 좌측 상단 메뉴에서 "리소스 만들기" 누른다. 또는 상단에 추천메뉴에 리소스 만들기가 위치해 있다. (찾기 쉬울것이다.)

Azure Portal 리소스 만들기

리소스 만들기를 실행하여, 여러가지 Azure의 지원 기능이 나온다. 그중에서 웹앱을 선택하자. 만약 여기까지 경로를 찾지 못했다면, 상단 리소스 메뉴에서 "웹앱" 또는 "App Service"를 입력하면 된다. 이제 실제 "웹앱 만들기" 페이지로 들어와 중요 정보를 몇가지 입력해야 한다.

Azure 웹앱 (App Service) 생성 (좌), 웹앱 만들기 및 설정 (우)

웹앱 만들기 페이지에서 가장 중요한 설정 부분은 다음과 같다.

구독/리소스그룹 : 본인의 구독과 리소스 그룹을 선택 or 생성해 주면 된다.
웹앱 이름 : 겹치지 않도록 이름을 설정하자. 예) "azure-webapp-python-test"
이 이름은 웹앱 생성후, "https://<웹앱이름>.azurewebsites.net"로 azure 기본 제공하는 subdomain name이 된다.
게시 방식 : 코드, docker 컨테이너, 정적웹앱. 우리는 가장 단순하게 "코드"를 선택하도록 하자.
런타임 스택 : Python 3.9를 선택. 다른버전 선택도 가능하다.
운영체제 : Linux. (Windows를 선택해도 무방하나, 본 포스팅은 Linux를 기반으로 진행한다.)
지역 : 본인이 편한 위치를 선택하면 된다. Azure는 Korea Central Region이 있으므로, 이것을 선택하는 것을 추천한다.
가격정책플랜 : 우리는 테스트 해보는 것이기 때문에 기본으로 사용하자.
"검토 + 만들기 " 버튼을 누른다. 유효성이 검토되면 설정에 대한 요약페이지가 출력되고, 최종적으로 하단에 "만들기" 버튼을 또 한번 눌러 주어야 한다. 이후. "...배포 진행 중"이라는 페이지가 출력 될 것이다. 2~3분 기다리면 "배포 성공" 메세지가 출력된다.
"리소스 이동" 버튼을 눌러준다.

배포 탭으로 가면, Github Actions를 설정하는 메뉴가 나온다. 그러나, 현 시점에서 Github Actions은 사용하지 않을 예정이다. 우리는 단순하게 Local Git을 사용하도록 하자. 이후에 Build가 필요한 NodeJS or JAVA 등을 사용할 때는 Github Actions이 매우 유용하다.

웹앱 생성완료 후 리소스 이동 (좌), 웹앱 개요 및 배포센터 (우)

이제 Azure 웹앱 (App Service)가 생성이 완료되었다. "리소스로 이동"하여 웹앱의 왼쪽 메뉴중 "개요"를 보면, 전반적인 웹앱의 정보가 출력된다. 여기에서 중요한 것은 우측 상단에 있는 URL, FTP/FTPS 등의 정보가 매우 중요하다. FTP를 통하여 배포할 때 사용할 수 있다. (민감정보이므로 타인에게 노출되지 않도록 한다.)

이제 우선 해야할 일을, 웹앱에 코드를 배포하는 일 이므로, 좌측에 "배포 센터"로 이동한다. (영어식 표기, Deployment Center)

본 포스팅에서는 FTP로 배포하지는 않도록한다. 이유인 즉, FTP 배포는 실제 잘 사용하지 않을 뿐만 아니라 오류/실수 발생할 때의 대책이 없기 때문에, 정말 테스트할 때 이외는 가급적 사용하지 않도록 하자. 대부분은 Git을 사용할 것이다. ML 엔지니어 입장에서 Git을 사용하는 웹(Front/Backend)개발자들과 협업하기 위해서도 기술스택을 맞추어 두는 것이 바람직 하다.

배포센터 버튼을 누르면, 페이지가 출력될때가지 다소 시간이 걸릴 수도 있다.

우리는 앞서 웹앱을 생성할 때, 설정 단계를 Skip하였기 때문에 배포센터에서 더욱 상세한 설정을 한다. 가장 중요한 대분류는 소스를 어떤 방법으로 배포할 것인가에 대한 결정이다. 실제 상용에서는 Stage->Production으로 나누어서 지속배포(CI/CD)체계를 구축할 것이나, 본 포스팅은 단순화하여, "로컬 Git"을 사용하여 배포하는 것으로 진행한다. "소스 > 로컬 Git"을 선택해 주자. (배포 하는중...)이라는 메세지가 출력된다. (잠시 기다리자)

웹앱 (app service)의 소스 배포방식 : 로컬 Git 선택 (좌), 저장 실행(중), FTP 자격증명의 인증정보 (우)

저장 버튼을 누르지 않으면 아무런 일도 발생하지 않는다. 설정 저장을 하면, 웹앱 서비스 (Container)가 재시작 된다. 컨테이너가 처음부터 시작되기 때문에 반영되는데 1~2분 정도 소요가 될수 있다.

설정 저장이 완료 되면, 해당 페이지에 "Git Clone URI" 정보가 출력된다. 이 URI로 우리는 `git push`를 실행하게 되니, URI을 복사해 두자. 또한, git push를 할 때 인증정보는 "FTP 자격증명" 메뉴에서 확인 할 수 있다. 해당 탭에서 GIT Clone URI를 다시 확인할 수 있으며, 사용자 이름/암호를 확인할 수 있다. (당연하겠지만 취급에 주의가 필요하다.) 향후에는 "게시 프로필 관리"를 통해서 인증이 관리되어야 할것이다.

Local Git 설정이 완료되면, "FTP 자격증명" 메뉴의 명칭은 "로컬 Git/FTPS 자격 증명"으로 변경된다.

여기에서 중요한점 중 하나는, 사용자 이름이다. 필자의 경우, 이 때문에 인증에 어려움을 겪었다. 사용자 이름은 기본적으로 다음과 같이 표기되어 있다.

<웹앱 이름>\$<웹앱 이름>

실제 Git Push 할 때 인증은 "$<웹앱 이름>" 부분만 사용된다. 예를 들어 표기된 사용자 이름이 "flask-test\$flask-test"라면, 실제 사용되는 부분은 $를 포함한 "$flask-test" 부분이 해당된다. 이부분을 잘못 입력하면 인증실패로 git push가 실행되지 않는다. 패스워드의 경우 전체를 복사하여 사용하면 된다. 다음은 공식 가이드에서 제공하는 이미지 이다.

Local Git에서 사용자 이름 영역을 조심해야 한다.

이제 Azure Portal에서 설정할 내용은 완료하였다. 다음은 Terminal 에서 Git push를 진행하면된다.

본 포스팅에서는 별도 빌드 또는 추가 설정이 필요없기 때문에 "설정/구성"을 추가로 진행하지 않았다. 그러나, 상세설정 들이 필요하다면 아래처럼 "구성" 메뉴에서 "application 설정", "시작 명령어" 등을 상세 지정할 수 있다. "구성>애플리케이션 설정"은 Application 내부에서 사용할 별도의 설정을 지정할 수 있는데, 우리는 여기는 넘어가도록 하자. FAST API 배포는 Flask 보다는 조금 더 복잡한데, 이 때 다시 한번 거론 하도록 하겠다.

추가 설정이 필요한 "애플리케이션 설정", 일반설정 및 시작 명령 설정하는 화면의 예

3. Local Git - 소스코드 배포

앞에서 우리는 git clone을 통하여 Azure Flask Sample 코드를 다운로드 받았다. 해당 폴더로 이동하여 Git Push를 진행하도록 하자. 이 때 <GIT URI>는 Azure Portal의 "Local Git 자격증명"에서 확인한 Git Clone URI이다. 사용자명/패스워드는 이전 절에서 거론했던 내용을 사용하자.

다음 명령어를 실행하여 Azure에 소스코드를 배포하도록 하자.

$ git remote add azure <GIT URI>
$ git push -u azure main:master

변경 사항이 있다면, `git add` 와 `git commit` 을 통하여 리파지토리에 반영하도록 하자.

Azure 웹앱에서 기본 구동하는 브랜치는 master이다. 이 때문에, 최근에 사용하는 기본 브랜치명 'main'과 다를 수 있는데, 이들을 매핑해 주기 위해, `git push -u azure main` 대신 `git push -u azure main:master`를 사용하였다. 만약 사용하는 브랜치가 "master"로 되어 있다면, `git push -u azure master`를 사용하면 되겠다.

이제 소스코드 배포를 완료 했다. 앞서 거론했든이 Python은 별다른 빌드를 하지 않기 때문에, 별다른 설정파일 없이 웹앱을 생성할 수 있다. 이제 웹앱의 "개요"페이지에서 확인할 수 있는 웹앱 URL을 확인하고, 웹브라우저로 접속해 보기 바란다.

아래와 같이 웹브라우저에서 정상 동작하는 것을 확인할 수 있다. 해당 예제에서는 Python/Jinja2템플릿을 사용하여 웹페이지 (Frontent)를 구성했으나, API서버를 구축/배포하기 위해서 굳이 웹페이지가 필요하지 않을 수 있다. Flask/FastAPI/Django 등의 프레임워크에서 해당 Rest Api를 잘 정의하여 사용하면 된다.

Azure 배포 완료된 예 (좌), RestAPI 리스트 (중), API 구현 코드 (우)

기타. Azure 웹앱의 기본 동작

Azure 웹앱 (App Service)는 기본적으로 Docker Container로 구동한다. 동작하는 구조를 살펴보면, 막무가내식 프로세스를 외우는것보다 더 효율적 일 수 있다. 필자의 경우, Azure 웹앱 앞부분에 NginX가 구동되고 있는 것을 알지 못했다. 이 때문에, 기본적으로 제공하는 웹프레임워크 외 FastAPI 등을 배포(Deploy)할 때 애를 많이 먹었다.

내부적으로 Azure 웹앱 (App Service)은 Oryx 라는 Container 빌드 패키지를 사용한다. oryx의 상세 파라미터는 아래를 참조 바란다.

https://github.com/microsoft/Oryx/blob/main/doc/configuration.md

우선 Azure 웹앱이 Python 환경에서 사용하는 Docker Container구성을 살펴보면, 다음과 같은 Component로 이루어져 있다.

Browser <-> nginx <-> /tmp/uwsgi.sock <-> uWSGI <-> Your Python app <-> Psycopg2 <-> remote PostgreSQL database

참조: https://github.com/Azure-App-Service/python

Client의 브라우저에서 우리의 앱(App)까지 도달하기 위해서 그 사이에 Nginx와, uWSGI를 거쳐야하는 구조이다. 즉, nginx 등 설정에 따라서, 우리의 APP가 영향 받을 수 있다는 것이다.

이 점을 인지하고 있어야 한다.
그러나, nginx가 동작하는 부분은 ssh서 내부를 살펴봐도 없다.
아마도, 웹앱(App Service)지원하는 host/hypervisor에서 동작하는 듯 하다.
다만, user가 확인할 수 있는 부분은 `netstat -an`을 실행하면, unix소켓으로 app쪽으로 포워딩 해주는 것을 확인할 수 있다.

또한, 해당 Docker Container에 기본으로 설치된 웹프레임워크는 Flask와 Django이다. 이 두 프레임워크 외의 다른 웹프레임워크는 커스텀 설정을 해야 한다는 것이다.

Azure 웹앱에서 사용하는 Python Container의 Dockerfile을 살펴 보면 다음과 같다. 이 Dockerfile을 살펴보면, 내부에서 어떤 동작을 하는지 상세하게 이해 할 수 있을 것이다.

[Dockerfile]

FROM mcr.microsoft.com/oryx/python:3.7-20190712.5
LABEL maintainer="appsvc-images@microsoft.com"

# Web Site Home
ENV HOME_SITE "/home/site/wwwroot"

#Install system dependencies
RUN apt-get update \
    && apt-get install -y --no-install-recommends \
        openssh-server \
        vim \
        curl \
        wget \
        tcptraceroute \
    && pip install --upgrade pip \
    && pip install subprocess32 \
    && pip install gunicorn \ 
    && pip install virtualenv \
    && pip install flask 

WORKDIR ${HOME_SITE}

EXPOSE 8000
ENV PORT 8000
ENV SSH_PORT 2222

# setup SSH
RUN mkdir -p /home/LogFiles \
     && echo "root:Docker!" | chpasswd \
     && echo "cd /home" >> /etc/bash.bashrc 

COPY sshd_config /etc/ssh/
RUN mkdir -p /opt/startup
COPY init_container.sh /opt/startup/init_container.sh

# setup default site
RUN mkdir /opt/defaultsite
COPY hostingstart.html /opt/defaultsite
COPY application.py /opt/defaultsite

# configure startup
RUN chmod -R 777 /opt/startup
COPY entrypoint.py /usr/local/bin

ENTRYPOINT ["/opt/startup/init_container.sh"]

그렇다면, Dockerfile에 따라 Container를 실행하고 초기화하는 startup.sh을 확인해 보자. 웹앱은 지정된 프레임워크를 탑재한 Container를 하나 띄우고, 시작 설정을 실행한다. 이 부분이 Azure Portal에서 선택한 프레임워크에 따라서 결정된다. 이후 Container 시작 후에 "run"해주는 startup.sh을 실행 시켜 준다. (python의 경우) startup.sh의 내용을 잠깐 살펴 보면 아래와 같다. 들여다 보면,

[startup.sh]

cd /tmp/8dxxxxxxxxxxxxxa6

export APP_PATH="/tmp/8dxxxxxxxxxxxxxa6"
if [ -z "$HOST" ]; then
                export HOST=0.0.0.0
fi
if [ -z "$PORT" ]; then
                export PORT=80
fi

export PATH="/opt/python/3.9.15/bin:${PATH}"
echo 'export VIRTUALENVIRONMENT_PATH="/tmp/8dxxxxxxxxxxxxxa6/antenv"' >> ~/.bashrc
echo '. antenv/bin/activate' >> ~/.bashrc
PYTHON_VERSION=$(python -c "import sys; print(str(sys.version_info.major) + '.' + str(sys.version_info.minor))")
echo Using packages from virtual environment 'antenv' located at '/tmp/8daed8eb14755a6/antenv'.
export PYTHONPATH=$PYTHONPATH:"/tmp/8dxxxxxxxxxxxxxa6/antenv/lib/python$PYTHON_VERSION/site-packages"
echo "Updated PYTHONPATH to '$PYTHONPATH'"
. antenv/bin/activate
GUNICORN_CMD_ARGS="--timeout 600 --access-logfile '-' --error-logfile '-' -c /opt/startup/gunicorn.conf.py --chdir=/tmp/8dxxxxxxxxxxxxxa6" gunicorn app:app

기타. Azure 웹앱 디버깅

추가적으로 웹앱에서는 Container 내부로 직접 접근하는 수단을 몇가지 제공한다.

환경변수
SSH
Bash
Log

Container/Sandbox에 직접 접근할 수 있는 수단 (SSH, BASH)을 제공하고, Log 등을 확인 할 수 있다.

이중에서 가장 유용한 SSH 접속은 다음 URL로 바로 접근 할 수 있으니, 유용하게 사용하기 바란다.

https://<앱이름>.scm.azurewebsites.net/webssh/host

[Conda-Jupyter] Conda 가상환경과 Jupyter Kernel 연동/생성/삭제

리치윈드 - windFlex — Tue, 6 Dec 2022 20:17:35 +0900

2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel

2022.12.06 - [개발 이야기/Python] - [Jupyter Kernel 추가] conda 가상환경을 jupyter Kernel로 추가하기

2022.09.19 - [개발 이야기/Python] - [주피터노트북 커널] jupyter lab/notebook kernel

2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel

2020.06.04 - [개발 이야기/Python] - [파이썬] Anaconda x Jupyter notebook 설치 및 설정 방법 - 가상환경으로 파이썬 개발환경 구성

2020.03.10 - [IT 이야기] - Python x Jupyter Notebook 설치 및 환경 구성

2022.09.19 - [IT 이야기/IT 상식] - [Python 가상환경] conda 설치 및 가상환경 (feat. 내부 로직 & cheat sheet)

python / Conda 가상환경과 Jupyter Kernel의 관계는 어떻게 될까? 왜 Kernel을 새롭게 만들어도 설치된 패키지가 다르게 인식될까?

[요약]

conda 명령어
- 가상환경 생성 : `conda create -n <가상환경 이름> python=<python버전>`. ex) conda create -n env_test python=3.9
- 가상환경 삭제 : `conda env remove --name <가상환경 이름>` ex) conda remove -n env_test
- 가상환경 활성화/비활성화 : `conda activate <가상환경 이름>` / `conda deactivate`
- 가상환경 목록 : `conda env list` or `conda info --envs`

-n 옵션은 `--name` 옵션과 동일합니다.

jupyter kernel 명령어
- 현상 / 원인파악 : 기본환경에서 jupyter notebook/ jupyterlab kernel과 conda 가상환경은 연동되지 않음.
- Jupyter 커널 목록 확인 : `jupyter kernelspec list`
- conda-Jupyter 연동 패키지 설치 : `conda install nb_conda_kernels`
- 연동 : 1) 가상환경 활성화 , 2) Jupyter 커널 생성, 3) 결과 확인
  - 1) 가상환경 활성화 : conda activate <가상환경 이름>
  - 2) 커널 생성
    - `pip install ipykernel`
    - `ipython kernel install --user --name=<가상환경 이름>`
      혹은 `python -m ipykernel install --user --name=<가상환경 이름>`
  - 3) 결과 확인
    - pip list 또는 import <library> 확인
    - kernel.json 확인 ( kernel.json은 해당 kernel의 경로에 위치함. 해당 kernel경로는 `jupyter kernelspec list` 명령으로 확인)
    - 결과적으로 Jupyter kernel에 대한 설정은, `nb_conda_kernels`은 kernel.json 내용을 conda env list 내용에 맞게 수정하는 것임
- jupyter 커널 삭제 : `jupyter kernelspec uninstall env_test` 또는 `jupyter kernelspec remove env_test`

ipykernel이 없는 경우, `pip install ipykernel` 실행

jupyter의 kernel생성 할 때 기본 설정(nb_conda_kernel이 없는 경우)은 "os 기본 python 환경에서 실행됨"

Conda 가상환경 vs. Jupyter Kernel

conda를 이용해서 가상환경 생성 (아래 명령줄)을 생성해 보자. 그리고, 필요한 라이브러리를 설치해 보자. 아래는 예제로 torch를 설치한다.

$ conda create -n env_test python=3.9

$ conda activate env_test
$ pip install torch
$ conda deactivate

Jupyter Kernel 확인을 위해서 아래와 같이 `jupyter kernelspec list` 를 실행해 보면, 당연하게도 conda에서 추가한 가상환경은 kernel에 등록되어 있지 않다. conda package manager와 Jupyter는 아무런 연관이 없다. (연동같은거 안 해준다.) Google 검색으로 "Jupyter Kernel 추가하기"라고 찾아보자. 아래와 같이 ipykernel을 통해서 커널을 추가하는 내용 결과를 얻을 수 있다. 그러나, 이 명령어는 conda 및 가상환경과는 무관하게 말 그대로 Jupyter Kernel을 생성해 준다. 기본값을 사용하여 환경을 살펴보면, 생성된 Kernel로 실행되는 Python 환경은 OS 기본 Python이거나 (base) 가상환경 이다.

빈번하게 발생하는 실수 중 하나는 conda를 통해서 생성한 가상환경과, Jupyter kernel의 이름이 동일하다고 하여 동일한 가상환경으로 착각하는 것이다. 기본적으로, 이 둘은 단지 표기되는 문자열만 동일할 뿐이다. 이번 포스팅에서는 conda 가상환경 설정과, Jupyter kernel을 살펴보고, Conda 가상환경과 Jupyter의 커널을 동기화하는 것이다.

Jupyter의 Kernel로 코드를 작성....
....
....이 아니라 에러가 난다.

Jupyter Web UI에서 새로 생성한 Kernel을 선택할 수 있다(좌), 그러나 앞서 설치한 라이브러리는 import 되지 않은다.(우)

$ conda activate env_test
$ pip list

conda 가산환경 (env_test)를 활성화 하고, 설치 패키지를 확인하면, torch는 정상 설치되어 있다. (좌), Jupyter Notebook에서 `pip list`를 실행하면 무엇인가 설치된 패키지가 다르다. (우)

무엇인가 잘못된것 같다.
무슨일이 일어난 것일까?

우선 conda 가상환경 목록을 먼저 살펴보자. `conda env list` 명령을 통하여 생성되어 있는 가상환경 목록을 나열할 수 있다. 다음으로 Jupyter Kernel 목록을 나열하기 위해 `jupyter kernelspec list`명령어를 사용하자. 각 명령어를 사용하면, 가상환경과 가상환경이 설치된 경로를, Jupyter Kernel 과 Kernel의 설정파일 경로를 확인할 수 있다. 명령을 실행 후 알 수 있듯이, conda 가상환경은 Anaconda 패키지 하위에, jupyter Kernel은 Users home 하위 Jupyter/kernels 하위에 위치해 있다. 두 경로간의 연계성은 전혀 존재하지 않는다.

다음은 conda env와 jupyter kernelspec 을 통해서 각각 가상환경이 설치된 위치를 확인한다.

$ conda env list
# conda environments:
#
# base                  *  /Users/richwind/opt/anaconda3
# env_test                 /Users/richwind/opt/anaconda3/envs/env_test

$ jupyter kernelspec list
#  env_test    /Users/richwind/Library/Jupyter/kernels/env_test
#  python3     /Users/richwind/Library/Jupyter/kernels/python3

conda 가상환경의 위치와 Jupyter Kernel의 위치가 서로 상이함을 알 수 있다. 즉, conda 가상환경과 이름이 동일한 또다른 Jupyter 가상환경이 생성되었을 뿐을 의미한다. 따라서, 이전 섹션에서 살펴본 봐와 같이 conda에서 설치한 패키지가 Jupyter Notebook의 Kernel에서는 동작하지 않는 것이다. ( 가상환경 이름 : env_test, Kernel name : env_test를 가정)

conda 가상환경 : /Users/richwind/opt/anaconda3/envs/env_test
jupyter kernel : /Users/richwind/Library/Jupyter/kernels/env_test

[ Jupyter kernel 목록 보기 ]

$ jupyter kernelspec list
# Available kernels:
#  python3    /Users/richwind/Library/Jupyter/kernels/python3

[ Jupyter kernel 추가하기 ]

$ pip install ipykernel
$ python -m ipykernel install --user --name=env_test --display-name=env_test

# Installed kernelspec env_test in /Users/richwind/Library/Jupyter/kernels/env_test

Jupyter 커널 추가후, 다시 커널 목록을 확인하자. env_test 라는 이름의 커널이 추가 되어 있는것을 확인 할 수 있다.

$ jupyter kernelspec list

# Available kernels:
#  env_test    /Users/richwind/Library/Jupyter/kernels/env_test
#  python3     /Users/richwind/Library/Jupyter/kernels/python3

따라서, JupyterLab 혹은 Jupyter Notebook UI에서 이제 "env_test"라는 이름의 커널/가상환경을 선택할 수 있다.

conda 가상환경과 Jupyter Kernel을 연동하고, 패키지 설치/관리는 conda 환경으로 하면 동시에 Jupyter에 반영되도록 하는 방법을 추가 설명한다.

가상환경 연동 Jupyter Kernel 생성 (기존 존재 경우 Overwrite)

기존 conda 환경에서 Jupyter Notebook Kernel을 연결해 주는 패키지 (nb_conda_kernels)를 설치한다.

conda install -c conda-forge nb_conda_kernels

구글검색에 의하면, `pip install nb_conda` 설치도 가능하다고 한다. 필자의 환경에서는 동작하지 않았다.

패키지(nb_conda_kernels)를 설치 후, 가상환경을 활성화(activate)하고, `ipython kernel install`을 통해서 Jupyter Kernel을 생성해 준다. 이 때 `--name=<가상환경 이름>`으로 선택해 주어 conda 가상환경과 Jupyter Kernel을 연결해 준다.

$ conda activate env_test
$ ipython kernel install --user --name=env_test
#Installed kernelspec env_test in /Users/richwind/Library/Jupyter/kernels/env_test


# 위 경우가 안될 경우,
$ conda activate env_test
$ conda install ipykernel
$ python -m ipykernel install --user --name=env_test
#Installed kernelspec env_test in /Users/richwind/Library/Jupyter/kernels/env_test

jupyter kernel 삭제 : `jupyter kernelspec uninstall <커널이름>`. ex) jupyter kernelspec uninstall env_test

다음으로 Jupyter Notebook을 리프레시 or 재시작 해 주자. 다음 처럼 패키지가 설치된 가상환경으로 동작하는지 점검 해 볼 수 있다. 다음 예는 타겟 가상환경에만 `joblib`를 설치한 경우 Jupyter Notebook에서 joblib 설치 여부를 확인하는 경우이다.

%pip list | grep joblib

좀 더 상세하게, 이러한 행위는 결과적으로 Jupyter 커널 설정파일 (kernel.json)의 argv값을 변경해 주는 것이다. kernel.json 파일은 Jupyter 설치 폴더 아래 `kernels/<kernel name>/kernel.json`에 위치한다. 다음은 kernel.json의 내용이다.

$ cat  ~/Library/Jupyter/kernels/env_test/kernel.json

{
 "argv": [
  "/Users/richwind/opt/anaconda3/envs/env_test/bin/python",
  "-m",
  "ipykernel_launcher",
  "-f",
  "{connection_file}"
 ],
 "display_name": "env_test",
 "language": "python",
 "metadata": {
  "debugger": true
 }
}

앞서 거론한 바와 같이, conda 가상환경 파일과, Jupyter Kernel의 경로는 다르게 지정되어 있으므로, jupyter kernel.json에서는 가상환경 아래 python 파일 위치를 지정함으로써 해당 가상환경으로 동작하도록 설정해주는 작업니다.

기본적으로, argv의 첫번째 매개변수가 base의 python이다. PATH가 제대로 걸려 있으면, 단순히 "python"이 기본값이다. "display_name"등도 여기에 설정되어 있다. 만약, 이런 저런것이 번거롭다면, `kernel.json`을 수동으로 설정 해 주어도 된다.
python 가상환경은 결국, 다른 python root directory에 패키지 설치를 다시 한 환경이므로, 가상환경용 python 실행 파일로 실행하면, 가상환경으로 동작할 수 있다.

Linux 환경 등에서 jupyter kernel.json 기본설정은 아래와 같다.

cat /usr/local/share/jupyter/kernels/python3/kernel.json 
{
 "argv": [
  "python",
  "-m",
  "ipykernel_launcher",
  "-f",
  "{connection_file}"
 ],
 "display_name": "Python 3 (ipykernel)",
 "language": "python",
 "metadata": {
  "debugger": true
 }

2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel

2022.12.06 - [개발 이야기/Python] - [Jupyter Kernel 추가] conda 가상환경을 jupyter Kernel로 추가하기

2022.09.19 - [개발 이야기/Python] - [주피터노트북 커널] jupyter lab/notebook kernel

2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel

2020.06.04 - [개발 이야기/Python] - [파이썬] Anaconda x Jupyter notebook 설치 및 설정 방법 - 가상환경으로 파이썬 개발환경 구성

2020.03.10 - [IT 이야기] - Python x Jupyter Notebook 설치 및 환경 구성

2022.09.19 - [IT 이야기/IT 상식] - [Python 가상환경] conda 설치 및 가상환경 (feat. 내부 로직 & cheat sheet)

[Mac OS] 배터리 충전 관리 (Charge limiter) - ft. AlDente

리치윈드 - windFlex — Mon, 7 Nov 2022 12:28:52 +0900

필자는 MacBook을 DeskTop 처럼 사용한다.

이동용이라기 보다는 모니터 2대 + MacBook Screen (총 3대) 또는 크림쉘 모드로 사용한다.

사실, Desktop이 있어도 잘 사용을 안해서 처분 했다. 게임도 잘 안하는 지라... 게임할 때는 전용 게임기로..

이렇듯 나에게 있어서 MacBook은 이동용이 아니기 때문에 대부분의 시간에 전원 케이블 (Mac Safe)이 연결되어 있다. 따라서 당연하게도 Mac OS에서 충전 배터리 관리를 잘 해줄 것으로 믿고 항시 전원 케이블 연결로 사용해 왔었다.

리튬 배터리를 사용할 텐데, 배터리 충전 관리는 알아서 해 주겠지...?
당연하지... 스마트하게 배터리 충전 관리 해 주지..
정말 ??

맥북 Ventura 지원, 배터리 관리 최적화 - 배터리 충전 제한 (AlDente)

Mac OS의 배터리 관리 기능 - 배터리 최적화

Mac OS Ventura의 배터리 메뉴 (설정 > 배터리 > 배터리 성능 상태 > 오른쪽 "i" 클릭) 에도 확인해 보면,

"최적화된 배터리 충전" 기능으로 스마트한 배터리 관리를 해 주고 있는 것으로 보인다.

필자는 다음 섹션에서 소개할 배터리 충전 리미터를 사용하기 위해 일단 기능을 꺼 두었다.

(만약, 충전 리미터를 사용하지 않으면 당연하게도 이 기능은 활성화 해 두어야 할것이다.)

Mac OS 배터리 관리 기능 - 최적화된 배터리 충전

그런데, 그 스마트함 이라는 내용을 잘 읽어보자.

일단 내용에서 알 수 있는 사항은,

배터리의 일상적인 충전이 80% 넘기면 배터리 수명이 단축된다는 것. --> 이미 Fact 이기 때문에, 인정하고 있음.(하드웨어적으로 무엇을 기대하기는 어려운듯 하다.)
80%를 넘어가면 잠시 대기를 하고 있다가 나중에 사용자의 패턴에 맞추어 추가 충전 해 주겠다는 내용.
(즉, 평시 행동 양식/패턴을 학습하고 그에 맞게 80%까지 충전하거나 Full 충전하거나 하겠다는 것이다. )

다음은 애플의 공식 홈페이지에 배터리 관리에 대한 공식 문구 이다.

애플의 공식 홈페이지. mac book의 배터리 관리 : https://support.apple.com/ko-kr/guide/macbook-pro/apdbc13fd966/mac

배터리 화학적 노화를 방지하기 위해, 배터리 충전 패턴을 반영하여 80% 충전을 유지하도록 최적화 한다고 한다.

필자는 외출/Offline Meeting/사무실 출근 (평시 재택)에만 mac의 배터리 기능을 필요로 한다. 그 외에 모든 시간은 전원을 사용한다. 그런데, 내가 외출할 것을 알 수 있을까?? (참고로 필자는 15년 이상 Machine Learning 업무를 하고 있다.)

특별히, 출근/외출 패턴이 있지 않거나, 내 일정 정보를 입력해 두지 않는한 나의 외출에 맞추어 배터리를 충전 할 수 는 없을듯 한다. 위에서 이야기하는 사용자 충전 패턴이라는 것은, 평시 충전케이블을 꽂아 두는가? 밤사이에는 충전을 할것인가? 아침 작업시간 (9:00)에 맞추어 충전을 해 둘것인가? 등의 스케줄링이라고 판단할 수 있다.

흐음.. 그럼, 하드웨어적으로 100% 충전을 막는 최소한의 장치를 제외하면, 나의 경우에는 대부분 최대충전상태(Full Charge)로 유지 된다는 결론이 나온다.

이런 내용을 종합해 보았을 때, 필자의 판단은,,,,

흐음.. 배터리 관리 좀 어색한데??

최소한, 애플의 배터리 최적화를 어느 정도 믿는다고 할 지라도, 새로운 맥북의 초기는 잘 관리해 주어야 할 필요성이 느껴진다.그렇다고, 어느정도 충전이 되었을 때마다, 충전케이블을 뺐다 꼈다 하는 것은 너무 번거로울뿐 아니라, 오히려 충전패턴의 오해로 인하여 과충전될 우려도 있다.

배터리 충전 리미터 - AlDente

처음에는 배터리 충전을 차단하는 Apple의 API가 있을 것으로 생각하고, 간단한 Application을 하나 만들어 둘까 했었다.

그러나, 잠깐 검색해 보니, 해당 기능을 수행해 주는 Open Source들이 몇 존재하더라. 역시 사람의 생각은 다 거기서 거기 인것 같다. 그냥 가져다 쓰자.!

구글링 하면 관련된 기능을 가진 App은 다음과 같다.

AlDente : https://github.com/davidwernhart/AlDente
BatteryStatusShow : https://github.com/sicreative/BatteryStatusShow
Charge Limiter : https://github.com/godly-devotion/charge-limiter/

필자는 이 중에서 M1 Chip을 지원하고, Ventura를 지원하며, 가장 일반적이라서 문제 발생 시 해결이 쉬울것으로 생각되는 App.를 선택하였다. 결론은 알덴테(AlDente) - 이렇게 읽는게 맞나??

오픈 소스이기도 하지만 상용화 하고 있는 것 같다. 다음 사이트에서 무료 버전을 다운로드 받을 수 있다. 가격 정책에 따라서 여러가지 기능을 추가로 제공하는데, 필자는 충전 제한 기능이 필요한 것이므로 무료버전으로 충분할 것 같다.

AlDente 무료 버전 다운로드 : https://apphousekitchen.com/

AlDente 무료 버전 설치 (좌), 가격 정책별 기능 (우)

Application을 설치하고나면, 상단 메뉴에 스파게티 모양의 새로운 아이템이 추가 된다.

AlDente 사용 설정을 위해서 2단계가 필요하다.

1) Mac OS 기본 설정인 "최적화된 배터리 충전" 기능을 비활성화 한다. --> Mac OS의 설정이 AlDente 설정보다 우선 하기 때문.
2) AlDente 메뉴에서 "충전 한도"를 설정한다.

다음은 단계 1)의 Mac OS 기본 설정을 비활성화 하는 화면이다. 설정 > 배터리 > 배터리 성능 상태의 우측 "i"아이콘 클릭 > 최적화된 배터리 충전 기능 Off.

Mac OS "최적화된 배터리 충전"기능 비활성화

그 다음, 단계 2)로써 상단 메뉴에서 AlDente 아이콘 (스파게티 모양)을 클릭하고 충전 한도를 설정한다. 필자는 아래와 같이 70% 충전 제한으로 설정하였다. 이로써 2시간 넘게 충전케이블을 꽂아 두었지만 배터리가 71% 상태에서 멈추어 있는 것을 확인 할 수 있다.

AlDente 메뉴와 설정 화면

유료 기능을 잠깐 살펴보면, Pro Version의 경우 아래와 같은 추가 기능을 제공한다. (뭐.. 필자는 기본 기능 만으로도 O.K.)

AlDente의 Pro Version 유료 기능들

[개인적인 추천 설정]

개인적인 설정 방안을 공유 해 본다.

AlDente를 사용함에 있어서 하나의 문제점이 있다. Application이 동작하고 있지 않을 때는 배터리 관리가 불가능할 수 있다는 것이다. 즉, AlDente 서비스가 죽어버린 경우, 배터리 관리가 방치된다는 것이다.
우리는 앞서, Mac OS의 배터리 최적화 관리 기능을 Off해 두었다. 따라서, 만약 AlDente 서비스가 종료되어 있고, 배터리 케이블은 충전으로 되어 있다면, 배터리 관리가 완전히 방치 되어 버리게 되는 것이다.

이러한 Risk가 있기 때문에, 필자는 개인적으로 아래 2가지 옵션을 사용한다. (순수히 개인적인 설정이다.)

설정 1) AlDente 설정 > 일반적인 > 기타 > "시작 시 자동 실행"
개인적으로는 로그인 할 때 자동으로 실행하도록 설정하는 것이 좋을것으로 판단하였다. 그 이유는 앞서 설명한 바와 같이 Mac OS의 기본 배터리 관리 기능을 Off하였다. 따라서, AlDente가 꺼져 있고, mac os의 기본 배터리 관리 기능도 꺼져 있다면, 아무런 배터리 관리 기능이 동작하고 있지 않을 수 있기 때문이다.
설정 2) Mac OS의 "최적화된 배터리 충전"을 Off 하고 난 다음, "내일까지 끄기" 선택
이후 생각이 날때 다시 Off

설정 1) AlDente "시작 시 자동 실행" 기능 활성화 (좌), 설정 2) mac os 기본 최적화 배터리 충전 기능 > 내일까지 끄기 (우)

[주의 할점 ] 설치 삭제 및 원복

알려진 주의 할점을 하나 언급 해봅니다.

때로는 이러한 방식이 적합하지 않거나 필요 없을 때, 삭제하게 될 것인데요. 삭제할 때 유의할 점입니다.

(공식 홈이나 다른분들의 리뷰에 적혀 있는 부분입니다만, 제가 삭제 테스트 할 때는 그냥 삭제해도 문제가 되지 않았습니다. 참조바랍니다. )

이 때, 삭제 전에 충전 한도를 100%로 원복

충전 한도 (Charge Limit)는 다시 100%로 맞추어 주자.

개발 경험이 있는 분들이라면, 이해 할것이다. 아마도 이러한 충전 한도의 기록은 OS의 어딘가에 Config 형태 또는, API Event의 파라미터로 남아 있을 것이다. 삭제하는 시점에 자동으로 이 Config를 복원해 주면 좋을 텐데, 그렇게 하지 못하나 보다. 이게 여전히 70% 등으로 남아 있다면, 계속 배터리를 70%만 충전해서 사용하는 상태가 지속 될 것이다.

만약, 이미 삭제 했다면, AlDente를 다시 설치하고, 100%로 수정 한 다음 다시 삭제를 해 주도록 하자.

그리고, 삭제 후 안정적인 설정 변경/적용을 위해서, 리부팅을 한번 실행해 주면 깔끔하겠다.

(추가) 객관화한 배터리 상태 확인하기 - Battery Monitory

물리적인 배터리의 상태 (Mac OS가 해석해 주는 상태 말고)를 확인하기 위해서는 아래 App.를 추천한다.

App. 이름 : Battery Monitor
Apple Store에서 Battery Monitor 혹은 배터리 관리 라고 검색하면 찾을 수 있다.

Battery Monitor App. App store에서 배터리 관리로 검색해 보자.

배터리의 객관적인 현재 상태를 확인 할 수 있다.

배터리의 물리적인 상태를 mAh 단위로 확인할 수 있다.

2022.10.31 - [IT 이야기/IT 상식] - [MacOS] 백틱(`) 입력 - 원화(₩)입력 변경 to BQuote(`)

2022.10.20 - [IT 이야기/IT 상식] - [MacOS - ZSH] 유용한 플러그인 2종 - 자동완성/하이라이트

2022.07.25 - [IT 이야기] - [Mac+Chrome] 구글 독스 한글 깨짐 현상 (자/모분리)

2022.06.29 - [IT 이야기/IT 상식] - [맥북-NTFS] 맥북에서 윈도우 외장하드(NTFS) 쓰기(mount) - 모든버전 사용 가능

2021.01.21 - [IT 이야기/IT 상식] - 맥(MacOS)에서 특수문자/한자 입력 하기 -☆ ★ ○ ●

[맥북 Ventura] 배터리 잔량 퍼센트 보기 - ft. 제어 센터

리치윈드 - windFlex — Mon, 7 Nov 2022 10:14:13 +0900

Mac OS Ventura - 다양한 UI 변화

최근 Mac OS Ventura로 OS 업그레이드를 진행했습니다.

그런데, 이전 업데이트 들과는 달리 Ventura에서는 UI가 상당수 많이 변경이 되었습니다.

특히, "설정" UI는 아예 다른 스타일로 변경이 되었습니다. 기존에는 바둑판식 UI 였습니다만, 이번 Ventura에서는 좌우 창을 나누고 왼쪽에 리스트 형태로 나열 되어 있는 형태로 바뀌었습니다. 마치 설정창 또한 Finder 같은 UI로 동일화 한것 같습니다.

개인적으로는, 기존의 설정 UI가 익숙하고 좋았는데, Ventura도 나름 정리는 잘 되어 있는 것 같습니다.

PS. Ventura 업데이트에서 "스마트 메니저", "iOS 스크린 연동" 등 큼직한 업데이트가 있어서 이번 Ventura 업데이트는 마음에 듭니다.

배터리 잔량 퍼센트로 보기

배터리 잔량을 숫자/퍼센트로 표기하기

각설하고, 설정 UI가 변경되다 보니, 기존에 사용하던 설정의 위치가 혼란 스럽습니다. 이번에는 배터리 관련된 사항인데요.

베터리 기본설정은 숫자가 표기 되지 않습니다. 아래처럼 배터리 잔량이 숫자로 표기된 설정으로 바꾸려 합니다.

Mac OS Ventura 배터리 잔량 퍼센트 표기

기존 Monterey 까지만 해도 "설정 > 배터리"에 가면 "퍼센트 보기"라는 스위치가 있었습니다. 그러나, Ventura에서는 해당 메뉴를 찾을 수 없네요. 아래처럼 설정> 배터리를 가면 단순하게 배터리 잔량 모니터링/사용률, 그리고 저전력 모드에 대한 설정만 존재합니다. 옵션을 눌러봐도 딱히 퍼센트 보기를 찾을 수 없습니다.

상단의 메뉴바를 클릭하면 배터리 설정이 나오는데, 여기에서 "배터리 설정..."을 클릭해도 위의 배터리 메뉴가 열리게 됩니다. "퍼센트 보기"는 어디로 갔을까??

Mac OS Ventura에서는 메뉴의 구성들이 소폭 변경되어서 찾기 어려웠는데요.

위치는 "설정 > 제어 센터 > 배터리"에 "퍼센트 보기" 메뉴가 있습니다. 아무리 배터리 관련한 설정이라도 메뉴 관련된 사항은 제어센터에 따로 모아놨네요.

설정 > 제어 센터 > 배터리 > 퍼센트 보기 에 배터리 잔량을 수치로 표현하는 기능이 있다.

2022.11.07 - [IT 이야기/IT 상식] - [맥북 Ventura] 배터리 잔량 퍼센트 보기 - ft. 제어 센터

2022.10.31 - [IT 이야기/IT 상식] - [MacOS] 백틱(`) 입력 - 원화(₩)입력 변경 to BQuote(`)

2022.10.20 - [IT 이야기/IT 상식] - [MacOS - ZSH] 유용한 플러그인 2종 - 자동완성/하이라이트

2022.07.25 - [IT 이야기] - [Mac+Chrome] 구글 독스 한글 깨짐 현상 (자/모분리)

2022.06.29 - [IT 이야기/IT 상식] - [맥북-NTFS] 맥북에서 윈도우 외장하드(NTFS) 쓰기(mount) - 모든버전 사용 가능

2021.01.21 - [IT 이야기/IT 상식] - 맥(MacOS)에서 특수문자/한자 입력 하기 -☆ ★ ○ ●

[MacOS] 백틱(`) 입력 - 원화(₩)입력 변경 to BQuote(`)

리치윈드 - windFlex — Mon, 31 Oct 2022 16:03:29 +0900

신규 맥북을 구매하거나 다시 설치하고 나면
여러가지 설정이 초기화 된다.
가령, 백틱 (`) 입력이 제대로 되지 않는 등의 일 말이다.

맥북에서 백틱(`)으로 입력을 어떻게 해야 하나?

Mac OS를 새롭게 설치 혹은 맥북을 이제 막 구매하면, MacOS는 한글에 최적화 되어 잇는 것은 아니라는 것을 알 수 있다. 따라서, 기존에 사용하던 습관 그대로 사용하려면 몇가지 설정을 수정해 주어야 한다. 대표적인 예로, 한글 입력 모드에서 백쿼테이션(백틱`) 입력이 되지 않는 것을 예로 들 수 있다.

한글 입력 모드에서 백틱을 입력하면 원화표기(₩)가 입력된다. 백쿼테이션을 입력은 어떻게 해야 하나...?

특히, 마크다운(Markdown)을 자주 사용하거나, Slack/Attlasian 등 마크다운 스타일 입력을 지원하는 업무용 툴을 사용함에 있어서 백틱의 입력 부재는 매우 불편함을 유발한다.

맥북 원화표기(₩)를 백틱(`)으로 입력 - 키바인딩(KeyBinding)

해결방법으로, 다음과 같이 Mac 사용자의 시작 설정에 원화표기(₩)를 지우고 백틱(`)으로 변경하는 키바인딩을 해 준다.

sudo mkdir ~/Library/KeyBindings
sudo cat << EOF > ~/Library/KeyBindings/DefaultkeyBinding.dict
> {
>	"₩" = ("insertText:", "`");
> }
> EOF

">" 표기는 Interactive한 입력을 표기한 것이다. 한줄 한줄 입력하면된다. 입력 종료는 마지작 EOF를 입력함으로써 종료한다.

위 코드를 살펴보면,

1) ~/Library/ 하위에 "KeyBindings"라는 디렉토리를 생성한다.

* ~/Library는 사용자 계정마다 실행되는 라이브러리 묶음이라 할 수 있으며, KeyBinings는 mac os에서 지원해 주는 키 바인딩 기능을 제공하는 디렉터리이다.

2) ~/Library/KeyBinings/에 "DefaultkeyBining.dict"라는 파일을 생성한다.

3) ~/Library/KeyBinings/DefaultkeyBining.dict 내용으로 아래처럼 원화표기(₩)를 백틱(`)으로 대체하는 바인딩 설정을 처리한다.

{
	"₩" = ("insertText:", "`");
}

여기까지 바인딩 설정을 해 주었다. 그러나, 아직 바인딩 설정이 로딩 된것은 아니다.

사용자 계정 내의 응용프로그램이 시작되는 시점에 ~/Library/ 하위 디렉토리의 설정이 적용된다.

따라서, 위 키바인딩이 적용되기 위해서는 각 프로그램을 종료하고 새로 시작될 때, 혹은 아예 mac OS가 다시 시작될 때 적용될 것이다.

참고로, 응용프로그램의 탭이 새로 시작되었다고 적용되지는 않는다.

예를 들면, terminal 등은 모든 창이 닫혀 있어서, terminal application은 아직 떠 있는 경우가 있는데, 이 경우 상단 macos 메뉴에서 프로그램 종료를 누른 후 다시 시작하면 적용 될 것이다.

이상 macos의 키바인딩을 이용한 원화표기(₩) --> 백틱(`)변경 방법이다.

2022.11.07 - [IT 이야기/IT 상식] - [맥북 Ventura] 배터리 잔량 퍼센트 보기 - ft. 제어 센터

2022.10.31 - [IT 이야기/IT 상식] - [MacOS] 백틱(`) 입력 - 원화(₩)입력 변경 to BQuote(`)

2022.10.20 - [IT 이야기/IT 상식] - [MacOS - ZSH] 유용한 플러그인 2종 - 자동완성/하이라이트

2022.07.25 - [IT 이야기] - [Mac+Chrome] 구글 독스 한글 깨짐 현상 (자/모분리)

2022.06.29 - [IT 이야기/IT 상식] - [맥북-NTFS] 맥북에서 윈도우 외장하드(NTFS) 쓰기(mount) - 모든버전 사용 가능

2021.01.21 - [IT 이야기/IT 상식] - 맥(MacOS)에서 특수문자/한자 입력 하기 -☆ ★ ○ ●

[MacOS - ZSH] 유용한 플러그인 2종 - 자동완성/하이라이트

리치윈드 - windFlex — Thu, 20 Oct 2022 22:28:05 +0900

맥북 M1 Pro로 PC를 변경했습니다. 세팅할게 많네요 ^^

2020.06.01 - [IT 이야기/IT 상식] - [맥북] 맥북 터미널을 이쁘게 - ZSH 초간단 설치와 커스터마이징 (zhs + iTerm2)

ZSH 플러그인 : 자동완성 (AutoSuggestion), 하이라이트 (Syntax Highlighting)

ZSH 의 유용한 플러그인 2종 - AutoSuggestion, Highlighting

ZSH을 취향에 맞는 테마로 구성했다면, 몇가지 유용한 Plugin을 설치할 수 있다. 대표적으로, 자동 완성과 하이라이팅 플러그인 이다. 거의 필수적으로 사용되는 플러그인이다. Oh-My-ZSH을 사용하는 경우, 매우 쉽게 Plugins 기능을 설치/적용할 수 있다.

1) 자동완성 플러그인 : AutoSuggestions

2) 하이라이팅 플러그인 : Syntax Highlighting

설치하고자 하는 각 플러그인의 기능을 먼저 살펴 보자.

자동완성 (AutoSuggestions)는 아래와 같이 한번 타이핑한 명령어를 "회색"으로 미리 제안 해 주는 기능을 제공한다.

AutoSuggestion

하이라이팅 (Syntax Hightlighting) 플러그인은 아래와 같이 명령어와 문자열 등 문맥에 맞게 구분하여 색상을 달리 표현해 주는 기능을 제공한다.

ZSH 플러그인 (Plugins) 설치 방법

그래서 플러그인을 어떻게 설치하는데?

Oh-My-ZSH을 사용한다면, Plugin을 적용하는 것은 매우 간단하다.

단계는 두 단계를 진행하면 된다.

1)플러그인 소스 다운로드
2) .zshrc파일에 플러그인 등록.
3) 만약 플러그인이 제대로 동작하지 않을 경우, .zshrc 파일에서 수동 실행 (source)하는 방법

상세한 내용은 각 플러그인에서 다시 거론하겠다. 우선 여기서는 큰그림에서 순서 정도로만 생각하면 된다.

1) 플러그인 소스코드 다운로드 (Original)

소스코드를 브라우저에서 다운로드 받거나, 혹은 "Git clone" 명령어로 git에서 직접 내려 받을 수 있다.

[ 플러그인 소스코드 Github ]

AutoSuggestions: https://github.com/zsh-users/zsh-autosuggestions
Syntax Hightlighting: https://github.com/zsh-users/zsh-syntax-highlighting

[ 필자 추천 방법 ]

git clone https://github.com/zsh-users/zsh-autosuggestions ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-autosuggestions
git clone https://github.com/zsh-users/zsh-syntax-highlighting.git ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-syntax-highlighting

2) .zshrc 파일에 플러그인 등록

~/.zshrc 파일을 열어서, 다음과 같이 플러그인을 설정해 준다.
기본값으로 " plugins=( git ) " 으로 되어 있다. 아래와 같이 본인이 사용할 플러그인 이름 (폴더명)과 동일하게 추가해 주면 된다.

plugins=(git zsh-autosuggestions zsh-syntax-highlighting)

plugins 지정은 필수적으로 "source ~/.zshrc" 실행보다 위에 표기되어 있어야 한다.

전체적인 흐름에 대해서 알아 보았다. 사실 쉽게 문제가 풀린다면, 윗 내용으로만 으로도 플러그인 적용이 될 것이다. 그러나, 때로는 문제가 잘 풀리지 않을 때가 있다. 그렇다면, 아래 각 플러그인 상세 내용을 참조하도록 하자.

ZSH 자동 완성 (AutoSuggestions)

자동완성이라고 소개한 플러그인은, Github에 공개된 플러그인으로, "zsh-autosuggestions" 이다.

(출처 : https://github.com/zsh-users/zsh-autosuggestions )

동작하는 결과는 다음과 같다. 과거에 실행한 명령이 있다면, 회색으로 아래와 같이 미리 자동완성으로 보여 준다.

설치하는 방법은, 위에서 소개한 단계와 같이 두 단계로 이루어져 있다. 이 두단계를 상세하게 살펴보자.

Step 1) Git clone으로 다운로드 받는다. Step 2) .zshrc에 자동으로 실행하도록 rc에 등록해 준다.

1) git 소스 다운로드

git clone https://github.com/zsh-users/zsh-autosuggestions ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-autosuggestions

2) ~/.zshrc 추가

.zshrc 파일을 잘 살표 보면 "plugins= ( git )" 이라고 이미 표기된 곳이 있다. 따라서, 기본적으로는 "추가"가 아니라 "수정"이 되는 것이 정확한 표현이다. 공식 Github에는 다음과 같이 설정하라고 가이드 되어 있다.

plugins=( 
    # other plugins...
    zsh-autosuggestions
)

그러나 대부분의 경우는 다음과 같이 설정하면 된다. 먼저 "plugins=" 라고 되어 있는 부분을 찾기 바란다.

plugins=(git zsh-autosuggestions)

[ 중요 ]

중요한점은 .zshrc 파일에서의 "plugins"의 위치이다. 이 위치는 "source ~/.zshrc" 실행라인 보다 위에 위치해야 한다. 대부분 plugins가 동작하지 않는 이유는 이 부분이 잘못 되어 있기 때문이다.

만약 위의 plugins가 동작하지 않는다면, ~/.zshrc에서 직접 실행 ( source xxx.sh)가 실행되도록 수동 설정하면 된다. 수동 설정은 아래를 참조하여 진행하면 된다.

3) 수동 적용의 경우 (위의 plugins가 동작하지 않는 경우)

~/.zshrc 마지막 항목에 아래 라인을 추가해 준다. (위의 plugins 항목은 삭제해 준다.)

source <autosuggestions의 위치>/zsh-autosuggestions.zsh

<autosuggestions의 위치>는 github로 다운로드 받은 경로를 적어 준다. 필자의 경우는 아래와 같다.

source ~/.oh-my-zsh/custom/plugins/zsh-autosuggestions/zsh-autosuggestions.zsh

4) ZSH을 다시 시작해 준다.

터미널을 다시 시작해 주거나 `source ~/.zshrc`를 실행해 주면 다음과 같이 "자동완성"이 동작하는 것을 확인 할 수 있다.

ZSH의 자동완성 동작 화면 (Autosuggestions)

하이라이팅 (Syntax Highlighting)

공식 Github : https://github.com/zsh-users/zsh-syntax-highlighting
아래와 같이 github 소스를 다운로드 해준다.

git clone https://github.com/zsh-users/zsh-syntax-highlighting.git ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-syntax-highlighting

다음으로 다시 위에서 기술한 것과 같이, ~/.zshrc 파일을 열어서, plugins에 "zsh-syntax-highlighting" 을 추가해 준다. 결과적으로, plugins는 아래와 같을 것이다.

plugins=(git zsh-autosuggestions zsh-syntax-highlighting)

아래는 자동완성과 하이라이팅이 실행된 결과의 모습니다. 명령어는 별도로 하이라이팅 된 색상을 보이며, 다음 명령어는 자동완성이 되어 있는 것을 확인할 수 있다.

2020.06.01 - [IT 이야기/IT 상식] - [맥북] 맥북 터미널을 이쁘게 - ZSH 초간단 설치와 커스터마이징 (zhs + iTerm2)

2022.11.07 - [IT 이야기/IT 상식] - [맥북 Ventura] 배터리 잔량 퍼센트 보기 - ft. 제어 센터

2022.10.31 - [IT 이야기/IT 상식] - [MacOS] 백틱(`) 입력 - 원화(₩)입력 변경 to BQuote(`)

2022.10.20 - [IT 이야기/IT 상식] - [MacOS - ZSH] 유용한 플러그인 2종 - 자동완성/하이라이트

2022.07.25 - [IT 이야기] - [Mac+Chrome] 구글 독스 한글 깨짐 현상 (자/모분리)

2022.06.29 - [IT 이야기/IT 상식] - [맥북-NTFS] 맥북에서 윈도우 외장하드(NTFS) 쓰기(mount) - 모든버전 사용 가능

2021.01.21 - [IT 이야기/IT 상식] - 맥(MacOS)에서 특수문자/한자 입력 하기 -☆ ★ ○ ●

[주피터 노트북 커널] jupyter lab/notebook kernel

리치윈드 - windFlex — Mon, 19 Sep 2022 23:06:20 +0900

지난번 포스팅에서는 conda를 이용하여 가상환경을 생성/확인/삭제 등에 대하여 알아 보았다.

conda 가상환경에 대한 글은 아래 글을 참조 바란다.

2022.09.19 - [IT 이야기/IT 상식] - [Python 가상환경] conda 설치 및 가상환경 (feat. 내부 로직 & cheat sheet)

Jupyter lab/ jupyterNotebook Kernel 목록에 가상환경이 표기되지 않는다.

그런데, conda에서 가상환경을 생성하였다고 하더라도, Jupyter Lab 또는 Jupyter Notebook에서는 신규 생성한 가상환경으로 시작할 수가 없다. 물론, 가상환경으로 변경(conda activate) 후에 jupyter Lab 서비스 구동 자체 다시 시작하면 해당 가상환경으로 Jupyter를 사용할 수 있기는 하다. 그러나, 매번 Jupyter 서비스를 다시 재구동 할수는 없지 않겠는가?

conda (Anaconda)와 Jupyter가 동일 제품이라면 자동으로 연동 되겠지만, 서로 다른 제품/솔루션이므로 아쉽게도 서로 자동 연동이 되지 않는다. 다행 스럽게도 Jupyter Lab/Notebook에서는 이렇게 생성한 가상환경을 Kernel로 등록할 수 있도록 하는 기능이 마련되어 있다.

Jupyter Kernel 등록

[ ipykernel 방법 ]

$ pip install ipykernel
$ python -m ipykernel install --user --name <가상환경 이름> --display-name <표기할 커널 이름>

다음과 같이 `ipython kernel`을 사용하는 방법들도 있다. 그러나, 이 경우에는 가상환경과 제대로 매핑되지 않는 경우가 많다. 안정적인 ipykernel을 사용하도록 하자.

jupyter kernelspec 

ipython kernel install --user --name <가상환경 이름> --display-name <표시할 커널이름>

Jupyter Kernel 삭제

$ jupyter kernelspec remove <삭제할 커널 이름>
ex) jupyter kernelspec remove ML3

내부 로직 (상세)

Jupyter 내부로직을 한번 살펴 보면 (소스까지 보지는 않았지만),

`<home dir>/.local/share/`로 이동해 보면, Jupyter 디렉토리가 있다.

하위 폴더에는 우리가 궁금해하는 "kernels" 디렉토리가 있으며, 다시 그 하위 디렉토리가 바로 우리가 등록하고자 하는 jupyter kernel의 이름들 이다.

kernel이름의 디렉토리에는 "kernel.json"이라는 설정 파일이 있는데, 여기서 중요한 부분은 어떤 가상환경을 사용하고 있는지를 지정하고 있다. 이렇게 우리가 생성한 가상환경과, Jupyter가 그 가상환경을 사용하게 되는지 내부 로직을 짐작해 볼 수 있다.

이런 부분을 알게 되었다면, 우리는 수동으로 Jupyter Kernel을 등록해 볼 수 있을 것이다. 결국은 jupyter kernel이 이해할 수 있는 파일/디렉토리 구조를 생성하고, kernel.json을 형태와 설정 정보에 맞게 파일쓰기를 해주는 과정이라고 볼 수 있다.

굳이 수동 등록하지는 않을 것이다. (우리의 시간은 소중하니까.)

ipykernel과 kernelspec 들이 어떤 역할을 해 주는지만 파악하고 넘어가도록 하자.

2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel

2022.12.06 - [개발 이야기/Python] - [Jupyter Kernel 추가] conda 가상환경을 jupyter Kernel로 추가하기

2022.09.19 - [개발 이야기/Python] - [주피터노트북 커널] jupyter lab/notebook kernel

2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel

2020.06.04 - [개발 이야기/Python] - [파이썬] Anaconda x Jupyter notebook 설치 및 설정 방법 - 가상환경으로 파이썬 개발환경 구성

2020.03.10 - [IT 이야기] - Python x Jupyter Notebook 설치 및 환경 구성

2022.09.19 - [IT 이야기/IT 상식] - [Python 가상환경] conda 설치 및 가상환경 (feat. 내부 로직 & cheat sheet)

[Python 가상환경] conda 설치 및 가상환경 (feat. 내부 로직 & cheat sheet)

리치윈드 - windFlex — Mon, 19 Sep 2022 21:54:52 +0900

anaconda 가상환경에 대해서 알아보자. 원리도 함께.. conda create, conda remove, conda env list

Python을 사용하는 User들에게 ananconda (conda)는 매우 익숙한 패키지 관리자이다. 그러나, 익힐것이 많은 우리는 매번 conda 명령어가 가물가물하다. 또한, pip 명령어와, 명령어간 순서가 종종 혼동되기도 한다.

env 인가? envs 인가?

오늘날, 이런 명령어 하나 하나를 모두 기억하고 살기에는 우리가 기억하고 있어야 할것이 너무 많다.

또한, 종종 내부 로직을 이해하면 외우지 않아도 자연스럽게 암기가 되기도 한다. 내부 로직/원리를 함께 살펴 보자.

conda : 패키지 설치 / 버전

conda에서 가장 자주 사용하는 것은 당연히 패키지 설치 일것이다.

$ conda install <package name1> <package name2> ...
ex)
$ conda install numpy pandas

conda install 화면

기존에 설치한 버전의 업데이트는 `update` 명령어를 사용한다.

$ conda update pandas

[참조] 경우에 따라서는, `PackageNotInstalledError: Package is not installed in prefix.` 라는 에러가 발생하기도 한다. `conda list`를 실행하면 패키지가 설치되어 있는데, `update`에서 패키지를 인식을 못한다. 이것은 `pip`명령어로 설치한 패키지에서 발생한다. `conda install`로 설치한 패키지의 경우는 발생하지 않는다.

가상환경 생성 : conda create

Python을 사용하면서, 다양한 Applicaiton을 개발하다보면 Python 버전 디펜던시, 패키지 버전관리 등을 필요로 하게 된다. 특히, ML 프로젝트를 하게 되면, Cuda/CuDNN과 python 버전에 따라서 구동 여부가 달라지기도 한다. 또한 Tensorflow/Pytorch가 동시에 설치되어 있는 경우 충돌이 나기도 한다.

$ conda create --name ML python=3.9
or
$ conda create -n ML python=3.9

[형태] conda create --name <가상환경 표시 이름> python=<버전>

매번 Python과 패키지를 다르게 설치할 수 없기 때문에, 가상환경을 사용하여 서로 독립적인 환경을 세팅해 준다. (좀 더 자세히 들여다 보면, Docker/Container의 전신과 유사한 형태로 동작하는 것을 알수 있다. Python 실행 파일을 특정 하위 디렉토리에 복사하고, root directory를 변경해 주는 형태를 사용한다. )
즉, `conda create` 과정은 특정 directory를 생성하고 버전에 맞는 python bin와 pip 등 기본 파일을 복사/설치하는 과정이다.

이러한 과정을 이해하면 당연하게 내부 로직을 이해할 수 있는데, 기본적으로 가상환경(venv)마다 디렉토리가 정해져 있는 것을 알수 있다. 아래에서 거론될 Activate/Deactivate과정은 `change root dir` 과정이라고 볼 수 있다. 또한 신규로 설치되는 패키지들은 변경된 root dir 아래 새롭게 다시 설치되는 것이다.

* docker의 전신인 Linux container 에서는 `chroot`를 활용하여 기준이 되는 root dir을 변경하였다.

생성된 가상환경 리스트 확인

$ conda env list

conda env list 명령어를 사용하면 생성된 가상환경을 확인 할 수 있다. `conda env list` 명령어는 사실상 `ls ~/ananconda3/envs`와 동일한 역할을 한다고 생각할 수 있다.

`conda env list`를 실행하면 가상환경 리스트를 확인할 수 있는데, 설치된 가상 환경의 directory 위치를 확인 할 수 있다.

각 가상환경의 home 디렉터리에 가보면, python 자체가 모두 복제가 되어 있는 것을 알수 있다. bin/에는 python3등 실행 바이너리가 위치해 있다.

그렇다면, bin/외에 별도로 설치한 개별 패키지들은 어디에 위치해 있는 것일까? 가상환경의 rootdir 아래를 잘 살펴보면, lib/python3.x 위치를 살펴보자. 아래와 같이 `conda install` 로 설치된 패키지들이 .py 또는 라이브러리 형태로 저장되어 있다.

~/anaconda3/envs/ML3/lib/python3.9 하위에 개별 설치한 패키지들이 저장되어 있다.

가상환경 활성화/비활성화 (Activate/Deactivate)

# 가상환경 활성화 -> 지정한 환경으로 root dir 변경
$ conda activate <가상환경 이름>
ex) $ conda activate ML3

# 가상환경 비활성화 -> 이전 환경으로 root dir 변경
$ conda deactivate

activate / deactivate가 어떤 역할을 하는지 살펴보기 위해서, 가상환경에 진입하여 각각 환경변수를 비교하여 보자. `$echo PATH`를 실행해 보면, 가상환경 rootdir아래 `bin/`와 `condabin/`가 최우선순위 경로로 변경되어 있는 것을 알 수 있다. 이것은 python 명령어를 실행하거나, python package를 실행할 경우 가상환경에서 먼저 찾아보라는 의미를 갖는다.

/home/xxxx/anaconda3/bin:/home/xxxxx/anaconda3/condabin:/home/xxxxxx/.pyenv/shims:

[ ML3 가상환경 진입후 ]

(ML3) data:~/anaconda3$ echo $PATH
//src/google-cloud-sdk/bin:/home//anaconda3/envs/ML3/bin:/home//anaconda3/condabin:/home//.pyenv/shims:/home//.pyenv/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin

[ ML3 가상환경 비활성화 후 ]

//src/google-cloud-sdk/bin:/home//anaconda3/bin:/home//anaconda3/condabin:/home//.pyenv/shims:/home//.pyenv/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin

가상환경 삭제 - conda remove

앞서 살펴본 가상환경 생성/동작원리를 이해하면, 여러가지를 자동적으로 파악 할 수 있다. 대표적으로 가상환경이 늘어나게 되면, 동일 PC/서버 환경에서는 그만큼의 Python Bin와 Package의 모든 파일이 `가상환경 개수`만큼 복제되어 있다고 할 수 있다.

따라서, 불필요한 가상환경을 삭제가 필요하기도 하다. 가상환경을 삭제하려면, conda의 `remove` 명령어를 사용하면 된다.

$ conda env remove -n <가상환경 이름>
ex) conda env remove -n ML3

당연하게도, 삭제하는 과정은 <anaconda home>/envs 아래에서 <가상환경 이름>에 해당하는 directory 자체를 삭제해 버리는 과정이다.

Conda Cheat Sheet

다음은 conda 공식 홈에서 제공하고 있는 conda cheat sheet이다.

출처 : conda 공식 홈페이지 (https://docs.conda.io/projects/conda/en/4.6.0/_downloads/52a95608c49671267e40c689e0bc00ca/conda-cheatsheet.pdf)

2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel

2022.12.06 - [개발 이야기/Python] - [Jupyter Kernel 추가] conda 가상환경을 jupyter Kernel로 추가하기

2022.09.19 - [개발 이야기/Python] - [주피터노트북 커널] jupyter lab/notebook kernel

2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel

2020.06.04 - [개발 이야기/Python] - [파이썬] Anaconda x Jupyter notebook 설치 및 설정 방법 - 가상환경으로 파이썬 개발환경 구성

2020.03.10 - [IT 이야기] - Python x Jupyter Notebook 설치 및 환경 구성

2022.09.19 - [IT 이야기/IT 상식] - [Python 가상환경] conda 설치 및 가상환경 (feat. 내부 로직 & cheat sheet)

[App] Android compileSdkVersion Error (ft. API 버전)

리치윈드 - windFlex — Tue, 13 Sep 2022 15:41:22 +0900

안드로이드 스튜디오 컴파일 에러

컴파일 에러 : 개발자에게 가장 싫어하는 에러

안드로이드 앱 개발 혹은 Cross Platform App 개발하면서, 아래와 같은 "CompileSdkVersion Error"를 종종 만나게 된다. 특히, 프로젝트 세팅을 처음부터 시작한 것이 아니라, Template 또는 Skeleton Project로 부터 시작하는 경우에서 발생이 빈번하다.

Your project requires a higher compileSdkVersion. ㅜ_ㅜ

이런 컴파일류의 에러가 발생하면 처음에는 매우 당혹스럽기만 하다. 왜냐하면, 아직 아무것도 하지 않았기 때문이다. 아직 시작도 않해봤는데, 바로 컴파일 에러부터 발생하면, 환경 세팅 문제인데 이런류의 에러는 한번 꼬이면 잡아내기가 무척 까다롭기 때문이다.

다행이 이번 CompileSdkVersion Error는 어려운 부분이 아니긴 하다.

Android Studio. compileSdkVersion Error. Build Failed 이 발생한다.

해결 방안

에러의 내용을 자세히 살펴 보면, 이런 에러의 경우, Java Native를 컴파일 해야 하는데 compile Version이 필요한 SDK 버전 보다 낮다는 것이 문제이다. 원인 파악은 되었고, 그렇다면 SDK 버전을 올려주면 될것 이다. 여기서 2가지 작업이 필요하다.

1) 실제 상위버전의 SDK를 설치해 주는것 --> SDK Manager

2) 상위버전의 SDK를 사용할 수 있다고 표기 해 주는 것 --> build.gradle

SDK Manager

Android Studio의 메뉴중, SDK Manager를 열어주자. Android Studio의 버전에 따라 다르지만, 최상단 메뉴 > Tools > SDK Manager 메뉴에서 찾을 수 있다. 이번 에러의 경우, API 31 이상을 요구하고 있기 때문에 31 또는 그 상위의 버전을 추가 설치해 주면 된다.

Android Studio SDK Manager. Android SDK API 31 이상을 필요로 하고 있다.

android/app/build.gradle

API 31만 설치해 주면 끝날 줄 알았는데, Android를 Compile할 때 설계도와 같은 Builld.gradle에서 API 최저~최상에 대한 정의가 되어 있다. 여기에서 요구되는 구동 환경 보다 API 버전 설정이 절적하지 않으면, 위와 같은 에러가 발생하게 된다.

주의할 점은, "android/app/build.gradle" 경로 위치에 주의하길 바란다. 동일 이름의 build.gradle은 "android/build.gradle"이 또 하나 존재한다.

android/app/build.gradle의 하단쯤에 compileSdkVersion xx 의 버전을 요구하는 레벨 혹은 그 이상으로 수정해 주자.

설정에 따라서는 하단에 존재하는, defaultConfig 항목에 minSdkVersion, targetSdkVersion 도 조정해 주길 바란다.

이제 다시 컴파일을 진행하면, 정상 동작함을 확인 할 수 있다.

[텐서플로우 - TFIO] 텐서플로우 io 에러 (NotImplementedError)

리치윈드 - windFlex — Tue, 6 Sep 2022 10:35:10 +0900

Tensorflow IO NotImplementedError : unable to open libtensorflow_io.so

Tensorflow IO (TFIO)

Tensorflow_io는 GPU를 사용하여 파일 로드, 디코딩, 전처리 등을 빠르게 할 수 있어서 매우 유용한 툴이다. 필자 또한 다수의 파일을 읽고 전처리할 때 사용하고 있다. 처음에는, 각 파일별로 전처리한 결과를 저장해 놓고 그때 그때 저장해둔 전처리 결과물을 로딩하여 사용했으나, Tensorflow_io를 사용한 이후 부터는 실행하는 Runtime 시점에 파일로딩->전처리까지 실시간으로 처리하여도 속도 측면에서 뛰어남을 체감하고 있다.

더욱이, 전처리하는 과정에서 일부 수정이 발생하면, 미리 저장해둔 전처리 결과물을 재 생성해야 한다. 이 때문에, 전처리 과정에서 파라미터 변경 등에 따른 실험이 필요하다면 필수적으로 Tensorflow_io를 사용하게 될 것 이다.

그런데,
Tensorflow_io를 실행하자 마자 에러가 발생하는 경우가 있다.
보통 tensorflow_io의 Audio 모듈을 사용할 경우이다.

Tensorflow_io NotimplementedError

문제의 원인

아래와 같이 NotImplementedError가 발생하기도 한다. 특히 Tensorflow 최신버전을 사용하는 경우, 이러한 현상이 더욱 빈번하게 발생하는 듯 하다. 구글링을 통하여 검색해 보면, Conda repository에서 아직 지원을 하지 않는다는 등의 이야기가 있는데, 거두 절미하고 필자가 얻은 답은 "버전 문제" 때문이다. 버전 미스매칭 때문에 발생하는 일인데, 최근 Tesnorflow_io에서 라이브러리의 경로 등이 변경된것이 아닌가 추정하고 있다.

NotImplementedError: in user code:
   (중략) 
    File "/home/svcapp/.local/lib/python3.9/site-packages/tensorflow_io/python/ops/__init__.py", line 69, in _load_library
        raise NotImplementedError(

    NotImplementedError: unable to open file: libtensorflow_io.so, from paths: ['/home/svcapp/.local/lib/python3.9/site-packages/tensorflow_io/python/ops/libtensorflow_io.so']
    caused by: ['/home/svcapp/.local/lib/python3.9/site-packages/tensorflow_io/python/ops/libtensorflow_io.so: undefined symbol: _ZNK10tensorflow4data11DatasetBase8FinalizeEPNS_15OpKernelContextESt8functionIFNS_8StatusOrISt10unique_ptrIS1_NS_4core15RefCountDeleterEEEEvEE']

해결 방안

여러가지 시도를 해 보았으나, 필자가 해결한 방법은 특정 버전으로 다시 설치하는 방법이다. 필자는 아래와 같이 기존 tensorflow_io를 삭제하고 0.23.1 버전으로 재설치한 후 문제가 해결 되었다.

!pip uninstall tensorflow_io -y
!pip install tensorflow_io==0.23.1

참고적으로, 구글링의 결과로 아래와 같이 "--no-deps" 옵션으로 재설치하라는 가이드도 존재하였으나, 필자의 경우 문제가 해결 되지 않았다. 경우에 따라서는 도움이 될 수 있으나, 추가로 첨부하고자 한다.

pip uninstall tensorflow
pip uninstall tensorflow-io
pip install tensorflow-gpu
pip install --no-deps tensorflow-io

산업안전보건교육 2022년 3분기 비사무직

리치윈드 - windFlex — Thu, 25 Aug 2022 18:39:18 +0900

산업안전보건교육 2022년 3분기 비사무직

산업안전보건교육 2022

1 [O/X 문제] 저는 조리사로 매일 조리용 장화와 장갑을 사용하고 있습니다. 가끔 일반 장화를 사용할 때가 있는데 이것도 위험성 평가 시 유해∙위험요인 항목에 포함될까요?

(5점)

1. O

2. X

해설 닫기

정답 : 1번

해설조리실은 특히 물기와 기름기가 많기 때문에 미끄럼방지 장화를 신어야 합니다. 이외에도 위험성평가에서는 조리용 장갑, 조명등 간격, 코드 위치 등을 점검합니다.

2 다음 중 위험성평가의 특징으로 올바른 것은 무엇인가?

(5점)

1. 체계적으로 문서화하고 지속적으로 수정 · 보완하며 조직적 · 과학적인 방법으로 진행된다는 것이다.

2. 감각적 또는 경험적으로 ‘이것은 위험하다’ 고 판단한 것 만을 평가대상으로 한다.

3. 유해·위험 요인을 일부만 찾아내면 된다.

4. 표면적으로 드러난 위험∙위해 요인을 찾는 것이다.

해설 닫기

정답 : 1번

해설위험성평가는 체계적으로 문서화하고 지속적으로 수정 · 보완하며 조직적 · 과학적인 방법으로 진행된다는 것입니다.

3 다음은 직무스트레스에 의한 건강장해를 설명한 것이다. 빈 칸에 알맞은 답을 쓰시오.

□□□이란 한 가지 일에 몰두하다 신체적, 정신적으로 모든 에너지가 소진된 상태를 의미합니다. 최근 세계보건기구는.

□□□증후군을 질환은 아니지만 성공적으로 관리되지 않는 만성적 직장 스트레스로 인한 증후군으로 정의했습니다.

(5점)

3/100

해설 닫기

정답 : 번 아웃,번아웃

4 [O/X 문제] 공기감염은 비말감염보다 전파력이 약하다.

(5점)

1. O

2. X

해설 닫기

정답 : 2번

해설공기감염은 비말에서 수분이 다 기화하고 병원체 등이 남은 비말핵이 공기 중에서 부유하다가 사람에게 흡입되어 발생하는 것으로 비말핵의 지름이 5㎛보다 작아 최대 약 50m까지 퍼질 수 있습니다. 따라서 공기감염을 일으키는 질병은 대규모 감염을 발생시키기 때문에 특히 유의해야 합니다.

5 다음은 스트레스의 반응 중 어떤 것을 설명한 것인가?

"우유부단, 혼란, 우울, 불안, 신경과민, 분노 등의 반응으로 나타나며 만성 스트레스가 지속되면 감정적 손상이 지속되고 과민하게 되며, 수면 패턴에도 영향을 주게 됩니다." (5점)

1. 생리적 반응

2. 감정적 반응

3. 인지적 반응

4. 행동적 반응

해설 닫기

정답 : 2번

해설스트레스 상황에 대한 개인의 반응은 상황을 어떻게 생각하고, 기대하며 평가하느냐는 인지과정에 의해 큰 영향을 받는다고 볼 수 있습니다. 스트레스에 의한 반응으로는 생리적 반응, 감정적 반응, 인지적 반응, 행동적 반응이 있습니다.

6 다음 중 위험성평가에 대한 설명으로 옳지 않은 것은 무엇인가?

(5점)

1. 사업주가 사업장의 유해 · 위험 요인을 파악하고 해당 유해 · 위험 요인에 의한 부상 또는 질병의 발생 가능성과 중대성을 추정, 결정해 감소 대책을 수립하고 실행하는 일련의 과정을 말한다.

2. 위험성평가의 실시 목적은 사고 후 재발을 방지하지 위한 것이다.

3. 사업주의 자율적인 재해 예방 활동을 강화하기 위해 2010년부터 3년 동안 위험성평가 시범사업을 실시하였다.

4. 2013년부터 국내 전 사업장을 대상으로 위험성평가 제도를 본격 시행하고 있다.

해설 닫기

정답 : 2번

해설위험성평가의 실시 목적은 사고를 미연에 방지하는 것입니다.

7 다음중 산업안전보건관리비 대상액에 대한 설명으로 옳지 않은 것은 무엇인가?

(5점)

1. 산업안전보건관리비 산정의 기초가 되는 금액

2. 공사내역의 구분 여부에 따라 대상액을 산정해야 함

3. 공사내역의 구분여부와 관계없이 정액으로 산정함

4. 공사내역이 구분되어 있는 경우, 재료비 + 직접노무비

5. 공사내역이 구분되지 않은 경우, 총공사금액의 70%

해설 닫기

정답 : 3번

해설대상액은 산업안전보건관리비 산정의 기초가 되는 금액으로 공사원가계산서에서 재료비와 직접 노무비를 합한 금액을 말합니다. 여기에서 재료비로는 발주자가 재료를 제공할 경우 해당 재료비 또는 완제품의 가액을 포함한 금액이 해당됩니다. 대상액을 산정할 때는 공사내역이 구분되어 있는 경우와 구분되어 있지 않은 경우로 구분하여 산정해야 합니다. 산업안전보건관리비 계상 시 대상액이 구분되지 않은 공사에 있어서는 총 공사금액의 70%에 해당하는 금액을 대상액으로 보는데요. 그 이유는 재료비와 직접노무비를 합한 금액이 통상적으로 총 공사금액의 70% 정도에 해당하기 때문입니다.

8 [O/X 문제] 산업안전보건관리비는 「전기공사업법」에 따른 전기공사로서 저압 · 고압 또는 특별고압 작업으로 이루어지는 공사와「정보통신공사업법」 따른 정보통신공사 중단가계약에 의해 행해지는 공사에 대해서는 총 계약금액을 기준으로 적용한다.

(5점)

1. O

2. X

해설 닫기

정답 : 1번

해설산업안전보건관리비는 「산업재해보상보험법」의 적용을 받는 공사 중 총 공사금액이 2천만 원 이상인 공사에 한해 적용이 가능합니다. 다만,「전기공사업법」에 따른 전기공사로서 저압 · 고압 또는 특별고압 작업으로 이루어지는 공사와「정보통신공사업법」 따른 정보통신공사 중단가계약에 의해 행해지는 공사에 대해서는 총 계약금액을 기준으로 적용합니다.

9 [O/X 문제] 스트레스는 모든 병의 근원이므로 무조건 제거하거나 줄여야 한다.

(5점)

1. O

2. X

해설 닫기

정답 : 2번

해설적절한 스트레스는 삶의 활력이 되고 도전을 하게 되는 힘이 되기도 합니다.

10 다음은 무엇에 대한 설명인가? 빈 칸에 알맞은 답을 쓰시오.

□□□이란 유해 · 위험 요인이 부상 또는 질병으로 이어질 수 있는 가능성과 중대성을 조합한 것을 의미합니다. ’가능성’ 은 작업자의 부상 · 질병 발생의 확률을 의미하며, 노출 빈도 · 시간, 유해 · 위험한 사건의 발생 확률, 피해의 회피 · 제한 가능성을 고려해야 합니다. '중대성’ 은 부상 · 질병이 발생했을 때 미치는 영향의 정도를 의미하며 부상 또는 건강장해의 정도, 치료 기간, 후유 장해 유무, 피해의 범위를 고려해야 합니다.

(5점)

3/100

해설 닫기

정답 : 위험성

11 다음 중 직무스트레스에 의한 직무에 대한 변화가 아닌 것은?

(5점)

1. 업무의 몰입도 증가

2. 높은 결근율, 이직율

3. 낮은 수행성과 생산성

4. 조기퇴직과 질병 퇴직 증가

해설 닫기

정답 : 1번

12 다음은 무엇에 대한 설명인가? 빈 칸에 알맞은 답을 쓰시오.

□□□□란 근로자가 산업재해 발생의 급박한 위험이 발생할 시, 즉시 작업을 중단하고 긴급대피 할 수 있다는 것이다.

(5점)

4/100

해설 닫기

정답 : 작업중지

13 다음은 산업안전보건관리비 중 본사 사용비에 대한 설명이다. 빈 칸에 들어갈 숫자를 쓰시오.

본사 사용비로 사용이 가능한 항목은 안전만을 전담으로 하는 별도 조직을 갖춘 업체의 본사에서 산업안전보건관리비 사용 전체 항목과 안전전담부서 전담직원 인건비 및 업무수행 출장비로, 계상된 안전관리비의 □%를 초과할 수 없다.

(5점)

1/100

해설 닫기

정답 : 5

해설기술지도비로 사용이 가능한 항목은 재해예방 전문지도기관에 지급하는 기술지도 비용입니다. 반대로 사용불가항목은 총 기술지도 대가가 계상된 산업안전보건관리비 총액의 20%를 초과한 경우이며, 이럴 경우 기술지도의 횟수조정이 가능합니다. 본사 사용비로 사용이 가능한 항목은 안전만을 전담으로 하는 별도 조직을 갖춘 업체의 본사에서 산업안전보건관리비 사용 전체 항목과 안전전담부서 전담직원 인건비 및 업무수행 출장비로, 계상된 안전관리비의 5%를 초과할 수 없습니다. 반대로 사용불가항목은 안전보건관리만을 전담하는 부서가 조직되어 있지 않은 경우, 전담부서에 소속된 직원이 안전보건관리 외의 다른 업무를 병행하는 경우가 있습니다.

14 [O/X 문제] 건설현장 진출입로에서 공사차량의 출입을 유도하거나 현장외부의 도로 중앙에서 공사용 차량과 일반통행차량과의 사고를 방지하는 신호자의 인건비는 산업안전보건법에서의 산업안전보건관리비로는 사용이 가능하다.

(5점)

1. O

2. X

해설 닫기

정답 : 2번

해설건설현장 진출입로에서 공사차량의 출입을 유도하거나 현장외부의 도로 중앙에서 공사용 차량과 일반통행차량과의 사고를 방지하는 신호자의 인건비는 산업안전보건법에서의 산업안전보건관리비로는 사용이 불가능하고, 건설기술 진흥법의 안전관리비로 사용이 가능한데요, 이는 산업안전보건법에서의 산업안전보건관리비는 작업자의 안전과 보건에 관련한 비용을 목적으로 하도록 규정되어 있기 때문이라 할 수 있습니다.

15 다음 중 안전사고 대응 행동요령 기본원칙 3단계, 도움요청 시 해야하는 구체적 지시가 아닌 것은 무엇인가?

(5점)

1. 구조대 신고

2. 주변 위험물 제거

3. 본인의 소속 안내

4. 군중 정리

해설 닫기

정답 : 3번

해설도움 요청 시에는 구체적 지시가 필요한데요. 구조대 신고, 구조대 유도, 군중 정리, 주변 위험물 제거, 응급처치에 필요한 도구 및 재료 확보, 처치 보조 등의 임무를 지정해주도록 합니다. 이 중 가장 중요한 것이 구조대에 신고하는 것인데요, 신고를 할 때는 당황하지 말고 침착하게 사고 위치와 부상자 상태에 대해 정확하게 설명합니다

16 다음은 무엇에 대한 설명인가? 빈 칸에 알맞은 답을 쓰시오.

"□□이란 병원성 미생물 즉 병원체가 숙주 내에서 분열 증식하고 있는 상태로 그 결과 사람에게 질병이나 면역반응을 일으키는 것을 의미한다." (5점)

2/100

해설 닫기

정답 : 감염

해설감염이란 병원성 미생물, 즉 병원체가 숙주 내에서 분열 증식하고 있는 상태로 그 결과 사람에게 질병이나 면역반응을 일으키는 것을 의미한다.

17 다음은 빈칸에 들어갈 단어는 무엇인가? (초성: ㅇㅈㅎ)

산업재해 예방 능력을 제대로 갖추지 못한 영세업체가 도급을 받고, 영세업체의 근로자가 산업재해를 당하는 문제가 빈번하게 발생하고 있는데, 이는 ‘위험의 □□□’라고 불리며 사회적 지탄의 대상이 되기도 합니다.

(5점)

3/100

해설 닫기

정답 : 외주화

해설최근에는 산업재해 예방 능력을 제대로 갖추지 못한 영세업체가 도급을 받고, 영세업체의 근로자가 산업재해를 당하는 문제가 빈번하게 발생하고 있는데, 도급사업으로 인한 수급인 근로자의 산업재해는 도급인의 경제적 손실 및 법적 책임과 관련되어 있으며 ‘위험의 외주화’ 라는 사회적 지탄의 대상이 되기도 합니다.

18 [O/X 문제] 도급사업 산업재해의 예방의 책임은 전적으로 도급자에게 있다.

(5점)

1. O

2. X

해설 닫기

정답 : 2번

해설도급자와 수급자는 산업재해 예방을 위해서 원 · 하도급 간의 안전보건시스템을구축하여 유기적인 산재예방활동을 펼쳐야 합니다.

19 다음 중 사고 유형에 관계없이 가장 먼저해야 할 행동은 무엇인가?

(5점)

1. 119 혹은 사내 구조대 신고

2. 부서장에게 보고

3. 자신의 안전확보를 위한 자리 이탈

4. 지인에게 도움 요청

해설 닫기

정답 : 1번

해설사고 유형에 관계없이 가장 먼저 해야 할 행동은 119 혹은 사내 구조대에 신고하기 입니다.

20 다음은 무엇에 대한 설명인가? 빈 칸에 알맞은 답을 쓰시오.

□□□□□□□□□는 공사종류 및 규모에 따라 일정금액을 도급금액에 별도로 계상하도록 해 시공자가 건설공사 중에 안전관리자 인건비, 안전시설비, 기술 지도비 등에 사용함으로써 재해예방에 기여하는 비용을 말한다. (5점)

9/100

해설 닫기

정답 : 산업안전보건관리비

해설사업장에서 근무하는 근로자의 산업재해와 건강장해를 예방하기 위한 목적으로 건설사업장 및 본사 안전전담부서에서 사용하는 돈을 산업안전보건관리비라고 하는데요. 산업안전보건관리비는 건설공사 발주자가 건설공사 종류 및 규모에 따라 일정금액을 도급금액에 별도로 계상, 즉 예산 편성에 반영하도록 해 시공자가 건설공사 중에 안전관리자 인건비, 안전시설비, 기술지도비 등에 사용함으로써 재해예방에 기여하는 데 그 목적이 있습니다.

[Mac+Chrome] 구글 독스 한글 깨짐 현상 (자/모분리)

리치윈드 - windFlex — Mon, 25 Jul 2022 10:21:35 +0900

구글독스 (mac)에서 한글 깨짐 현상을 수정해 보자.

크롬(Chrome)에서 구글독스 (Google Docs) 한글이 깨지다니....
똑같은 구글제품에서 깨지면 어떻하나...

필자는 MacOS + 크롬(Chrome) 브라우저를 주 인터넷 환경으로 사용하고 있습니다. 그리고, 정돈되기 전의 글들, 로깅, 메모 등은 구글닥스를 사용합니다. 그런데, 간혹~ 아주 간혹~ 크롬 브라우저에서 구글독스를 사용하면, 한글이 깨지는 현상이 발생합니다. 과거의 한글조합형 문자의 깨진 문자를 보는듯 하군요.

ㅇㅗㄴㅡㄹㅇㅡㅣ ㅇㅣㄹㄱㅣ

흐음....

그런데, 이게 꼭 항상 그런것은 아니라서, 대충 크롬이 아닌 사파리/파이어폭스 등 다른 브라우저를 사용하다가, 크롬으로 다시 돌아오면 잘되는 경우가 좀 있습니다. PC를 잘 끄지않고 "잠자기"/"대기"를 자주 사용하는지라, 세팅값이 변경되는 경우가 별로 없거든요. 그런데, 오늘 오랜만에 OS업데이트하고 재부팅 했더니 다시 이러한 현상이 발생하더군요... 에효~

방법을 찾아봤고, 내용을 공유합니다. 근본적으로 방법은 크롬 브라우저의 세팅 플래그 값을 최화 하는 방안입니다.

크롬 브라우저 프래그 초기화

방법은 아주 간단합니다.

1) 크롬 브라우저 주소입력란에, 다음을 입력한다. : chrome://flags/#enable-npapi

2) "Reset All" 버튼을 누른다. 자동으로 브라우저창이 닫혔다 재기동 된다.

3) 구글독스에서 한글입력이 제대로 동작하는지 확인한다.

1) 브라우저 주소 : chrome://flags/#enable-npapi 입력 후, 아래 "Reset all" 버튼을 눌러 줍니다.

크롬브라우저의 플래그 설정 페이지 : chrome://flags/#enable-npapi

2) 구글독스 한글 입력 결과 확인

구글독스에서 한글 입력이 이제 잘 되네요.

2022.11.07 - [IT 이야기/IT 상식] - [맥북 Ventura] 배터리 잔량 퍼센트 보기 - ft. 제어 센터

2022.10.31 - [IT 이야기/IT 상식] - [MacOS] 백틱(`) 입력 - 원화(₩)입력 변경 to BQuote(`)

2022.10.20 - [IT 이야기/IT 상식] - [MacOS - ZSH] 유용한 플러그인 2종 - 자동완성/하이라이트

2022.07.25 - [IT 이야기] - [Mac+Chrome] 구글 독스 한글 깨짐 현상 (자/모분리)

2022.06.29 - [IT 이야기/IT 상식] - [맥북-NTFS] 맥북에서 윈도우 외장하드(NTFS) 쓰기(mount) - 모든버전 사용 가능

2021.01.21 - [IT 이야기/IT 상식] - 맥(MacOS)에서 특수문자/한자 입력 하기 -☆ ★ ○ ●

[AWS 교육 요약] Developing on AWS (3/3)

리치윈드 - windFlex — Mon, 18 Jul 2022 11:39:51 +0900

Python은 Flask / FastAPI / Django 등에서 각 Web Application 의 함수를 Routing해 준다. 그러나, AWS Lambda와 같은 Serverless 방식으로 Function을 구동한다면 어떻게 라우팅 해 줄 수 있을까?

AWS에서 제시하는 답은 API Gateway를 사용하라.!!!

추가적으로 Routing을 처리하는 과정에서 L7 Layer 장비가 해 줄수있는 Application에서의 추가기능을 제공한다. 대표적으로, Request의 Validation 점검, Response의 변형, 그리고 prod/test 등의 deploy 관리 등이다.

API Gateway를 사용한 솔루션 개발

그림으로 도식화하여 보자. Amazon API Gateway를 사용하면 다음 그림과 같이 Method (GET / POST) 등에 따라서 Lambda 함수로의 매핑을 해 주는 기능을 한다. 일반 웹프레임워크에서 라우팅 기능이라고 보면 되겠다. 아래 그림에서는 GET Method로 호출할 때는 list 함수를, POST Method 호출할 때는 createUpdate 함수를 호출한다.

API Gateway를 실행하기 위해서는, "AWS Service > API Gateway > Create API 버튼 클릭" 으로 새로운 API를 생성한다. 그 다음 WebSocket , REST API 등 여러 API 유형이 나오는데, 가장 익숙한 REST API 항목에서 "Build"를 눌러서 API를 생성하도록 하자. 다음으로 나오는 페이지에서는 간략히 API이름을 입력해 주면 된다.

API 가 생성되었다면, 다음과 같은 프로세스로 진행 하면된다.

Resource 생성
Method 생성

Create Resource에는 "notes"라는 이름으로 생성해 주자.

Create Method에서는 GET 또는 POST 등의 Method를 선택하고, 해당되는 Lambda Function을 설정해 주는 것이 핵심이다.

Cognito 인증 애플리케이션 구축 (Practice 06)

실습에서 목표로하는 아키텍처

Lambda에는 이미 함수가 구현/등록되어 있다. 이 함수들을 연결하는 API Gateway는 샘플로 list 함수만 연결이 되어 있는 상황인다.

Lambda에는 이미 함수가 구현되어 있다.

기본적으로 API Gateway가 구동되어 있다.(좌), 그러나, API Gateway는 list 함수만 기본 설정 되어 있다. (우)

이러한 환경에서 우리는, Cogniton를 연결하여 인증을 토큰을 받고 이것을 API Gateway와 연결하여 인증이 연동될 수 있도록 해야 한다.

Amazon Cognito를 사용하여 사용자풀 (UserPool) 과 앱 클라이언트 (App Client)를 생성
새사용자를 추가하고, Cognito CLI를 이용하여 로그인 (가능 여부 확인)
API Gateway에서 Amazon Cognito를 권한 부여자로 등록 (메서드 구성)
API 호출 중에, JWT (Just-in time Web Token) 인증 토큰 생성 확인
Amazon Cognito 및 API Gateway 구성을 사용하도록 웹 Front-End 애플리케이션 (React) 설정, 기능확인

1) Congito User Pool 생성

Cognito User Pool 생성. UserPool 선택 (좌), Password Policy (우) 테스트를 쉽게 하기 위하여 보안수준을 낮추고 보안체크 기능을 비활성화 했다.

Cognito User Pool 생성 결과: User Pool (좌), App Client (우), 각각의 표기된 ID 문자열 값은 이후 연동에 사용되므로 따로 저장해 두고 사용하자.

2) User Pool 에 새 사용자 등록

동작 가능성을 점검하기 위해서, aws cli를 통해서 새 사용자 등록을 처리한다. 이후는 web application에서 처리해야 할 것이다. cli명령어는 "aws cognito-idp sign-up" 명령어를 사용한다.

aws cognito-idp sign-up --client-id <App 클라이언트ID> --username student --password student

username과 password는 "student"로 고정하여 테스트 하였음.
위의 aws cli를 사용하면, 사용자

<App 클라이언트 ID>라고 표기한 곳은 위 User Pool 생성 결과에서 표기된 Client ID를 표기한다. 다음과 같이, 필요한 내용은 변수로 만들어서 사용할 수 있다.

$ apiURL='[apiURL]'
$ CognitoPoolId='[Cognito Pool Id]'
$ AppClientId='[App Client Id]'

본 포스팅의 경우, 변수는 다음과 같다.

apiURL='https://tr67vt4vi6.execute-api.us-west-2.amazonaws.com/Prod'
CognitoPoolId='us-west-2_31xxxxxxT'
AppClientId='47frcxxxxxxxxxxxxxxxxxxvo5sp'

변수가 설정 되었다면, cli명령어는 변수를 사용하여 다시 작성할 수 있다.

aws cognito-idp sign-up --client-id $AppClientId --username student --password student
결과값 : 
{
    "UserConfirmed": false,
    "UserSub": "16c1e566-f828-48ab-927b-c43252ced067"
}

이제, 사용자풀 (User Pool)에 사용자가 등록이 되었다. AWS Console > Cognito > User Pool 화면에서, 우리가 생성한 UserPool 이름 (PollyNotesPool)의 User탭에 가면 사용자가 아래와 같이 등록되어 있는 것을 확인 할수 있다.

User Pool 에 새사용자를 등록한 결과. Unconfirmed 상태이다.

그러나 자세히 보면 "Confirmation status"가 아직 "Unconfirmed"되어 있는 것을 알 수 있다. 관리자(Admin)이 승인을 해야 최종 "Confirm"이 되는 프로세스를 가지고 있다.

다시 Cli명령어를 사용하여 Admin의 Confirm을 해주자.

aws cognito-idp admin-confirm-sign-up --user-pool-id $CognitoPoolId --username student

필요한 중요 정보는 Pool ID와 승인할 사용자의 이름이다. 사용자 이름은 당연한 것이고, Pool ID는 여러 Pool이 있을 경우 이것을 지칭해야 하므로 필요할 것이다. 그러나, 의문점은 사용자 등록은 App Client ID인데, 승인은 왜 Pool ID를 사용하는가?
App Client ID는 당연히 Pool ID에 종속되어 있기 때문에 연동되어도 상관은 없으나, 일관성이 부족한것은 아닐까?

User Pool에 새사용자 등록 후, Admin의 승인 처리 결과: Confirmed로 변경되었다.

3) Amazon Cognito 동작 테스트

여기까지 진행한 결과를 테스트 하기 위해서, 간략한 테스트용 웹페이지를 제공한다. 실습에 기본 생성되어 있는 S3에 들어가 보면, Public으로 정적 웹호스팅을 하고 있는 2개의 버킷을 확인 할 수 있는데, 이중 "testlogin..."으로 표기된 웹페이지를 열어본 것이다.

TestLogin 웹페이지의 화면은 다음과 같다. Pool ID와, App Client ID, Username, Passworkd를 입력하면, Cognito가 보내준 Access Token을 확인 할 수 있다.

인증 성공하면, ".getIdToken().getJwtToken()"메서드가 호출된다.

4) API Gateway - Cognito를 권한 부여자로 사용하도록 설정

지금까지 Amazon Cognito를 설정하여 1) User Pool를 생성, 2) 사용자를 User Pool에 등록, 3) 사용자 로그인 요청 시 JWT 발행 테스트 하였다. 이제 Cognito에서 발행해 주는 JWT 토큰으로 API Gateway에서 인증되도록 연동해 주어야 한다.

AWS service > API Gateway 화면에서 이미 생성되어 있는 우리의 API Gateway ( "PollyNotesAPI" ) 를 클릭해 주자.
그 다음 왼쪽 메뉴 > Authorizers 메뉴 > "Create new Authorizer" 를 클릭하자. 여기에서 우리는 Cognito를 인증기로 연동해 주는 작업을 할 것이다.
Create Authorizer 버튼을 누르면, 아래 그림 (우) 같이 Name, Type, Cognito User Pool, Tocken Source를 입력해 주고 Create 버튼을 눌러주자.

Authorizer가 생성되면 결과가 아래 그림 (좌)와 같이 나타나고, 테스트를 실행해 볼 수 있다.
Authorization 항목을 빈칸으로 테스트 하면 당연하게도 401에러와 "Unauthorized request" 메세지를 받는다.
앞서, cognito test 페이지에서 수신받은 JWT 토큰을 입력해 주면 아래 오른쪽 그림처럼 정상 인증인 된것을 확인 할 수 있다.

API Gateway Authorizer 생성 결과 (좌), Authorizer Test 결과 : 401 에러 (중), Authorizer Test 결과 200 성공 (우)

API Gateway > 왼쪽 메뉴 API: PollyNotesAPI > Resource 메뉴로 돌아온다. 기존 정의한 /notes의 GET/POST 메소드에 대한 정의가 보인다.
GET Method를 선택하고 > Method Request를 선택해 주자

GET method의 Settings > Authorization -> 편집 --> PollyNotesPool (API Gateway의 Authorizer에서 설정해 주었던 이름)
*선택 후 꼭 옆에 있는 v표시 (확인)를 클릭 해 주어야 한다.

그 다음 다시 상위 메뉴로 나와, Integration Request 메뉴로 들어간다.

기본 템플릿으로 {"UserId": "student"} 가 저장되어 있다. 이것은 모든 UserId를 "student"로 고정하고 있기 때문에, cognito에서 반환하는 username으로 동적 변경해 주는 부분이다.

Keras get_config 에러

리치윈드 - windFlex — Fri, 15 Jul 2022 22:02:52 +0900

케라스 커스텀 모델 (keras Custom Model) 만들기. get_config() 에러

Keras Custom Model 에러 : get_config Not Implemented Error

Keras로 Custom 모델을 생성하고 학습을 하다 보면, "get_config(self)"가 정의되지 않았다는 에러를 만날 때가 있다.

에러가 발생한 구체적인 사례는 다음과 같다.

---------------------------------------------------------------------------
NotImplementedError                       Traceback (most recent call last)
<ipython-input-87-6c20ab69a27d> in <module>
     13 
     14 
---> 15 history = custom_model.fit( X_train , y_train , batch_size = 32, epochs=nEpochs, 
     16                        validation_data=(X_test, y_test)  ,
     17                        # class_weight=class_weight,

~/anaconda3/lib/python3.8/site-packages/keras/utils/traceback_utils.py in error_handler(*args, **kwargs)
     65     except Exception as e:  # pylint: disable=broad-except
     66       filtered_tb = _process_traceback_frames(e.__traceback__)
---> 67       raise e.with_traceback(filtered_tb) from None
     68     finally:
     69       del filtered_tb

~/anaconda3/lib/python3.8/site-packages/keras/engine/training.py in get_config(self)
   2435 
   2436   def get_config(self):
-> 2437     raise NotImplementedError
   2438 
   2439   @classmethod

NotImplementedError:

그런데, 당혹스러운 것은 Keras 공식문서에서 Custom Model을 만들때는, get_config()를 구현을 필요로 하지 않기 때문이다. "tf.keras.Model"을 상속받아 클래스를 만들고, 생성자(__init__)와 "call()"함수를 구현해 주면 된다. 다음은 Keras 공식문서에서 가이드 하고 있는 Custom Model을 만드는 템플릿이다.

import tensorflow as tf

class MyModel(tf.keras.Model):

  def __init__(self):
    super().__init__()
    self.dense1 = tf.keras.layers.Dense(4, activation=tf.nn.relu)
    self.dense2 = tf.keras.layers.Dense(5, activation=tf.nn.softmax)

  def call(self, inputs):
    x = self.dense1(inputs)
    return self.dense2(x)

model = MyModel()

get_config()를 구현해 주어야 하는 경우는, 모델 또는 모델의 weights를 저장해 주는 경우인데, 에러가 발생하는 곳은 Training/Evaluation 경우에 발생해서 의아해 하고 있었다. 다음은 공식 가이드의 내용이다.

Configuring the SavedModel

New in TensorFlow 2.4 The argument save_traces has been added to model.save, which allows you to toggle SavedModel function tracing. Functions are saved to allow the Keras to re-load custom objects without the original class definitions, so when save_traces=False, all custom objects must have defined get_config/from_config methods. When loading, the custom objects must be passed to the custom_objects argument. save_traces=False reduces the disk space used by the SavedModel and saving time.
https://keras.io/guides/serialization_and_saving/

내용은 요약하면, Tensorflow 2.4 이후 부터 "model.save" 할 때, get_config/from_config method가 정의되어 있어야 한다는 내용이다. ("save_traces=False")

잘 찾아보니, Training 할 때도 자동으로 save가 되는 경우를 하나 발견했다. 답은...

ModelCheckpoint

따라서, 해결책은 2가지로 볼 수 있다.

1) ModelCheckPoint 사용을 중지한다.

2) get_config함수를 구현해 준다.

해결방안 1) Model Check Point 제거

ModelCheckPoint는 fit 함수 적용 시 checkPoint를 제외해 주면 되므로 간단한다. (대신 CheckPoint 저장이 되지 않을 것이다. )

일반적으로 Fit()함수가 다음과 같은 형태를 취하고 있다고 가정하면,

history = fc_model.fit( X_train , y_train , batch_size = 32, epochs=nEpochs, 
                       validation_data=(X_test, y_test), callbacks=[checkpointer] )

아래와 같이 checkpointer를 제거해 주면 된다.

history = fc_model.fit( X_train , y_train , batch_size = 32, epochs=nEpochs, 
                       validation_data=(X_test, y_test))

해결방안 2) get_config() 메소드 구현

두번째 방법은 Custome 모델이 제대로 저장될 수 있도록 get_config()를 구현해주는 방법이다.

다음은 Keras공식 문서에서 제공하는 Custom Model 저장을 지원하는 Class 구현이다. "get_config()" 주목하도록 하자.

class CustomModel(keras.Model):
    def __init__(self, hidden_units):
        super(CustomModel, self).__init__()
        self.hidden_units = hidden_units
        self.dense_layers = [keras.layers.Dense(u) for u in hidden_units]

    def call(self, inputs):
        x = inputs
        for layer in self.dense_layers:
            x = layer(x)
        return x

    def get_config(self):
        return {"hidden_units": self.hidden_units}

    @classmethod
    def from_config(cls, config):
        return cls(**config)

참조 : https://keras.io/guides/serialization_and_saving/

get_config()는 저장하고자 하는 노드의 값을 Dictionary형태로 반환해 주도록 구현해 주면 된다. 상기의 예제에서는 hidden_units의 파라미터만 저장하고 있다.

필자는 아래와 같이 모델에서 사용하는 모든 변수를 다 정의해 주었다.

def get_config(self):
        config = {
            'rateDropout' : self.rateDropout,
            'conv_block1': self.conv_block1,
            'conv_block2': self.conv_block2,
            'conv_block3': self.conv_block3,
            'conv_block4': self.conv_block4,
            'conv_block5': self.conv_block5,
            'conv_block6': self.conv_block6,
            'fc1': self.fc1,
        }
        return config

[AWS 교육 요약] Developing on AWS (2/3)

리치윈드 - windFlex — Wed, 13 Jul 2022 18:43:23 +0900

AWS CLI / SDK 활용하여 개발 환경 구축, 애플리케이션 개발

2022.07.13 - [개발 이야기] - [AWS 교육 요약] - Developing on AWS (1/4)

2022.07.13 - [개발 이야기] - [AWS 교육 요약] Developing on AWS (2/4)

AWS 데이터베이스 - DynamoDB

AWS 데이터베이스 서비스

관계형 데이터베이스 (RDB)와 비관계형 데이터베이스 비교 (좌), SQL/NoSQL 문서의 비교

[ Amazon DynamoDB ]

규모에 따른 성능
엔터프라이즈에 사용 가능
대기 시간이 짧은 쿼리
서버리스 / 완전관리형
세분화된 엑세스 제어

DynamoDB는 파티션키를 필수로 요구한다. 왜 그럴까 생각해 보면, NoSQL DB관점에서 각 아이템(행)을 저장할 때 Hash를 사용하는데, Hash의 입력값으로 사용할 키가 필요하다. 이것이 기본적으로는 파티션키이다. 이러한 이유로 파티션키를 해시 속성이라고도 한다.

만약 파티션키 만으로 고유값이 정해지지 않는다면, Secondary로 정렬키를 추가 설정 할 수 있다. 이 경우, Hash의 입력은 파티션키+정렬키가 된다. Sencondary Key가 정렬키라고 부르는 이유는, 파티션키값이 동일한 모든 항목을 물리적으로 서로 가까이 저장하도록 정의할 수 있으며, 이 때 정렬 기준으로 사용하기 때문이다.

DynamoDB 개발/사용의 도구

1) NoSQL Workbench

Cross-platform 클라이언트 GUI 애플리케이션
데이터 모델링, 시각화, 작업 빌더
PartiQL 지원

2) DynamoDB Local

인터넷 연결 없이 로컬에 설치하여, aws cli로 접근
처리량, 데이터 스토리지 및 데이터 전송 비용 절감

NoSQL Workbench (좌), Local DynamoDB 사용 (우)

[ DynamoDB에 대한 SDK/API ]

python SDK (boto3)를 이용한 테이블 생성의 예

GetItem을 POST로 전송하는 HTTP Request 전문 (좌), Response 전문 (우)

[ DB 제어 ]

제어 (DML) : Create, Update, Delete, List, Describe
데이터 영역 : CRUD (Put, Update, Get, Delete)

[ DB 설계 ]

파티션키/정렬키의 설계에 따라서 "질의"가 아닌 "스캐닝"이 되어 버릴 수 있다.

아래 예의 경우, 좌측은 NoteId를 파티션키로, 우측은 UserID를 파티션 키 (+ 정렬키)로 생서하였다. 이 경우 만약 UserID=="StudentC"인 조건으로 검색을 한다면,

좌측의 설계는 StudentC를 조회하기 위해서 전체 "스캔"이 발생함
우측은 UserID가 파티션 키로 설정 되었기 때문에 --> Indexing이 UserID로 생성되었고 --> Hash( key )로 "질.의"가 된다.
파티션키와 정렬키 외에 검색/질의를 하기 위해서는 보조인덱스를 사용하여, 인덱싱 --> 질의 하는 방법을 사용할 수 있다.

Python SDK - DynamoDB (Pratice-03)

[ 실습 목표 ]

프로그램 (하위수준 API, 상위수준 API)을 사용하여, DynamoDB 제어
파티션키, 정렬키 --> Waiter를 사용 --> 테이블 생성
파일에서 JSON 객체 Read, Table Load
Search (Key, Filter, Array) / Update
PartiQL을 사용하여 DynamoDB 데이터 엑세스

Python DynamoDB SDK : https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/dynamodb.html

[ 항목 읽기 ]

aws dynamodb get-item --table-name Notes --key '{"UserId":{"S": "StudentA"}, "NoteId":{"N": "11"} }'

[ 쿼리 질의 하기 ]

스캔 (Scan)

업데이트

[ 조건부 쓰기 작업 ]

[ 항목 삭제 ]

Python SDK 활용 DynamoDB 제어 (Practice-03)

AWS Web Console에서 DynamoDB 초기 화면 (좌). 테이블 항목이 없음 확인. Cloud9 기본 설정(ini파일)되어 있는 개발 환경 (우)

첫번째 주어진 미션은 "DynamoDB 테이블을 생성"하는 것.

이것을 위해서,

DynamoDB 개체를 생성
Table Creation
Wait unti table exists

[ 설정파일 (config.ini) ]

[DynamoDB]
tableName = Notes
partitionKey = UserId
sortKey = NoteId
readCapacity = 5
writeCapacity = 5
sourcenotes = ./labRepo/notes.json
queryUserId = student
pageSize = 3
queryNoteId = 5
notePrefix = The maximum item size in DynamoDB is

설정 파일 처리 (config.ini) - configparser

import configparser
def readConfig():
    config = configparser.ConfigParser()
    config.read('./labRepo/config.ini')

    return config['DynamoDB']

[ Dynamo DB 개체 생성 ]

client = boto3.client('dynamodb')

[Dynamo DB Table Create]

    response = ddbClient.create_table(
        AttributeDefinitions=[
            {
                'AttributeName': tableDefinition["partitionKey"],
                'AttributeType': 'S',
            },
            {
                'AttributeName': tableDefinition["sortKey"],
                'AttributeType': 'N',
            },
        ],
        KeySchema=[
            {
                'AttributeName': tableDefinition["partitionKey"],
                'KeyType': 'HASH',
            },
            {
                'AttributeName': tableDefinition["sortKey"],
                'KeyType': 'RANGE',
            },
        ],
        ProvisionedThroughput={
            'ReadCapacityUnits': int(tableDefinition["readCapacity"]),
            'WriteCapacityUnits': int(tableDefinition["writeCapacity"]),
        },
        TableName=tableDefinition["tableName"]
    )

[ Wait until Exists ]

waiter = ddbClient.get_waiter('table_exists')
waiter.wait( TableName=tableName )

Python Code를 완성 후 실행하면 DynamoDB Table이 생성된다. (좌), Web Console에서 확인하면 처음과 달리 "Notes"라는 Table이 생성되어 있다. (우)

[ 데이터 입력 ]

Table은 생성했으나 아직은 어떠한 데이터/아이템도 입력하지 않았다.

우선 데이터 아이템을 입력해 보자. 이때 위에서 정의한 PartitionKey와 SortKey는 모두 포함되어야 한다. 즉, PartitionKey인 "UserId" 또는 sortKey인 "NoteId"를 생략하면 안된다는 이야기이다.

다음은 note가 주어질 때 table에 데이터를 입력하는 함수이다.

def putNote(table, note):
    print("loading note " + str(note))
   
    table.put_item(
        Item={
            'UserId': note["UserId"],
            'NoteId': int(note["NoteId"]),
            'Note': note["Note"]
        }
    )

putNote함수와 JSON 파일을 이용하여 아래와 같이 Item을 입력할 수 있다.

    f = open(jsonFileName)

    print("\n Loading \"" + tableName +
        "\" table with data from file \"" + jsonFileName + "\"\n\n")
    # Load json object from file
    notes = json.load(f)

    # Create dynamodb table resource
    table = ddbResource.Table(tableName)

    # Iterating through the notes and putting them in the table
    for n in notes:
        putNote(table, n)

Table의 초기 상태. 아이템이 없다 (좌), JSON파일로부터 Table에 Item을 입력 후 상태 (우)

[ 데이터 쿼리 by PartitionKey ]

def main(ddbClient):
    
    ##load configuration data from file
    config = readConfig()

    tableName = config['tableName']
    UserId = config['queryUserId']

    print("\n************\nQuerying for notes that belong to user " + UserId + "...\n")
    printNotes(queryNotesByPartitionKey(ddbClient, tableName, UserId))

def queryNotesByPartitionKey(ddbClient, tableName, qUserId):

    response = ddbClient.query(
        TableName=tableName,
        KeyConditionExpression='UserId = :userId',
        ExpressionAttributeValues={
            ':userId': {"S": qUserId}
        },
        ProjectionExpression="NoteId, Note"
    )

    return response["Items"]

결과

{"Note": "DynamoDB is NoSQL", "NoteId": "1"}
{"Note": "A DynamoDB table is schemaless", "NoteId": "2"}
{"Note": "PartiQL is a SQL compatible language for DynamoDB", "NoteId": "3"}
{"Note": "I love DyDB", "NoteId": "4"}
{"Note": "Maximum size of an item is ____ KB ?", "NoteId": "5"}

[ 스캔 / 페이지네이트 ]

def main(ddbClient):
    ##load configuration data from file
    config = readConfig()
    tableName = config['tableName']
    pageSize = config['pageSize']
    print("\n************\nScanning with pagination...\n")
    queryAllNotesPaginator(ddbClient, tableName, pageSize)

def queryAllNotesPaginator(ddbClient, tableName, pageSize):
	paginator = ddbClient.get_paginator('scan')

    page_iterator = paginator.paginate(
        TableName=tableName,
        PaginationConfig={
            'PageSize': pageSize
        })

    pageNumber = 0
    for page in page_iterator:
        if page["Count"] > 0:
            pageNumber += 1
            print("Starting page " + str(pageNumber))
            printNotes(page['Items'])
            print("End of page " + str(pageNumber) + "\n")

결과 : 페이지 사이즈 (==>3)으로 나누어서 출력되는 것을 확인 할 수 있다.

Starting page 1
{"Note": "hello", "UserId": "testuser", "NoteId": "1"}
{"Note": "this is my first note", "UserId": "testuser", "NoteId": "2"}
{"Note": "DynamoDB is NoSQL", "UserId": "student", "NoteId": "1"}
End of page 1

Starting page 2
{"Note": "A DynamoDB table is schemaless", "UserId": "student", "NoteId": "2"}
{"Note": "PartiQL is a SQL compatible language for DynamoDB", "UserId": "student", "NoteId": "3"}
{"Note": "I love DyDB", "UserId": "student", "NoteId": "4"}
End of page 2

Starting page 3
{"Note": "Maximum size of an item is ____ KB ?", "UserId": "student", "NoteId": "5"}
{"Note": "Free swag code: 1234", "UserId": "newbie", "NoteId": "1"}
{"Note": "I love DynamoDB", "UserId": "newbie", "NoteId": "2"}
End of page 3

[ 업데이트 ]

def main(ddbClient):  
    config = readConfig()
    tableName = config['tableName']
    qUserId = config['queryUserId']
    qNoteId = config['queryNoteId']
    notePrefix = config['notePrefix']
    
    print("\nUpdating the note flag for remediation...\n")
    print(updateNewAttribute(ddbClient, tableName, qUserId, qNoteId))

    print("\nRemediating the marked note...\n")
    print(updateExistingAttributeConditionally(ddbClient, tableName, qUserId, qNoteId, notePrefix))


def updateNewAttribute(ddbClient, tableName, qUserId, qNoteId):
    response = ddbClient.update_item(
        TableName=tableName,
        Key={
            'UserId': {'S': qUserId},
            'NoteId': {'N': str(qNoteId)}
        },
        ReturnValues='ALL_NEW',
        UpdateExpression='SET Is_Incomplete = :incomplete',
        ExpressionAttributeValues={
            ':incomplete': {'S': 'Yes'}
        }
    )

컬럼이 추가 되었음을 확인 할수 잇다.

[ PartiQL 을 사용하여 질의 ]

def main(ddbClient):
    config = readConfig()
    tableName = config['tableName']
    UserId = config['queryUserId']
    NoteId = config['queryNoteId']
    print("\n************\nQuerying for note " + str(NoteId) + " that belongs to user " + UserId + "...\n")
    printNotes(querySpecificNote(ddbClient, tableName, UserId, NoteId))

def querySpecificNote(ddbClient, tableName, qUserId, qNoteId):
    response = ddbClient.execute_statement(
        Statement="SELECT * FROM " + tableName + " WHERE UserId = ? AND NoteId = ?",
        Parameters=[
            {"S": qUserId},
            {"N": str(qNoteId)}
        ]
    )

서버리스 (Serverless )

AWS Lambda 함수의 구조 (좌), AWS Lambda의 활용 개요도 (우)

AWS의 컴퓨팅 서비스 의 추상화 수준

추상화 정도 : EC2 인스턴스 --> 컨테이너 (ECS, EKS) --> 서버리스 (AWS Lambda)

AWS Lambda 호출 방법

AWS Lambda 호출 방법

동기식 (직접 호출)
- AWS CLI 도는 SDK에서 직접 호출하는 방식
Push방식/이벤트 방식
- ex) 특정 Bucket에 데이터가 들어오면 Lambda 호출하도록 Trigger 등록
- Bucket쪽에서 Lambda 함수를 호출
- 당연하게도, Bucket에 Lambda를 호출할 수 있는 권한이 있어야함
Pull 방식
- ex) Lambda가 10초에 한번씩 DynamoDB의 변경정보 여부 점검
- Lambda 함수에서 DynamoDB를 사용할 수 있는 권한이 있어야함

API Gateway

API Gateway작동 방식 (좌), API Gateway의 개발자 기능 (우)

AWS Lambda 사용한 솔루션 개발 (Practice-04)

[ 실습 목표 ]

- AWS Lambda 함수 생성
- AWS SDK / CLI 사용하여 제어
- Lambda 함수를 구성하고 환경변수활용
- AWS SDK -> 버킷 객체에 엑세스
- AWS CLI 사용하여 AWS Lambda 함수 호출

AWS Web Console > Lambda > Create Function (좌), Create Function 메뉴에서 설정할 항목들 (우)

우선, AWS Web Console에서 Lambda 함수를 만들어 보자.

Service > Lambda > Create Function 버튼
function Name : dictate-function
Runtime : Python 3.9 (버전에 맞게 선택)
Change default execution role > Use an existing role 선택 후, Existing Role에서 "lambdaPollyRole"선택
Create Function 버튼 클릭

위 과정을 통하여 기본으로 생성된 Lambda_function은 다음과 같다.

Lambda Function을 생성하면 확인할 수 있는 기본 handler 함수

처음이므로 이해하기 쉽도록, Web Console을 사용하여 Lambda Function을 생성하였다. 그러나, AWS CLI / SDK를 사용하여 Lambda Function을 생성할 수도 있다. AWS CLI를 통한 Lambda Function Create는 본 포스팅의 후반부 쪽에서 다루도록 하겠다.

이제 CLI를 통하여 Lambda를 제어 해 보자.

우선 자주 명령줄 내에 삽입될 버킷이름을 구하여, 변수로 저장해 놓도록 하자. 아래는 2가지 변수를 지정한다.

`aws s3api list-buckets` 저수준 api를 사용하여 s3 bucket 이름에 "apibucket" 포함된 버킷을 찾고, 버킷의 이름을 "apiBucket" 으로 저장한다.
notesTable에는 테이블이름인 "Notes"를 저장한다.

apiBucket=$(aws s3api list-buckets --output text --query 'Buckets[?contains(Name, `apibucket`) == `true`] | [0].Name')
notesTable='Notes'

실습 환경에는 이미 S3버킷이 생성되어 있다. 버킷의 이름은 qls-xxxxxx-xxxxxxxxxxxxxxx-pollynotesapibucket-xxxxxxxxxx 등의 형태로 이름이 지어져 있는데, "xxxxxxx"등의 수치는 그때 그때 변경 되므로 버킷이름을 찾기 위해서 번거롭지만 위와 같이 "apibucket" 문자열을 "contains" 하고 있는 개체를 찾는 과정을 수반한다.

[ Lambda Function Update ]

앞서 Web Console에서 Lambda funtion을 이미 생성해 두었으므로, 생성 단계는 건너 뛴다. 일단 Lambda function의 설정을 업데이트 해보도록 한자. 다음은 Lambda Function의 환경 변수를 업데이트 한다. 앞서 확인한 버킷의 이름과 테이블 이름을 미리 업데이트 해준다. (참고로, Function을 생성할 때 environment Variables를 한꺼번에 입력할 수 있다. )

aws lambda update-function-configuration \
--function-name dictate-function \
--environment Variables="{MP3_BUCKET_NAME=$apiBucket, TABLE_NAME=$notesTable}"

명령어를 실행하면 현재 Labmda Function의 설정 값들을 JSON으로 보여 준다. 여러 반환 값중 아래와 같이 환경변수가 설정 되어 있는 것을 확인 할 수 있다.

aws lambda update-function-configuration을 통한 환경변수 업데이트

Lambda Function으로 업로드하고자 하는 대상

from __future__ import print_function
import boto3
import os
from contextlib import closing

dynamoDBResource = boto3.resource('dynamodb')
pollyClient = boto3.client('polly') 
s3Client = boto3.client('s3')

def lambda_handler(event, context):
    UserId = event["UserId"]
    NoteId = event["NoteId"]
    VoiceId = event['VoiceId']
    mp3Bucket = os.environ['MP3_BUCKET_NAME']
    ddbTable = os.environ['TABLE_NAME']
    
    text = getNote(dynamoDBResource, ddbTable, UserId, NoteId)
    filePath = createMP3File(pollyClient, text, VoiceId, NoteId)
    signedURL = hostFileOnS3(s3Client, filePath, mp3Bucket, UserId, NoteId)
    
    return signedURL

def getNote(dynamoDBResource, ddbTable, UserId, NoteId):

    table = dynamoDBResource.Table(ddbTable)
    records = table.get_item(
        Key={
            'UserId': UserId,
            'NoteId': int(NoteId)
        }
    )
    return records['Item']['Note']

def createMP3File(pollyClient, text, VoiceId, NoteId):
    pollyResponse = pollyClient.synthesize_speech(
        OutputFormat='mp3',
        Text = text,
        VoiceId = VoiceId
    )

	if "AudioStream" in pollyResponse:
        postId = str(NoteId)
        with closing(pollyResponse["AudioStream"]) as stream:
            filePath = os.path.join("/tmp/", postId)
            with open(filePath, "wb") as file:
                file.write(stream.read())

    return filePath

def hostFileOnS3(s3Client, filePath, mp3Bucket, UserId, NoteId):
    s3Client.upload_file(filePath,
                        mp3Bucket,
                        UserId+'/'+NoteId+'.mp3')
    os.remove(filePath)

    url = s3Client.generate_presigned_url(
        ClientMethod='get_object',
        Params={
            'Bucket': mp3Bucket,
            'Key': UserId+'/'+NoteId+'.mp3'
        }
    )

    return url

lambda function으로 업로드 할 때는, zip압축 파일 형태로 업로드 해야 한다. 따라서, 사용하고자 하는 함수 파일(ex. app.py)을 zip으로 압축하도록 하자.

zip dictate-function.zip app.py

압축된 파일을 이제 lambda function으로 업데이트 한다.

aws lambda update-function-code \
--function-name dictate-function \
--zip-file fileb://dictate-function.zip

function-name은 윗 단계 AWS Console에서 생성한 Lambda Function/Layer의 이름이다. zip-file은 본인이 압축한 zip파일의 이름이다.

function의 소스/압축파일은 업로드를 했지만, 아직 function이 동작해야하는 handler가 어디에 있는지 지정해 주지 않았다. configuare update를 통해 핸들러를 지정해 주자.

aws lambda update-function-configuration \
--function-name dictate-function \
--handler app.lambda_handler

[ Lambda Function 호출 ]

이제 본인의 코드로 Lambda Function을 업데이트 완료 했다. 이제 실제 호출하여 정상 동작하는지 살펴볼 차례이다.

우선 Lambda Function을 호출할 때 입력값 데이터를 만들어 보자.

cat > event.json
{
  "UserId": "newbie",
  "NoteId": "2",
  "VoiceId": "Joey"
}
^C

그 다음 `aws lambda invoke`를 사용하여 직접 호출 해 준다. 이 때, function-name으로 대상 (lambda function)을 지정해 주고, 입력값은 --payload 옵션으로 지정해 준다.

aws lambda invoke \
--function-name dictate-function \
--payload fileb://event.json outputs.txt

outputs.txt에는 Lambda Function -> handler의 결과 값이 반환 되어 있을 것이다.

[ Lambda Function 동작 결과 확인]

Lambda Function이 정상 동작 했다면, output.txt에 예상되는 결과가 기록 되어 있을 것이다.
우리가 사용한 Lambda Function은 입력값이 들어올 때, 해당 조건에 매칭되는 Data Item을 DynamoDB 찾고, 메모 텍스트를 음성으로 읽어 (TTS : AWS Polly 서비스), MP3파일로 변환하여 S3 버킷에 저장하는 함수이다. 따라서, 실행 후 지정된 AWS Bucket에 MP3이 저장되어 있는지 확인해 보자.

AWS Lambda 함수 실행을 통하여 자동 생성된 mp3파일이 S3 버킷에 저장되어 있다.

[ AWS Web Console에서 Lambda Function TEST ]

Lambda Function에 대한 1회적인 실행/테스트는 웹 콘솔을 통해서 도 테스트 할 수 있다.

AWS Service > Lambda > Functions > "내가 만든 function 이름" 이동
화면 중간쯤 위치한 탭중 > TEST 탭 클릭
Event Name을 지정해 주고, --payload에 해당하는 함수 입력값을 JSON 형태로 입력해 준다.
그 다음 "save"버튼을 눌러 저장하고, "Test" 버튼을 눌러 테스트를 진행한다.

AWS Web Console>Lambda>Functions> "my function" 위치 (좌), Lambda Test 방법 (우)

실행 결과 (초록색).에러가 발생하는 빨강색. Details에는 결과 반환값들을 확인 할 수 있다.

[ Lambda Function 생성 ]

AWS CLI를 통한 Lambda 함수의 생성은 업데이트/수정과 비교하여 조금은 더 까다롭다. 그 이유는 권한/역할에 대한 설정 때문이다. 이 교육에서는 역할에 대한 설정은 사전 정의된 역할로 대체한다. 아래는 미리 정의된 역할중 "lambdaPollyRole"이라는 역할에 대한 리소스명(arn)을 구하고, "roleArn"에 저장한다.

roleArn=$(aws iam list-roles --output text --query 'Roles[?contains(RoleName, `lambdaPollyRole`) == `true`].Arn')

Lambda Function의 생성 자체는 이전 API 사용과 유사 하다.

aws lambda create-function \
--function-name create-function  \
--handler app.lambda_handler \
--runtime python3.9 \
--role $roleArn \
--environment Variables={TABLE_NAME=$notesTable} \
--zip-file fileb://create-function.zip

생성하고자 하는 function의 이름을 "create-function", 소스의 압축파일 이름을 "create-function.zip"이라고 가정한다.

function update와 달리, configure를 한꺼번에 지정하여 생성하는 차이가 있다. handler, runtime, role, environment를 한꺼번에 지정하여 생성한다.

[AWS 교육 요약] - Developing on AWS (1/3)

리치윈드 - windFlex — Wed, 13 Jul 2022 09:58:27 +0900

AWS CLI를 활용한 자원 관리

2022.07.13 - [개발 이야기] - [AWS 교육 요약] - Developing on AWS (1/4)

2022.07.13 - [개발 이야기] - [AWS 교육 요약] Developing on AWS (2/4)

[ 교육 목표 ]

개발환경을 지원하도록 IAM 권한 구성
AWS SDK를 사용한 Cloud Native Application 설계/구축/배포
AWS 리소스 모니터링 및 유지 관리

[ 목표 서비스 아키텍처 - MSA ]

AWS 애플리케이션 서비스 아키텍처

AWS Web Console에서 AWS 서비스들을 제어 할 수 있지만, 서비스에 따라서는 프로그래밍 환경에서 제어가 될어야 할 필요성이 있다. AWS는 이러한 환경을 지원하기 위해, AWS CLI와 AWS SDK등과 같은 인터페이스를 제공하며, 이번 포스팅에서는 AWS CLI와 AWS SDK를 사용하여 환경구축/애플리케이션 개발하는 방법에 대하여 학습하는 과정을 요약 한다.

AWS CLI와 SDK를 활용하여 AWS Service를 제어하는 예 (좌), AWS서비스를 제어하는 방법들 (우) AWS REST API를 활용하여 서비스 제어하며 REST API를 사용하는 인터페이스는 APP(1), AWS Console (2), AWS CLI (3), AWS SDK (4) 등을 지원하고 있다.

보안을 위해, 대부분은 AWS Request는 Access Key( Access Key ID와 Secret Access Key로 구성)로 서명해야 한다. AWS의 HTTP 전송하는 Request header에 인증정보를 추가해야 한다. AWS는 HTTP의 인증정보로 서명 버전 (SigV4)을 지원한다.

REST API를 기본 인터페이스로 한다는 것을 고려하면, 여러가지 동작이 이해하기 쉬워진다.

AWS CLI는 다음 공식웹사이트를 참조 : https://docs.aws.amazon.com/pt_br/cli/latest/index.html
Python 용 AWS SDK (Boto3) 공식웹사이트 : https://boto3.amazonaws.com/v1/documentation/api/latest/index.html
Javascript/Node.js 용 AWS SDK: https://aws.amazon.com/ko/sdk-for-javascript/
Java용 AWS SDK : https://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/overview-summary.html
.Net용 AWS SDK : https://docs.aws.amazon.com/sdkfornet/v3/apidocs/
AWS Amplify Framework 공식 문서 : https://docs.amplify.aws/

AWS에서 개발하기 (SDK)

AWS Web Console을 사용하면 되지, 왜 SDK를 사용할까?

여러 가지 이유가 있겠지만, 1) 프로그래밍으로 자동화 해야 하는 경우 (Web Browser 엔진을 돌려서 클릭할 수 없지는 않은가...), 2) Web Console의 위치를 일일이 찾는 것이 더 귀찮은 경우, 3) 여러가지 서비스와 방식이 복합적으로 연동되서 돌아가야 하는 경우, SDK가 더 쉬울 수도 있음.

SDK 종류

하위수준 API
상위수준 API

하위 수준의 API의 예 : S3버킷의 리스트를 가져온다.

# Retrieve the list of existing buckets
s3 = boto3.client('s3')
response = s3.list_buckets_v2(Bucket='mybucket')

for content in response['Contents']:
    print(f'  {content["Key"]} : {content["LastModified"]}')

상위 수준 API의 예: S3 버킷 리스트를 가져온다. (위와 동일 기능)

추상화를 통하여 좀 더 간결하게 사용할 수 있으며, 직접적인 구조 (JSON)으로 접근하지 않고, Method/Member처럼 접근해서 사용할 수 있다.

# Retrieve the list of existing buckets
s3 = boto3.resource('s3')
bucket = s3.Bucket('mybucket')

for obj in bucket.objects.all():
    print(f'  {obj.key} : {obj.last_modified')

상위수준과 하위수준 API간 차이가....뭐 큰 차이는 없어 보인다. 따옴표 사용하는 횟수가 줄어들었다는 것 정도??

AWS CLI (명령줄 인터페이스)

AWS CLI (명령줄)을 사용하면 Linux Shell, Windows CMD, MacOS Ternmina 등에서 바로 실행할 수 있으며, SSH/PuTTy, Cloud9 등에서 바로 제어가 가능한다.

필자의 경우 CLI 명령어를 선호한다.

공식 문서 : https://docs.aws.amazon.com/cli/latest/reference/

AWS CLI 명령어의 기본 구조는 다음과 같다.

$ aws S3 ls s3://mybucket --recursive
$ aws s3 cp myfile.txt s3://mybucket
$ aws help
$ aws s3 ls help

명령어의 유형 : `AWS <서비스명> <명령어> <타겟> <후속 파라미터/매개변수> ...`. 매개변수가 필요하지 않은 `help`와 같은 명령어는 뒷쪽 입력이 필요없는 경우도 존재

AWS CLI는 기본적으로 `Botocore`라는 Python 라이브러리를 사용한다. 즉, Python SDK와 가장 유사한 동작을 한다.

API의 동기/비동기

* API 혹은 SDK 명령어는 대부분 비동기 방식 (Async.)로 동작한다. 만약, create db table 명령어를 요청 했다면, 반환된 값은 요청을 완료했다는 값이지, db table 생성이 완료되었다는 것을 의미하지는 않는다. 이 때문에, 비동기(async) 처리가 추가로 필요하다. AWS는 비동기 처리를 위해서는, 작업 완료까지 대기하는 waiter를 별도 지원한다.

1) 비동기 명령어의 예

$ aws dynamodb describe-table --table-name Notes --query "Table.TableStatus"

2) 결과가 반환될 때까지 대기 (Async 처리)

aws dynamodb wait table-exists --table-name Notes

2) SDK 버전에서의 비동기 처리 (Python)

dynamodb = boto3.resource('dynamodb')

table = dynamodb.create_table(
	TableName=table_name,
    KeySchema=[
    	{'AttributeName': 'year', 'KeyType': 'HASH'},  # Partition key
        {'AttributeName': 'title', 'KeyType': 'RANGE'}  # Sort key
    ],
    AttributeDefinitions=[
    	{'AttributeName': 'year', 'AttributeType': 'N'},
        {'AttributeName': 'title', 'AttributeType': 'S'}
	],
	ProvisionedThroughput={'ReadCapacityUnits': 10, 'WriteCapacityUnits': 10})
table.wait_until_exists()

`table.wait_until_exists()`를 통해서 완료될 때까지 대기 한다. 만약, 딱히 대기가 필요한 프로시저가 아니라면 굳이 대기할 필요는 없다.

3) Waiter의 또다른 예

dynamodb = boto3.resource('dynamodb')

table = dynamodb.create_table( TableName="Notes", ..... )

table.meta.client.get_waiter('table_exists').wait(TableName="Notes")

print(table.item_count)

참조할만한 소스 코드 : https://github.com/awsdocs/aws-doc-sdk-examples/tree/main/python/example_code

권한/인증

권한/인증 부분은 조금은 어려운 부분이다. 그렇지만 우선 이런것이 있다...하고 이해하고 넘어가 보자.

사실은, 조금 편하게 Cloud환경에서 개발하고 싶은데, 개발자가 인프라 담당자/보안담당자 처럼 이런 부분까지 Low Level로 설정해야 하나? 하는 생각이 들긴 한다.

AWS 권한 / 정책

AWS에서 컨텍스트에 대한 접근 허용/차단을 위한 권한부여는 정책을 사용한다. 정책은 크개 두가지 유형 1) 자격 증명 기반 정책과 2) 리소스 기반 정책이 있다.

자격증명 기반 정책 : IAM 사용자 또는 그룹/역할에 연결된다.
리소스 기반 정책 : 리소스에 연결 된다. 예) S3버킷에 정책을 연결한다.

AWS에서 권한 부여는 정책 (Policy)를 생성하고, 해당 권한에 Policy를 붙여서 권한을 부여하는 형태로 이루어 진다. 이 때 정책(Policy)는 JSON 형태로 표기한 문서를 의미한다.

IAM 사용자 혹은 사용자 그룹이 , AWS CLI, Shell, SDK, Console 등을 사용하여 접근 자원에 접근하려 한다. 이 때, 자격증명 기반 정책은 해당 사용자에게 권한을 부여 한다.

s3:::notes에 대해 ListBucket을 허용하는 권한 정책을 사용자/사용자그룹에 부여 (좌), 특정IP 대역을 제외한 모든 사용자는 S3:::notes에 접근불가(Deny) 정책을 리소스(S3)에 부여 (우)

역할(Role)

AWS 권한 분야에서 가장 중요하고 어렵기도 한 부분이다.
역할의 중요 키워드는 "임시성"이다. 만료 기간이 정해진 임시 권한의 묶음이라고 할 수 있다.
가령, 외주개발자에세 1달동안 접근 권한을 주고자 할 때, 권한을 부여했다가 1개월 후에 권한을 제거하는 방식으로 처리가 된다면 실수/오류 발생 가능성이 높아진다. 따라서, 이러한 경우 1달 만료하도록 설정된 권한을 부여한 역할(Role)을 생성하고 외주개발자에게 Role을 부여하면 된다.

권한/정책에서 권한은 최소 권한 사용을 원칙으로 한다. (좌), 권한에 대한 중복/충돌이 발생할 수 있는데, 권한을 평가하는 우선순위는 "거부/차단"정책이 있는가를 우선 적용한다. 즉, 차단 정책과 허용 정책이 있다면 "차단"이 적용된다. 그리고 특별히 거론하지 않는 경우 거부 (Deny All)이 적용된다.

정책 평가 로직 참조 : https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_evaluation-logic.html

AWS Cloud 9 - AWS IDE

AWS IDE-Cloud9의 특징 (좌) AWS IDE (Cloud9) 초기 모습 (우)

AWS cloud 9

AWS에서 제공하는 Cloud 형 IDE이다. AWS EC2, S3, Lambda 등과 연계된 작업을 한다면 최적의 환경을 제공한다. 겉으로 보기에는 VS Code와 유사한 환경을 제공하며, AWS 관련 CLI / SDK 등 환경이 기본 세팅되어 있다.

AWS cloud9을 실행 후 좀 더 상세하게 보면, 해당 환경의 EC2 Instance를 살펴 보면 다음과 같이 Cloud9은 Cloud9용 Instance가 이미 구동되어 있다. EC2의 Security 탭에 가보면, IAM Role이 이미 부여되어 있는 것을 알 수 있다. 부여된 Role의 이름은 위에서 사용한 "notes-appolication-role"임을 알 수 있다.

Cloud9을 위한 EC2 인스턴스가 생성되어 있다.

개발 환경 구축 (Practice -1)

Cloud9의 개발 환경중 하단의 터미널 창에서 "aws configure" 명령어를 통해 기본 개발환경에 대한 설정을 할 수 있다.

aws configure

위와 같이 aws cli 명령어를 통하여 기본 설정을 할 수 있다. AWS Access Key ID, Access Key, Region, Format등을 설정해 준다. 별도 Role이 설정 되어 있다면 어차피 개인 증명은 동작하지 않기 때문에, Acces Key ID, Access Key는 그냥 엔터를 치고 넘어가면 된다.

aws configure 명령어를 통하여 설정하는 화면

현재 Role을 확인 하는 방법 : `aws sts get-caller-identity`

현재 부여된 Role을 확인 <- `aws sts get-caller-identity`

S3 버킷을 리스트 하는 명령어 : `aws s3 ls`
S3 버킷을 삭제 `rb` 명령어 : `aws s3 rb s3:// <버킷이름> `
IAM 권한 중 특정 Policy를 해당 Role "notes-application-role"에 부여 :
`aws iam attach-role-policy --policy-arn <정책이름> --role-name notes-application-role`

권한 할당을 위해서는 정책이름은 자원명 (arn)으로 입력해야 한다. 그런데, S3 Delete Bucket 정책의 ARN은 어떻게 확보할 수 있을까? "S3-Delete-Bucket-Policy" 정책의 ARN은 다음과 같은 명령어를 통하여 변수로 만들 수 있다.
`policyArn=$(aws iam list-policies --output text --query 'Policies[?PolicyName == `S3-Delete-Bucket-Policy`].Arn')`

IAM Role : "notes-application-role"에 부여된 권한(permission)은 ReadOnlyAccess와 SSM(?)에 대한 권한만 존재함을 알 수 있다.

SDK 활용 S3버킷 생성/삭제/파일업로드 (Practice-2)

CreateBucket (Boto3)

import boto3, botocore, configparser

def main(s3Client):
    print('\nStart of create bucket script\n')

    print('Reading configuration file for bucket name...')
    config = readConfig()
    bucket_name = config['bucket_name']

    print('Verifying that the bucket name is valid...')
    #### Verify that the bucket exists. The script with exit 
    #### if the name is not valid for a new bucket.
    verifyBucketName(s3Client, bucket_name)
    print(bucket_name)

    #### Create the notes-bucket-
    createBucket(s3Client, bucket_name)

    ##Pause until the the bucket is in the account
    print('\nConfirm that the bucket exists...')
    verifyBucket(s3Client, bucket_name)

    print('\nEnd of create bucket script\n')

def verifyBucketName(s3Client, bucket):
    try:
        ## Start TODO 2: enter a command that will check if a bucket already exists in AWS
        ## with the name built from your ini file input.
        
        # s3Client.list_buckets(Bucket=bucket)
        s3Client.head_bucket(Bucket=bucket)

        ## End TODO 2

        # If the previous command is successful, the bucket is already in your account.
        raise SystemExit('This bucket has already been created in your account, exiting because there is nothing further to do!')
    except botocore.exceptions.ClientError as e:
        error_code = int(e.response['Error']['Code'])
        if error_code == 404:
          ## If you receive a 404 error code, a bucket with that name
          ##  does not exist anywhere in AWS.
          print('Existing Bucket Not Found, please proceed')
        if error_code == 403:
          ## If you receive a 403 error code, a bucket exists with that
          ## in another AWS account.
          raise SystemExit('This bucket has already owned by another AWS Account, change the suffix and try a new name!')

def createBucket(s3Client, name):
    session = boto3.session.Session()

    # Obtain the region from the boto3 session
    current_region = session.region_name
    print('\nCreating ' + name + ' in ' + current_region)

    # Start TODO 3: Create a new bucket in the users current region 
    # and return the response in a response variable.
    if current_region == 'us-east-1':
        response = s3Client.create_bucket(Bucket=name)
    else:
        response = s3Client.create_bucket(
          Bucket=name,
          CreateBucketConfiguration={
              'LocationConstraint': current_region
          })
    
    
    # End TODO 3:

    print('Success!')

def verifyBucket(s3Client, bucket):
    ## Start TODO 4: Complete the function so that it will 
    ## pause and only proceed after the bucket exists.
    waiter = s3Client.get_waiter('bucket_exists')
    waiter.wait(Bucket=bucket)  

    ## End TODO 4
    print('The bucket:' + bucket + ' is now available.')

## Utility methods
def readConfig():
    config = configparser.ConfigParser()
    config.read('./labRepo/config.ini')
    
    return config['S3']

## TODO 1: Create an S3 client to interact with the service and pass 
## it to the main function that will create the buckets

client = boto3.client('s3')

## End TODO 1

try:
    main(client)
except botocore.exceptions.ClientError as err:
    print(err.response['Error']['Message'])
except botocore.exceptions.ParamValidationError as error:
    print(error)

awsstudent:~/environment $ python labRepo/create-bucket.py 

Start of create bucket script

Reading configuration file for bucket name...
Verifying that the bucket name is valid...
Existing Bucket Not Found, please proceed
notes-bucket-sjlee-0010701

Creating notes-bucket-sjlee-0010701 in us-west-2
Success!

Confirm that the bucket exists...
The bucket:notes-bucket-sjlee-0010701 is now available.

End of create bucket script

import boto3, botocore, configparser

def main(s3Client):
    print('\nStart of create object script\n')
    ## Initialize variables for object creation

    print('Reading configuration file for bucket name...')
    config = readConfig()
    bucket_name = config['bucket_name']
    source_file_name = config["object_name"] + config['source_file_extension']
    key_name = config['key_name']+ config['source_file_extension']
    contentType = config['source_content_type']
    metaData_key = config['metaData_key']
    metaData_value = config['metaData_value']

    #### Create object in the s3 bucket
    print('Creating Object...')
    print(uploadObject(s3Client, bucket_name, source_file_name, key_name, contentType, {metaData_key: metaData_value}))
    
    print('\nEnd of create object script\n')

def uploadObject(s3Client, bucket, name, key, contentType, metadata={}):

    ## Start TODO 5: create a object by transferring the file to the S3 bucket, 
    ## set the contentType of the file and add any metadata passed to this function.
    
    response = s3Client.upload_file(
        Bucket=bucket, 
        Key=key,
        Filename=name,
        ExtraArgs={
            'ContentType': contentType,
            'Metadata': metadata
            }
    )
    
    
    ## End TODO 5
    return "Finished creating object\n"
    
def readConfig():
    config = configparser.ConfigParser()
    config.read('./labRepo/config.ini')
    
    return config['S3']

# Create an S3 client to interact with the service and pass 
# it to the main function that will create the buckets
client = boto3.client('s3')
try:
    main(client)
except botocore.exceptions.ClientError as err:
    print(err.response['Error']['Message'])
except botocore.exceptions.ParamValidationError as error:
    print(error)

데이터 변환 후 업로드 (CSV -> JSON)

import boto3, botocore, json, csv, io, configparser

def main(s3Client):
    print('\nStart of convert object script\n')

    ## Initialize variables for object creation
    print('Reading configuration file for bucket name...')
    config = readConfig()
    bucket_name = config['bucket_name']
    source_file_name = config['object_name'] + config['source_file_extension']
    key_name = config['key_name']+ config['source_file_extension']
    processed_file_name = config['key_name'] + config['processed_file_extension']
    contentType = config['processed_content_type']
    metaData_key = config['metaData_key']
    metaData_value = config['metaData_value']

    #### Get the object from S3
    print('\nGetting the CSV object from S3 bucket')
    csvStr = getCSVFile(s3Client, bucket_name, key_name)
    
    ## Convert the object to the new format
    print('\nConverting CSV string to JSON...')
    jsonStr = convertToJSON(csvStr)
    
    ## Uploaded the converted object to S3
    print('Creating the new JSON object on S3')
    print(createObject(s3Client, bucket_name, processed_file_name, jsonStr, contentType, {metaData_key: metaData_value}))

    print('\nEnd of convert object script\n')

def getCSVFile(s3Client, bucket, key):
    bytes_buffer = io.BytesIO()
    
    ## Start TODO 6: Download the file contents to the 
    ## bytes_buffer object so that it can be decoded to a string.
    s3Client.download_fileobj(
        Bucket=bucket, 
        Key=key, 
        Fileobj=bytes_buffer)
    

    ## End TODO 6

    byte_value = bytes_buffer.getvalue()
    return byte_value.decode('utf-8')

def createObject(s3Client, bucket, key, data, contentType, metadata={}):
    ## Start TODO 7: Create an S3 object with the converted data
    s3Client.put_object(
        Bucket=bucket, 
        Key=key,
        Body=data,
        ContentType=contentType,
        Metadata=metadata
    )
    

    ## End TODO 7
    
    return 'Successfully Created Object\n'

def convertToJSON(input):
    jsonList = []
    keys = []
    
    csvReader = csv.reader(input.split('\n'), delimiter=",")

    for i, row in enumerate(csvReader):
        if i == 0:
            keys = row
        else:
            obj = {}
            for x, val in enumerate(keys):
                obj[val] = row[x]
            jsonList.append(obj)
    return json.dumps(jsonList, indent=4)

def readConfig():
    config = configparser.ConfigParser()
    config.read('./labRepo/config.ini')
    
    return config['S3']

# Create an S3 client to interact with the service and pass 
# it to the main function that will create the buckets
client = boto3.client('s3')
try:
    main(client)
except botocore.exceptions.ClientError as err:
    print(err.response['Error']['Message'])
except botocore.exceptions.ParamValidationError as error:
    print(error)

파일 처리가 아니라, 메모리에서 처리하고 메모리로 부터 업로드 하는 것에 유의 한다. 따라서, 이전에 Bucket에 object 를 업로드 할 때와 달리, `s3Client.download_fileobject()`와 `s3Client.put_object()`를 사용한다.

notes.json 파일이 추가로 업로드 되어 있는 것을 확인 할 수 있다.

S3 정적 웹호스팅 설정 -

버킷 이름이 표함된 버킷 이름을 변수명으로 저장

고정된 버킷 이름 보다는 동적으로 찾는 형태로 변화수화 하기 (저수준의 api 인 "s3api" 사용)

$> mybucket=$(aws s3api list-buckets --output text --query 'Buckets[?contains(Name, `notes-bucket`) == `true`].Name')

파일 동기화 (html/아래 파일과 s3 bucket의 파일을 동기화)

aws s3 sync ~/environment/labRepo/html/. s3://$mybucket/

파일 동기화 aws cli 명령어 실행 결과 (좌), 실형 결과를 AWS Console(web)에서 확인한 결과 (우)

웹 호스팅 활성화

$> aws s3api put-bucket-website --bucket $mybucket --website-configuration file://~/environment/labRepo/website.json

권한 정책 (policy) 부여

aws s3api put-bucket-policy --bucket $mybucket --policy file://~/environment/labRepo/policy.json

정적 웹사이트 경로

printf "\nYou can now access the website at:\nhttp://$mybucket.s3-website-$region.amazonaws.com\n\n"

You can now access the website at: http://notes-bucket-xxxxx-xxxxxx.s3-website-us-west-2.amazonaws.com

[AWS교육 요약]-Technical Essential : IAM/Role/EC2/VPC/ELB

리치윈드 - windFlex — Mon, 11 Jul 2022 18:25:17 +0900

AWS 교육과정 요약 : AWS Technical Essentials. 참조 : AWS Training (https://aws.amazon.com)

[주요 내용 ]

IAM 소개
EC2 소개
AWS Lambda 소개
VPC 소개
AWS DB 서비스 소개
AWS Networking 소개
AWS Storage 소개
AWS Farget 소개
Monitoring 소개

참조 :AWS Skill Builder 한글화 과정 목록 (https://github.com/serithemage/AWS_class_resources/tree/main/AWS_Skill_Builder)

Technical Essential - AWS 서비스에 대한 기초/교양과 같은 코스웍

AWS Technical Essential은 대학으로 치자면 교양과 같은 과목이다.

실제 각 관심있는 서비스와 프로비져닝, 활용에 대해 집중하기 보다는, 기초적인 서비스의 개념과 AWS가 추구하는 철학, 그리고 어떤 서비스들을 제공하는지 전체적인 큰그림을 그리는 과정이다. 기초적인 설명과 관련된 실습 (Qwiklabs)를 해 볼수 있다.

따라서, 만약 AWS에 대한 경험이 없다면 필수적으로 듣는것을 추천한다. 또한, AWS Certi.를 준비하신다면 당연하게도 필요한 영역이다. 다만, 이미 AWS를 잘 알고 있고 사용중이며, 어떤한 목적으로 특정 서비스에 대한 사용방법을 익히고자 한다면 해당 과정은 적절하지 않을 수 있다.

[ AWS 기초 서비스에 대한 설명 ]

리전/가용영역

- 1개 이상의 데이터 센터 묶음 가용영역, 2개 이상은 가용역역을 묶어서 리전

- 2개 이상의 가용영역으로 나누어서 DR

* 리전을 선택하는 것이다. 가용영역은 선택 안됨.

전세계 AWS 리전들.

엣지 로케이션

캐시 서비스. 미디어 콘텐츠가 로케이션 인근에 CDS와 같은 서비스 제공.

AWS 서비스 관리 방법 종류

- 1) AWS 관리 콘솔 (웹사이트), 2) AWS 명령줄 (AWS CLI), 3) AWS SDK (프로그래밍 언어별 지원되는 라이브러리)

공동 책임 모델 다이어그램

AWS 보안 공동택임 모델.

인증/권한 - IAM (Identification Authority Management), Role (역할)

IAM root 유저 : Full Access 권한
- 권한을 줄일 수 없음. 작업용으로는 사용하지 말것. Billing 도구로만 사용. Multi-Factor 인증
일반 작업용 계정은 IAM User를 생성하여 사용할 것
- IAM User는 처음에 아무런 권한도 없음
- Policy를 통하여 권한을 부여함
- IAM User마다 권한을 부여하는 것은 매우 번거롭고 어려움 --> IAM User Group으로 그룹관리

IAM 그룹 및 IAM 사용자 (좌). IAM Policy 의 예 (중), IAM 역할(Role) (우)

Role (역할) ---> 중요
- 기본적으로 Role은 임시적인 권한을 가정함
- 외주 개발자가 참여할 경우 권한을 부여할 때, 기간 설정 (권한 만료)를 포함하여 권한을 설정함. (Assume)
- 임시로, Role을 부여 (STS Key)
- Role은 사용자 뿐만 아니라 서비스가 부여 받을 수도 있다. ex) 서비스용 EC2 (연동)이 Role을 부여 받을 수 있음

AWS 컴퓨팅 - EC2/ECS/EKS

EC2 인스턴스 (Elastic Compute Cloud)

VM이라고 하지 않고 "인스턴스"라고 명명. 즉, 언제든지 삭제/재기동/프로비져닝하는 용도라고 볼 수 있음
크기 조정, 빠른 프로비저닝 (몇분 안에 시작), 사용한 만큼 요금 지불 (삭제하면 요금 증가하지 않음)
인스턴스 유형 (어떤 OS, 크기), VPC/Subnet 등을 선택

ECS (Elatic Container Service)

ECS --> MSA(마이크로서비스 아키텍처)로 컨테이너가 수백/수천개 이상이 되면, 이들을 관리해 주어야 한다.

Container Orchestration 서비스

EKS (Elastic Kubenetes Service)

Container Orchestration 서비스 중 Kubenetes 형으로 특화 한 서비스

서버리스 (Serverless)

- 서버 관리를 하지 않아도 됨 : 서버 관리 (장애관리, 이중화, 백업, 규모조정, ... )

AWS Lambda : 서버를 프로비저닝 하지 않고도 코드를 실행. 사용한 컴퓨팅 시간 만큼 요금. 코드가 실행되지 않으면 요금 청구되지 않음

AWS Lambda를 사용 --> 사실상 모든 유형의 App./Backend Code를 별다른 관리 없이 실행할수 있음.

AWS 서버리스 서비스 종류 (좌), AWS Lambda flow (우)

AWS Lambda에 대한 상세 내용 : https://aws.amazon.com/ko/lambda/

AWS Lambda를 이용한 파일처리

AWS Lambda를 이용한 웹애플리케이션 구조

실습 - 1

IAM User 및 권한 설정해 보기
이미 User에 3개의 IAM 사용자가 생성되어 있음. User Groups에 이미 S3 권한, EC2 권한, Admin 권한으로 권한그룹이 설정되어 있음.
실습의 목적은 User-1 : S3만 ReadOnly, User-2: EC2 ReadOnly, User-3 : Admin/Read/Start/Stop 권한으로 각각 독립적으로 설정하는 것이 목표임
S3 ReadOnly, EC2 ReadOnly, Admin 의 각 권한에 가서 "사용자 추가"하여 권한을 등록하는 것이 실습 과정임

AWS Network - VPC

VPC를 생성할 때,

1) 리전을 결정해야 함. 2) VPC 이름, 3) VPC IP 대역 설정 (Private)
VPC는 기본적으로 외부와의 통신이 단절되어 있음. Public Internet과 연결하려면, 인터넷 게이트웨이 (Internet GW)와 VPC를 연결이 되어야 한다. 여기에서 연결을 한다 함은 Routing Table에 등록해 주는 것을 의미한다.
Internet GW는 NAT (Network Address Translation)을 사용하여 Outbound로 인터넷은 연결하고, Inbound로는 연결되지 않도록 설정할 수 있다.
기존 온프레미스 데이터센터와 전용선을 연결하듯이 연동은 어떻게 하는가? 가상 프라이빗 게이트웨이(VGW)를 만들고 VPC에 연결, 가상 프라이빗 게이트웨이와 데이터센터의 게이트웨이를 VPN으로 연결.

(방화벽 기능-유사 기능) 네트워크 차단/허용에 관한 부분은, AWS에서 다음과 같이 허용/차단 할 수 있다.

IGW에 라우팅에 의한 차단/허용
IAM 정책을 사용하여 액세스 제어
NACL에 의한 IP/포트의 허용/차단 (상태 비저장 : Stateless)
보안 그룹 (Security Group) 허용/차단 (상태 저장: Stateful)
(Host에서) Iptables, Windows 방화벽 등

AWS 방화벽 및 네트워크 차단 기능

AWS 스토리지 - EBS / S3

AWS Storage : 인스턴스 스토어, EBS (좌), S3 (우)

EBS (Elastic Block Store)

EC2 인스턴스에 사용되는 소토리지는 임시 블록 수준 스토리지이다. 따라서, EC2 인스턴스를 중지하거나 종료하면 스토리지 데이터가 손실됨 (일시적이다.) 인스턴스가 중지/종료 될 때 데이터를 보존하려면, EBS를 사용하면 된다. EBS는 백업/스냅샷 등의 서비스를 지원한다.

Amazon S3

IAM 정책, 버킷 정책, ACL, 암호화 기능을 지원

S3는 IAM 정책을 사용할 수 있다. 예를 들어 인스턴스에서 실행중인 앱플리케이션이 S3버킷에서 파일을 검색해야 하는 경우, IAM역할을 인스턴스에 연결하면 된다.

S3 버킷에 액세스 권한을 부여하는 또다른 방법은 버킷 정책을 사용하는 것이다. 버킷 정책은 JSON 기반 IAM 정책을 사용한다.

[S3의 기본 스토리지 클래스]

Amazon S3 Standard : 기본 스토리지 클래스. 웹사이트/콘텐츠 배포와 같은 범용 스토리지. 데이터 가용영역이 최소 3개에 저장된다. (가용역역 3개가 동시에 삭제될 경우 극히 낮음)
S3 Clacier : 몇분 안에 검색할 수 있는 데이터를 보관. 1~5분 내에 데이터를 검색할 수 있다.
S3 Glacier Deep Archive : 거의 액세스하지 않는 데이터를 보관. 변경후 데이터 검색하는 기본 시간은 12시간이다. 백업하는 용도로 적당한다.

AWS 데이터베이스

AWS 지원 데이터베이스 유형 (좌), 데이터베이스 유형별 AWS서비스 (우)

AWS에서 지원하는 8가지 유형의 데이터베이스 (일반, 관리형, 완전관리형)

관계형 데이터베이스 : RDS (관리형) , Aurora, Redshift
Key-Value 데이터베이스 : DynamoDB
인메모리 데이터베이스 : Memcached, Redis
Document 데이터베이스
와이드 컬럼 : Keyspaces
Graph : neptune
시계열 : Timestream
원장 : OLDB

[ Amazon RDS 서비스 ]

Amazon RDS 서비스 기본 구조도

관계형 데이터베이스에 대한 관리형 서비스 (PaaS 형태로, 인프라 프로비저닝, 데이터베이스 설정/패치/백업 등 알아서 관리됨) 스 생성/
내부적으로는 EC2 인스턴스 위에 RDS가 올라가서 구동되는 구조임 (기본적으로 Private Subnet)
따라서, IAM 등 EC2에서 설정하는 부분은 대부분 설정이 가능함

[Amazon DynamoDB]

완전 관리형 Key-Value 데이터 베이스 (NoSQL)
매우 우수한 확장성, 암호화 제공
JSON 형태로 저장

Amazon 모니터링(Monitoring)/로드밸런싱 서비스

Amazon CloudWatch

AWS 및 온프라미스 인프라 및 리소스를 실시간 모니터링
단일 위치로 지표를 모두 보낼 수 있다. --> 단일 위치에서 여러 리소스를 모두 모니터링/관리 가능
경보 대응 및 자동화 : CPU/Memory 등 리소스 사용 알람, 네트워크/트래픽, 로그, 비용 알람 등
CloudWatch 경보를 생서하여, 대시보드 등을 쉽게 관리 할 수 있음.

Amazon CloutWatch. 네임스페이스(자원 태그), EC2 지표 38개 지표 중 관심 지표만 선택 (차원) , 대시보드의 예 (우)

[로드 밸런싱]

ELB (Elastic Load Balancing) : 웹 애플리케이션의 트래픽에 따라서 로드밸런싱 지원

Amazon ELB 기본 구조 (좌), Amazon Load Balancer의 유형(우). Application Load Balancer (L7), Network Load Balancer (L4), Classic Load Balancer (L4/L7이지만 과거 유지 버전). 자세한 내용은 https://aws.amazon.com/elasticloadbalancing 참조.

Application Load Balancer & Network Load Balancer

Application Load Balancer (L7) 부하 분산으로 지원하는 기능 (좌), Network Load Balancer 부하분산 지원 기능 (우)

로드 밸런서의 종류별 차이에 대한 도식화

[ Auto Scaling ]

Amazon EC2 Auto Scaling의 구성요소
- 시작 템플릿 : EC2를 시작할 때 정책 --> 당연하게도 동적으로 신규 인스턴스를 구동해야 하므로, 그 때 어떤 인스턴스를 구동할지 이미지를 정해 주어야 한다. EC2를 신규 생성하는 과정과 유사하다.
- 조정 정책 : 어떤 상황이 되면 몇개까지 인스턴스를 증가할 것인지 정책을 지정
- Amazon EC2 Auto Scaling 그룹 : Auto Scaling이 적용할 대상 그룹을 지정해 주어야 한다.
  --> LB를 선택하고, 앞서 설정한, 대상을 지정하고 (VPC지정), 시작템플릿을 지정하고, 조정 정책을 정해주고, 알람 등을 설정해 주는 최종 단계

크기 조정 (Auto Scaling) : 수직 크기 조정, 수평크기 조정. Amazon Auto Scaling은 수평 크기 조정을 의미함. Auto Scaling 그룹의 예 (우) : 처음에는 3개 인스턴스로 시작, 트래픽이 작으면 2개로 줄이고, 트래픽이 많으면 5개로 증대.

로드밸런스 (Application LB) 실습

초기 상태. Web Applicaiton용 EC2 인스턴스가 1개 구동되어 있음.

구동중인 Web Application에는 Admin Tool로써 Stress Testing 기능이 포함되어 있음. 기능 동작 시 10분동안 CPU 부하를 줌

CPU 부하를 몇분 가하고 난 다음 다시 EC2 인스턴스를 살펴보면, 인스턴스가 3개로 늘어나 있음을 확인 할 수 있다. Name Field에 "-"로 표현된것이 증가된 인스턴스 이다.

[텐서플로우] TFIO/TFIO.audio 설치 에러 - NotImplementedError

리치윈드 - windFlex — Wed, 6 Jul 2022 17:02:03 +0900

텐서플로우(Tesorflow)를 이용한 오디오 파이프라인을 구성하려고 할 때,

tensorflow-io에서 다음과 같은 에러가 발생하는 일이 빈번하다.

NotImplementedError: unable to open file: libtensorflow_io.so #1313

Tensorflow에서는 GPU 관련하여 버전이 안맞으면 이러한 에러가 자주 발생한다.

(tensorflow-io와 기존 tensorflow/cuda/cuDNN의 버전이 안맞는 경우)

특히 필자의 경우는, TFIO를 사용해서 오디오를 로드해야만 하는 상황이었다.

tfio.audio.AudioIOTensor(...)

구글링을 해도 여러가지 해법이 동작하지 않았다.

그 중 몇개의 댓글에서 해답을 찾았다.

[해결 방안]

!pip install tensorflow_io==0.23.1

`tensorflow_io==0.23.1`을 설치 해라..

그런데, 어떤때는 `tensorflow-io`이고, 어떤 경우는 `tensorflow_io`로 dash(-)와 underscore(_) 차이가 있는듯 하다...
이름은 `tensorflow-io`이고 설치 패키지명은 `tensorflow_io` 이다.

[맥북-NTFS] 맥북에서 윈도우 외장하드(NTFS) 쓰기(mount) - 모든버전 사용 가능

리치윈드 - windFlex — Wed, 29 Jun 2022 23:14:20 +0900

맥북에서 NTFS를 사용해 보자.

맥북 (MacOS)는 파일시스템 (FileSystem)이 윈도우의 그것과 다르기 때문에, 윈도우용으로 사용하던 외장하드/외장SSD/USB등의 쓰기를 사용할 수 없다. 다행하게도 읽기는 지원을 해주지만, 아래 처럼 쓰기가 되지 않는다.

"정보 가져오기"를 통해서 디스크 정보를 보면, "읽기만 가능"으로 표기 되어 있다. 실제 디스크의 폴더에 접근하여 "새폴더 만들기" 등이 팝업메뉴에 출력되지 않으며, 당연하게도 "파일복사" 등이 되지 않는다. 맥북의 내장 SSD 용량 부족으로 데이터를 백업하거나, 윈도우용으로 사용하던 USB담아서 파일을 옮기려고 할 때, 매우 곤란을 겪게 된다.

패러랠즈, VMware 또는 부트캠프(Bootcamp) 등을 사용하여 윈도우와 같이 OS를 사용하는 유저의 경우에는 불편하더라도 파일복사/백업 방법이 있지만, 이 또한 패러럴즈/VMware를 추가 구동해야 하고, 복사를 다수회 진행해야 할 수도 있다. 또한, 부트캠프는 리부팅 후 윈도우즈 부팅을 해야 하기 때문에 상황에 따라서는 아예 선택지에서 제외 해야 하는 경우도 존재한다.

FAT32 등 OS와 무관하게 공용으로 사용하는 파일시스템은 모두 사용 가능하다. 그러나, FAT32 파일 시스템은 4G이상의 파일을 저장하지 못한다. (2^32 -> 4*GB)

맥북 (MacOS)에서 윈도우즈용 디스크의 정보가져오기 (좌). 디스크에 대한 권한이 읽기만 가능으로 되어 있다. 윈도우용 디스크에서 팝업메뉴 (우). 새폴더 만들기 등의 메뉴 자체가 없으며, 파일복사/이동 등 쓰기 관련한 기능이 아예 동작하지 않는다.

이러한 이유로 우리는 맥북(최근 Monterey 포함)에서 "윈도우용 디스크 (NTFS)"에 대한 쓰기 권한으로 열기가 필요하다.

구글을 검색해 보면, 유사한 사례로 "맥북에서 NTFS 쓰기 방법" 등에 대한 다양한 정보가 나올것이다.

mounty application 설치
NTFS 지원용 유료 Application 설치
/etc/fstab mount 방법
수동 mount 방법

결론부터 말하면, 유료 Application 설치 방법 외 나머지 방법들은 모두 해 보았으나, 필자의 환경 (Monterey 12.2.1)에서는 다수의 방법이 동작하지 않았다. 필자의 경우는 수동 mount 방법만이 동작하여 그 방법과, 그외 방법들을 소개한다.

직접 수동 Mount 해서 사용한다

수동 마운트 (Mount) 방법

수동 마운트라고 해서 걱정할 것 없다.

NTFS 디스크를 마운트하기 위해서는, 다음과 같은 정보를 확인하고 수행 하면 된다.

마운트하고자 하는 디스크(NTFS용 디스크)의 디바이스명
마운트하고자 하는 위치 (폴더, 신규 생성)
마운트 명령어 수행 ( NTFS 디바이스 이름 --> 마운트폴더 )

한번 수작업 하고 나면, 쉘스크립트 등으로 자동화해 사용해도 좋을 것이다.

실제 수행할 명령어만을 먼저 리스트업 해보면 다음과 같다. (이게 이 포스팅의 핵심이다.)

$ diskutil list
$ sudo mkdir /Volumes/disk2s2
$ sudo mount -t ntfs -o rw,auto,nobrowse /dev/disk2s2 /Volumes/disk2s2

이제 위 명령어를 하나씩 살펴 보도록하자.

우리의 목적을 다시 말하면, NTFS 디스크에 쓰기 권한을 부여하고 마운트(mount)하는 것이다. 즉, 다음과 같은 형태가 최종 목적이라는 것이다.

$ mount <NTFS파일시스템> <읽기/쓰기권한> <디스크이름> <마운트할 폴더>

여기에서 부족한 정보를 확보하고 mount를 실행해 주면 되는것이라 하겠다. 위에서 우리가 모르는 것이 무엇일까? 나머지는 형식에 맞게 표기해 주면 되지만, 정확한 "<디스크이름>"을 알지 못한다. linux에서는 `sda0` `sdb0` 등의 이름을 사용하는데, MacOS에서는 다른 네이밍 체계를 가지고 있다.

구글을 검색하면, /etc/fstab/을 이용하 마운트를 자동화 해주는 방법들이 검색 된다. 그런데 여기에서 문제점이 정확한 "디바이스명"을 가이드 하지 않는다. 디바이스이름이 아니라, `SSD` `WindowsDisk`등의 디스플레이 네임을 표기하면 된다는 설명이 있는데, 이렇게 하면 동작하지 않는다. MacOS에서 자체적으로 어떤 추가/편의 프로세스가 있을지 모르겠지만, Linux Mount를 조금 아는 사람이라면 이렇게 동작하지 않을 것을 알것이다. 저 디스크 이름은 단순히 표기상의 구분일 뿐이다. 정확한 DeviceID가 필요하다.

위와 같은 이유로, 정확히 OS에서 인지하는 Device ID를 구해야 한다. 이를 위해서 `diskutil list`를 실행해 본다.

실행 1) diskutil list

diskutil list 명령어를 통하여, 실제 OS가 인식하고 있는 Disk 볼륨을 확인할 수 있다.

`diskutil list`를 실행하면 위와 같은 결과를 볼 수 있다. 윈도우즈에서 `disk part`등과 비슷한 화면이다. 여러 항목이 나오지만 대부분 내장 디스크에 대한 정보이고, 하단으로 중간쯤 `/dev/disk2 (external, physical)`에서 외장물리디스크에 관한 섹션인것을 확인 할 수 있다. 이 중에서 "GUID_partition_scheme" 디스크볼륨은 아니고 볼륨구조에 대한 스키마 이므로 직접적인 마운트 대상은 아니다. 따라서, 3번째에 있는 "Microsoft Basic Data SSD"가 대상이며 디바이스ID "disk2s2" 인것을 확인 할 수 있다.

`/dev/disk3`는 가상디스크/이미지의 영역이다.

실행 2) 마운트할 대상 폴더 생성 : mkdir /Volumes/disk2s2

마운트할 대상 위치에 폴더를 하나 생성한다. 마운트후에 이 폴더가 디스크 역할을 대신 할 것이다. 일반 디스크와 동일하게 취급하기 위해서 `/Volumes/`하단에 폴더를 생성하도록 하자. 또는 본인의 취향에 따라서 편한 위치에 생성해도 된다. 또, 마운트할 폴더명 (추후 디스크명)을 지정하여 `mkdir`을 실행해 주면 된다. 필자의 경우는 Disk ID 이름과 동일하게 `disk2s2`라고 지정하였다.

$ sudo mkdir /Volumes/disk2s2

`/Volumes`은 관리자영역이므로 하위 폴더 생성에 `sudo`가 필요하다.

실행 3) Mount : mount -t NTFS -o rw,auto,nobrowse <디스크id> <마운트 대상 폴더>

위에서 정보 (디스크 ID: disk2s2)와 마운트할 폴더 (/Volumes/disk2s2)를 확보하였다. 이제 실제 마운트만 해 주면 우리는 맥북(MacOS)에서 NTFS 디스크를 사용하여 읽고/쓰기를 할 수 있다.

다음과 같이 실행해 주면 된다.

$ sudo mount -t ntfs -o rw,auto,nobrowse /dev/disk2s2 /Volumes/disk2s2

위 명령을 수행하고 나면, 다음과 같이 동일이름을 가진 디스크 드라이브가 추가 생성되어 있는 것을 확인할 수 있다.

추가적인 디스크 SSD가 /Volume/에 생성되어 있다. (좌). 사실 이 디스크는 /Volume/disk2s2 이다. 해당 디스크는 원래의 디스크와 달리 팝업메뉴에 "이름변경"등 기존 "읽기"권한 으로 수행할 수 없는 메뉴가 포함되어 있다. 디스크 정보를 보면 권한항목에 "사용자 설정으로 연결함"이라고 표시 되어 있다.

이 신규 디스크 "SSD"는 실제 이름은 "disk2s2"이지만, 디스크 드라이브 이름 (디스플레이 이름)으로 변경 출력되는 것이다. 위에서 잠깐 언급했지만, 구글링으로 검색되는 "/etc/fstab" 등록 방법은 이러한 디스크의 이름을 지정해 줄 때 명시성이 부족해서 잘 동작하지 않는다. 또한, "disk2s2"라는 Device ID는 디스크가 구동될 때마다 숫자가 달라질 수 있다. 따라서 "/etc/fstab"에 등록해 두고 자동화 할 수 있을지는 의문이다. (외장하드 포트를 절대 빼지 않는 다는 가정이 있으면 가능할 지도 모르겠다.)

SSD 디스크 중 쓰기가 가능한 디스크의 원래 이름은 disk2s2

마운트 된 결과를 확인해 보자: `mount`를 실행해 보면 마운트가 결려있는 정보를 나열해 준다. 결과를 확인해 보면 `/dev/disk2s2`가 마운트 되어 있음을 확인할 수 있다. 또한, 이전에 소개한적 있던 안드로이드 (Android)에 파일을 전송하는 애플리케이션 또한 유사한 방법으로 마운트가 걸려 있는 것을 알수 있다.

참조 : 2020.05.10 - [IT 이야기/IT 상식] - [맥북] 맥북-안드로이드 USB 연결 (ft. MacOS - Android File Transfer)

마운트가 설정되어 있는 결과를 확인할 수 있다. 안드로이드 파일 전송 프로그램도 비슷한 방식을 사용하고 있다.

이제 우리는 NTFS 외장하드(SSD)에 자유롭게 파일 쓰기를 할수 있다. 맥북의 부족한 하드디스크의 고통을 완화할 수 있는 수단이다. 데이터파일 등은 외장SSD로 빠르게 사용할 수 있을 것이다.

(참고로 필자는 윈도우즈 머신에서 내장 SSD로 사용하던 것을 외장으로 쓰는 방법을 사용하고 있다. 매우 빠르게 내장과 유사한 속도로 사용할 수 있어서 편리하다. 대용량을 지원하기 때문에, USB메모리와는 차원이 다른 편의성이 있다. 또한 필요에 따라서는 다시 윈도우즈 머신에서 사용한다.)

이제 NTFS 디스크/외장하드에 새로운 파일 쓰기를 자유롭게 할 수 있다.

4) 마운트 삭제 (다른 마운트를 삭제하지 않도록 주의할것)

마운트한 결과가 필요 없으면 마운트 설정을 제거하면 된다.

다른 마운트 포지션이 제거되지 않도록 2번~3번 확인하고 삭제하도록 하자...

$ sudo umount -f /Volumes/disk2s2

$ mount -f <마운트한 폴더> or mount -f <마운트한 디스크ID>

ERROR : Read-only file system

종종 아래와 같이, "Read-only file system"이라는 에러가 발생할 수 있다.

mount_ntfs: /dev/disk2s2 on /Users/windstream/ExtDrive: Read-only file system
mount: /Users/windstream/ExtDrive failed with 71

아래부터는 구글에서 검색되는 mounty 애플리케이션과 /etc/fstab을 사용하는 방법을 간략히 정리하였다. 필요에 따라 사용할 수 있을 것이니 참조하기 바란다.

mounty 설치 방법

brew install --cask mounty

/etc/fstab에 mount 설정 방법

sudo nano /etc/fstab

[Python] 파이썬 모듈/패키지 파해치기 - 모듈 생성하기/불러오기/상대경로/절대경로

리치윈드 - windFlex — Sat, 25 Jun 2022 23:42:25 +0900

파이썬 모듈과 패키지에 대해여 자세히 알아보자.

모듈 : 함수들이 뭉쳐진 하나의 .py 파일
패키지 : 여러 개의 모듈을 그룹화한 묶음
라이브러리 : 패키지의 모음을 그룹화

[목차]

파이썬 모듈 만들기
파이썬 모듈 불러오기 (상대경로, 절대경로, 환경변수 등록)
파이썬 모듈 실행 : __name__의 의미
패키지와의 관계

파이썬 모듈 (Python Module)

모든 python 파일 (*.py)는 모듈이며, 각 모듈은 `import`를 통해서 모듈을 추가 할 수 있다. 또한 모듈 안의 모든 함수와 개체 또한 모듈로 볼 수 있다.

import 모듈이름

예를 들어, 다음과 같은 코드를 `calc.py`로 저장한 경우를 가정하자.

# calc.py
def add(a,b):
	return a+b

모듈 불러오기

이 경우 다음과 같이 모듈을 추가할 수 있다.

import calc
print( calc.add(10, 20) )

`import calc.py`와 같이 확장자는 포함하지 않음에 주의한다.

또한 다음과 같이 `from`을 사용할 수 있다.

from calc import add
print( add(10, 20) )

다른위치의 모듈 불러오기

지금까지는 동일한 디렉토리에 존재하는 모듈을 불러왔으나, 모듈파일이 다른위치에 있으면 어떻게 불러올 수 있을까?

1) 상대경로 사용 (Relative Path)

상대경로는 별다른 설정 없이 다른 위치에 있는 모듈을 바로 추가 할 수 있는 방법이다. 그러나, 그 모듈의 위치가 하위 디렉토리 혹은 부모/형제 디렉토리에 위치하는 모듈 정도에 적용하는 것이 적당하다. 제 3의 독립적인 위치에 적용하는 것은 어려울뿐만 아니라 에러 발생가능성이 높아 진다.

하위 디렉토리이 있는 모듈을 추가하는 경우

form child.dir.path import module_name

상위 디렉토리/형제 디렉토리에 있는 모듈 파일을 추가하는 경우

from ..parent.sibling.path import module_name

2) sys.path 추가 하기 (sys.path.append)

 sys.path.append(모듈을 저장한 디렉터리)

사실상, 하위디렉터리가 아닌 경우 가장 많이 사용되는 module 추가 방법이다. `sys.path.append( path_dir )`을 사용하여 python 이 구동되는 기본 path를 추가하는 방법이다.

다음과 같이 `sys.path`에 python의 기본 구동 디렉토리가 등록되어 있으며, path이 구동할 때 찾는 path는 해당 디렉터리들에서 우선적으로 찾게 된다. `append( path_name )`을 사용하여 `sys.path`를 추가해 주는 것이다.

import sys
print(sys.path)

사실 상, 다음에 소개되는 OS차원의 환경변수인 `$PYTHONPATH`에 추가해주는 것을 python 내부환경에서 처리해 주는 것과 동일하다.

3) 환경변수 ( PYTHONPATH)

OS 차원에서 환경변수 `PYTHONPATH`를 등록해 주는 방법이 있다.

(Windows)

set PYTHONPATH=C:\python-project\path\my_module\

(Linux)

$ export PYTHONPATH='/root/python-projects/path/'

if name=='main'의 의미

python의 모든 개체는 내부적으로 사용하거나, 초기화에 사용되는 던더(Double Underscore)들이 포함되어 있다. 대표적으로 class의 생성자인 `init()`등이 여기에 해당한다. 이중에서, 일반개체외에 최상인 개체인 모듈자체에는 `name`이 포함되어 있다. 다음과 같이 실행해 보도록 하자.

print( dir() )
# ....(생략) ...  , __name__ , ....(생략)
print( __name__ )
# '__main__'

`dir()`을 통해서 현재 최상위 개체에 로딩되어 있는 개체와 변수를 확인 할 수 있다. ( `name`이 이미 존재한다. ) `print(name)`으로 변수 내용을 출력해 보면, 아마도 대다수의 환경에서는 `main`이 출력 될 것이다. `main`은 현재 실행되는 위치의 이름을 저장하고 있는 변수이다. 즉, 현재 실행되는 모듈의 환경에 `main`에서 호출되었다는 것이다.

그렇다면, `main`이외의 다른것이 있다는 것일까?

그렇다. name의 내용은 크게 2종류 이다.

최상위 모듈에서 실행 : `__main__`
참조되는 모듈에서 실행 : `모듈 이름`

실험을 위해서, 다음과 같이 `my_module`모듈을 생성하고 my_module.py에 저장하자.

그리고 다른 파일에서 import 해보도록하자.

# my_module.py
def add(a,b):
    return a+b

print('my_module : ' , __name__)

import my_module
print('load a my module')

어떤 결과가 출력 되었는가?

my_module :  my_module
load a my module

응? 프린트 문장이 2개? 왜?

위 실험 결과에서 이해할 수 있듯이, python은 내부적으로 `import`를 하는 시점에 module 파일이 실행된다. 즉, `my_module`이라는 모듈이 실행될 때 `print`문이 실행 된 것이다.

그렇다면, 다시 이런 걱정이 될 것이다.

"음.... 그렇다면, `import` 할 때마다 import 내부 실행 결과가 구동되면 어떻게 하지????"

위와 같은 문제를 해결하기 위해서, 오직 module 자체를 실행할 때만 동작하는 코드루틴을 만들기 위해서, `if name=="main" ` 이라는 구문을 사용하는 것다. 이제 우리는 내부 동작을 확실히 이해 할 수 있다. import 할 때는 실행하지 말고, module 자체에서 실행할 때만 ( name == 'main' ) 구동 하도록 조건문을 걸어준 것이다.

파이썬 패키지 (Python Package)

파이썬 패키지는 모듈들의 묶음이다. 여러 개의 module을 포함하는 디렉터리 구조와 `init.py`로 구성 되어 있다.

모듈과 패키지의 관계도. # 출처: pythonstudy.xyz

[ 연 재 ] (다음편에서...)

Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel

리치윈드 - windFlex — Fri, 17 Jun 2022 22:37:49 +0900

파이썬 가상환경 (Python Virtual Evironment). Conda, Venv, Virtualenv, freeez에 대해서 알아보자.

가상환경 생성 관리를 위해 가장 많이 사용되는 툴로써, `conda` , `venv` 등이 있다. 그러나 우리는 환경에 따라서 이들을 사용할 수 없는 환경이 주어지기도 한다. 예를 들면, conda를 지원하지 않는 container 이미지 등에서 작업을 해야 하는 경우이다. 또한 종종 venv가 잘 동작하지 않거나 에러를 발생하는 경우도 있다. 이러한 경우, 기존 python2.x에서 사용하던 추가패키지로 `virtualenv`를 설치하여 사용할 수 있다. 사용하는 방법을 거의 비슷하므로 옵션의 차이 정도만 필요할 때 참조하여 사용하면 되겠다.

출처:  https://django-easy-tutorial.blogspot.kr/2015/08/python-virtual-environment-setup-in-ubuntu.html

가상환경을 생성하면, 서로 다른 버전과 패키지를 독립적으로 구성이 가능하다.

1. venv

Venv Python3의 가상환경을 관리하는 가장 기본이 되는 관리도구이다. Python 2.x에서는 기본지원이 없었는데, python3.x로 변경되면서 python 자체에서 기본지원하도록 기본 패키지화 되었다. 기본 도구인 만큼 알아두면 많은 도움이 된다.

venv 공식 웹페이지 : https://docs.python.org/3/library/venv.html

기본 구문은 다음과 같다.

python3 -m venv /path/to/new/virtual/environment

`/path/tonew/virtual/environment`는 새로운 환경을 생성한 경로와 이름이다. 단순 가상환경의 이름만을 표기하면, 현재 디렉토리의 하위에 해당이름의 디렉토리가 생성된다.

가상환경은 python의 명령어 및 설정정보를 다른 디렉토리에 설치/복사/생성해 둔 묶음이다. 그리고, 이후에 가상환경으로 변경하면 기본 root_dir을 가상환경의 디렉토리도 임시 변경해 둔것이다. 즉, 추가적인 python version과 하위에 설치된 라이브러리들을 설치해 두고, 시스템에게 python의 기본 실행위치를 속여서 처음부터 python이 이 환경이라고 OS를 인식시키는 것이다. (docker/container도 이와 비슷한 개념에서 출발 했다.)

새로운 디렉토리를 생성하고, 해당 디렉토리에 python 등 필수 패키지를 설치하는 것이 생성과정이며,
상기 서술한 기본 root_dir을 변경하는 작업들을 수행하는 것이 `activate`이며, 원복하는 것이 `deactivate`이다.

python3 -m venv <venv name>

or

python -m venv <venv name>

그러나, 종종 venv가 잘 동작하지 않는 경우가 있다.

2. conda

conda create를 통한 가상환경 생성/관리. venv 대비 상대적으로 관리가 쉽다.

conda 설치방법은 아래 펼치는 글

1. conda 설치파일 다운로드

다음 사이트 URL을 접속하여 설치하고자 하는 버전에 맞게 다운로드 받는다. 예를 들면, Linux의 경우 다음과 같이 wget을 통해서 다운로드 받으면 편할 것이다.

`$ wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh`

2. 설치파일 실행

다운로드 받은 설치 파일을 실행해 주자. Linux는 다음과 같다.

`$ bash Anaconda3-2022.05-Linux-x86_64.sh`

3. 환경 설정

설치가 완료되었다면, 환경파일 PATH로 등록하여 사용하기 쉽게 만들어 주자.

`$ export PATH=~/anaconda3/bin:~/anaconda3/condabin:$PATH`

매번 PATH를 실행하기 귀찮다면, 실행 시 시작될 수 있도록 ~/.bashrc의 마지막에 위의 코드를 삽입하고/저장한다.

`$ nano ~/.bashrc` --> 마지막 라인에 위 export ... 삽입

4. 패키지 설치 및 가상환경 관리

`$ conda install cudnn`

*가상환경 관리는 아래 내용 참조

conda를 통해서 패키지를 관리하는 경우라면, 가상환경에 대한 관리도 conda를 사용하는 것이 가장 쉬운 편이다.

가상환경 생성

conda create -n new_env python=3.7

구문 형식 : conda create -n <환경명> python=<버전(ex:3.5이나 3.7 등)>

가상환경으로 변경 (가상환경으로 진입)

conda activate new_env
    or
activate new_env

원래 환경으로 복귀 (가상환경에서 나옴)

conda deactivate
      or
deactivate

패키지 설치 (가상환경으로 진입 후)

conda install pandas
    or
pip install pandas

설치된 패키지 확인

conda env list

conda 는 pip등에서 관리하지 않는 패키지도 관리해 준다. 이 때문에 python 자체가 아니더라도 관련된 환경/설치 파일을 동시에 설치 할 수 있다. 대표적으로, GPU 관련된 CUDA toolkit, cuDNN등도 conda를 사용하여 설치할 수 있다. (대박~!)

conda install cuDNN 실행하면 다음과 같이 최신 cuda와 cudnn을 한번에 설치할 수 있다.

그러나, conda를 지원하지 않는 경우도 다수 존재하며, conda에서는 설치할 수 없는 패키지들도 존재하기 때문에 가급적, venv와 다음에서 설명할 virtualenv도 함께 숙지해 두면 좋을 것이다.

3. virtualenv

python virtualenv 가상환경 관리자

`venv`가 에러가 발생하는 경우 virtualenv를 사용하자

python -m virtualenv <venv name>

virtualenv가 설치되어 있지 않다면, pip 로 설치해 주자. `pip install virtualenv`

virtual env를 생성하였다면, 사용하는 환경을 새로운 환경 `new_env`로 변경해 주자.

source new_env/bin/activate

새로운 버추얼 환경의 이름이 `new_env`인 경우이다.

새로운 virtual env 환경에서 필요한 패키지를 설치해 주자. 다음은 tensorflow를 설치하는 예이다.

pip install tensorflow==2.4.1

설치가 모두 완료 되었다면, 새로운 환경에서 빠져나온다.

deactivate

pip freeze

현재 사용하는 library들을 고정하고, 리스트를 `requirements.txt`로 내보낸다.

pip freeze -l > requirements.txt

내보내진 requirements.txt는 이후 아래와 같은 명령어로 일괄 설치가 가능하다.

pip install -r requirements.txt

`-r`옵션은 `--requirement`의 축약 버전이다.

다음은 requirements.txt의 예시이다. requirements.txt에는 다음과 같이 필요할 패키지와 버전이 명시되어 있다. 이러한 정보를 이용하여 명확하게 동일한 설치환경을 구축하고자 하는 것이 가상환경을 관리하는 목적이라 하겠다.

llvmlite==0.36.0
matplotlib==3.4.2
numba==0.53.1
numpy==1.20.3
scikit-learn==0.24.2
scipy==1.7.0
sklearn==0.0
timm==0.4.5
torch==1.9.0
torchaudio==0.9.0
wget==3.2
zipp==3.4.1

4. ipykernel - Jupyter Notebook커널로 등록하자

만약 새로운 환경을 Jupyter Notebook 또는 Jupyter Lab에서 Kernel로 등록하고자 하는 경우, `ipykernel`을 사용할 수 있다.

pip install ipykernel
python -m ipykernel install --user --name new_env --display-name new_env_kernel

ipykernel 명령어는 다음과 같은 유형이다: `ipykernel install --user --name <venv_name> --display-name <표시할 이름>

jupyter kernelspec uninstall 가상환경이름
ex) jupyter kernelspec uninstall python-ml

2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel

2022.12.06 - [개발 이야기/Python] - [Jupyter Kernel 추가] conda 가상환경을 jupyter Kernel로 추가하기

2022.09.19 - [개발 이야기/Python] - [주피터노트북 커널] jupyter lab/notebook kernel

2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel

2020.06.04 - [개발 이야기/Python] - [파이썬] Anaconda x Jupyter notebook 설치 및 설정 방법 - 가상환경으로 파이썬 개발환경 구성

2020.03.10 - [IT 이야기] - Python x Jupyter Notebook 설치 및 환경 구성

2022.09.19 - [IT 이야기/IT 상식] - [Python 가상환경] conda 설치 및 가상환경 (feat. 내부 로직 & cheat sheet)

[librosa 설치] 설치오류 - sndfile library not found

리치윈드 - windFlex — Thu, 2 Jun 2022 15:56:22 +0900

Librosa 설치 오류 및 soundfile library not found Error

librosa 설치 오류

Librosa를 처음 설치하다 보면, 아래와 같이 import도 되지 않는 상황이 종종 발생하곤 한다.

아무리, pip 명령어를 만져봐도 시작부터 되지 않는 경우이다.

sndfile library not found

librosa는 내부적으로, scipy.wavefile과 sounfile 라이브러리를 사용하는데, soundfile 라이브러리 설치가 잘 안되서 발생하는 문제이다. soundfile library는 파이썬 외에 os차원에서 설치해야하는 library가 포함되어 있기 때문에, pip 및 종속성검사로 설치가 되지 않는다.

"sndfile library not found"에러가 뜨면서 librosa가 import도 되지 않는다.

Librosa 공식웹페이지 이외, Github Page를 참조하면, Soundfile을 설치할 때 다음과 같은 사전설치/업데이트가 필요하다고 가이드 되어 있다. (놓치기 쉽다. 그냥 `pip install librosa` 하기 때문)

apt-get install ffmpeg   # Linux

또는,

apt-get install gstreamer1.0-plugins-base gstreamer1.0-plugins-ugly

MacOS의 경우

brew install ffmpeg
   혹은
brew install gstreamer

Conda를 사용하는 경우,

conda install -c conda-forge ffmpeg
conda install -c conda-forge librosa

conda 가 지원하는 환경이라면, conda 최고~~~!!!

그런데, 이렇게 해 주어도 안되는 경우가 있다. 그렇다면 아래와 같이 해 주자.

soundfile library를 다시 설치 해 주자.

sudo apt-get update
sudo apt-get install -y libsndfile1-dev

간혹 설치 완료 후에도 여전히 에러가 발생하는 경우가 있는 Notebook을 재시작 해주면 해결 된다. ^^;

차원 축소 (Dimensional Reduction) 설명하는 그림

리치윈드 - windFlex — Tue, 24 May 2022 14:07:02 +0900

차원축소 및 프로젝션에 대해 한번에 이해할 만한 이미지

PCA (Principal Component Analysis) 등 Dimesional Reduction 의 개념을 이해하는데 도움이 되는 그림을 소개 한다.

중앙에 있는 코일 같은 신호가 Original Data라면, 한쪽의 축으로 프로젝션한 결과 데이터 X축/Y축 프로젝션 데이터 각각이 Dimentional Reduction의 결과물 이라고 할 수 있다.

PCA와 같은 경우는 이러한 X,Y축을 고정하지 않고, Varianace (변별력)가 가장 큰 축을 찾아서 프로젝션 하는것이 차이가 있다 하겠다.

Dimensional Reduction, Data Projection. 출처 : imgur

[ 인터뷰 후기 ] 몰로코 코딩테스트 및 인터뷰 후기

리치윈드 - windFlex — Tue, 24 May 2022 14:04:48 +0900

업계를 뜨겁게 달구고 있는 몰로코 (MOLOCO) 채용에 지원을 했었다.

몰로코 코딩테스트 및 인터뷰 후기, 리뷰

요즈음 처럼 개발자 수요가 증가한 경우를 보지 못했었다. 이러한 경향을 맞추어 2021~2022년 개발자들 이직 바람이 불고있다.

현 직장에 거의 불만은 없다. 아니 오히려 TOP급이기 때문에 딱히 어딜 가고 싶지도 않았다.

그러나, 이직 바람으로 마음이 조금 들뜨더라..

나도 이직 할 때가 된것인가?
평소에 이직을 선호하는 기업이 있지는 않았기 때문에 고민을 해 보았다.

고민 후 객관적으로 선호되는 기업은 나스닥의 FAANG, 그리고 몰.두.센

FAANG 중에서, Facebook(Meta)는 캐나다/미국쪽에 기회가 있었지만 영어 장벽으로 패스 했다. 그리고, 개인적으로 대한민국에서 살고 싶다. Amazon 은 업무강도가 쎈것으로 유명해서 패스, Apple 은 정말 좋은 기업이지만 Apple Korea는 (개발/연구 직군) 평이 그다지 좋지 않더라.. 등등

이것 저것 조건을 제외하고 남은 것이, Google Korea와 몰.두.센.

Google Korea는 아직 관련된 오픈된 포지션을 찾지 못했고, 두나무와 센드버드는 현재 오픈된 포지션들이 현재 업무와 약간의 미스매칭이 있었다. 결과적으로 몰로코 (Moloco)가 가장 적합하다는 결론을 지었다.

또한, 아래와 같이 현재 투자규모로 볼 때, Series C 투자를 받았고, 현재 총 투자유지 2119억이라고 한다. (22.5월 기준). 투자사들 또한 메이져 투자사로 멀지 않은 미래에 엑싯을 할 수 있을 것으로 기대 된다. 따라서, 현 시점에서 몰로코에 조인하게 되면 가장 짧은 시간에 가장 효율적인 직무와 투자 효과까지 얻을 수 있다는 판단이 섰다.

별 다른 준비도 없이 일단 포지션에 지원을 했다.
정말 무식하면 용감하긴 하다.
이렇게 입사 난이도가 힘든 곳인지 몰랐다.

채용 프로세스

몰로코의 채용 프로세스는 매우 까다롭더라.

다음과 같은 단계 들이 있다. 참 길~~~었다. 참고로 결론부터 이야기 하면 필자는 최종 프로세스까지 진행 후 탈락 했다.

필자의 업무 영역과 포지션이므로, 다른 포지션의 경우 다소 맞지 않을 수 도 있을 것 같으니, 이점 참조 바란다.

이력서 (서류)
리크루터 폰 스크리닝
코딩테스트
1차 인터뷰 (실무 면접)
인터뷰 1 : 실시간 코딩 인터뷰
인터뷰 2 : 시니어 직무 면접 ( 수학적 이론 중심 )
인터뷰 3 : 시니어 직무 면접 ( 케이스 제시, 문제해결 테일러링 )
최종 결과 통보 : 합/불

몰로코 블로그에 의하면, 인터뷰 1 + 인터뷰 2 + 인터뷰 3은 만장일치일 경우에만 최종 합격 통보로 처리한다고 한다.

이력서 / 폰스크리닝

이력서는 영문/한글이 있는데, 딱히 영문이력서로 제출해야 한다는 Requirement가 없었기 때문에 한글로 입력 했다. 나중에 리크루터와 이야기 할 때, 주로 영문으로 작성한다는 이야기를 들었다. 영문으로 다시 제출하겠다는 의견을 이야기 했었지만, 필요하면 요청하겠다고 해서 한글 이력서로 유지 했다. 이후 영문 재작성은 하지 않았다.

이후에 인터뷰 대상인 외국인도 있었는데, 어떻게 이력서를 봤는지 모르겠다. 물어보니 이력서 내용을 알고 있긴 하더라...

그냥 닥치고 영어로 작성하는게 좋을듯 하다.
포스크리닝은, 짠밥인 짠밥인지라.. 뭐.. 그냥 이야기 했다.

코딩 테스트

Moloco의 코딩테스트는 "코드시그널" 이라는 사이트에서 진행 되었다. (https://codesignal.com/)

실리콘벨리 쪽에서는 많이 사용하는 플랫폼인것 같다. 장기적으로 실리콘벨리가 지향점이라면 익숙해 지는 것이 좋을 것이다.

코드시그널 스크린샷 화면

코드시그널을 사용하여 코딩테스트를 진행하는 기업

필자가 지원한 포지션은 SWE가 아니었기 때문인지 알고리즘 심화 문제가 주어지진 않았다. 필자의 경우, 알고리즘 보다는 실제 개발 중에 필요한 기능구현성 문제가 출제 되었다. 따라서, 알고리즘 구현보다는 문제를 이해하고 그에 맞게 구현을 해야 했다. 여기에서 문제 자체가 구현항목/제한사항 등이 다수개여서 문제를 정확하게 이해하는데 시간이 더 오래 걸린듯 하다. 총 4문제가 주어지고 70분이 제공되었다.

결과적으로, 필자는 시간이 모자라서 마지막 문제를 최종까지 완료하지는 못했다. 문제 자체는 어렵지 않았다. 5분이 남아있을 때 부터 코드가 수정되지는 않았는데, 아마도 구현은 60분, 10분은 정리하라는 의미인듯 하다.

다시 시험을 보게 된다면, 알고리즘 보다는 기능을 얼마나 빠르고 정확하게 구현하는지에 초점을 두어야 겠다.

마지막 문제를 다 풀지 못했기 때문에, 탈락할 지도 모른다는 생각을 하고 있었는데, 약 3~4일 후쯤 인터뷰 일정 조율 연락이 왔다.

인터뷰 - 1

1차 인터뷰는 한국에 근무하는 실무자 인터뷰 였다. 해당 포지션은 한국에 근무하는 동료가 많지 않았다고 한다. 한국에서 동료가 될 분들중 선별된 분과 이야기를 할 수 있었다. 대부분 본인의 과거 진행했던 프로젝트와 현재 진행중인 프로젝트를 설명하였다. 또한, MOLOCO 내부에서 주로 다루고 있는 문제에 관련하여 케이스를 제시하고 어떻게 해결할 것인지.. 질의/응답하게 되었다.

사실, 1차 인터뷰는 평이한 수준이었다.
1차 인터뷰로써는 입사 난이도 "최상"이라는 느낌을 받지는 못했었다.
그러나, 이것은 나만의 착각 이었던것 같다.

시니어 인터뷰 (임원급)

몰로코는 서로의 평가에 면접관의 판단의 객관성을 유지하기 위해서,
1:N 면접이 아니라. 1:1 면접 N회로 진행한다고 한다.

1차 인터뷰가 끝나고 다시 1주일 정도 지나서, 2차 인터뷰 일정을 조율 하였다. 연속 3회 일정.

일정 조율부터 난이도가 급격하게 오르는 느낌이었다. 해당 포지션의 시니어급은 한국에는 없다고 한다. 모두 실리콘벨리.... 일정 잡기가 쉽지 않다. 리크루터와 일정 이메일만 4~5번 주고 받은듯 하다. 결국, 정해진 일정은 아침 8시, 다음날 아침 7시. 끝나고 바로 연이어서 다른 인터뷰 8시... 헉헉...

아침 7시 인터뷰는 너무 빡신거 아닌가?
더군다나, 끝나고 나면 바로 연이어 다른 회의실에서 다른 인터뷰
이 날은 혹 제때 일어나지 못할까봐 새벽 4시에 일어나서 돌아 다녔다.

인터뷰 2 - 실시간 코딩 인터뷰 with 외국인

2차 인터뷰중 첫번째는, 실시간 코딩 인터뷰이었다.

그런데, 좀 아쉬운것 중 하나는, 필자는 인터뷰 반이 지나도록 해당 인터뷰 시간인 "코딩 인터뷰"인지 몰랐다는 것이다. 인터뷰어가 URL을 제시하고 접속할 때까지 인터뷰 속성을 알지 못했다. 당연히 뭐 준비고 뭐고 마음의 준비도 되어 있지 않았다.

인터뷰어를 처음 만났을 때 부터 조금 긴장하였다. 왜냐고?

외국인 / 영어 (ㅜ_ㅜ)
일단 질문을 들어야하고, 대답할 내용도 생각해야 하고, 어떻게 말해야할지도 영어로.
이 와중에 인터뷰 중간쯤 지나더니, 갑자기 웹코딩 페이지를 열더라.
코딩 실력과는 별개로, 아~~~ ^^;;;;

일단 제시되는 문제가 잘 읽히지 않았다. 문제를 알아야 그에 맞는 코드를 작성할 텐데, 실시간으로 같이 보고 있으니, 차분히 문제를 읽어볼 만한 여유가 없었다. 이 때문에 나중에 좀 삽질을 했다. 두번째로는, 정작 문제는 아주 쉬웠다. 릿코드 기준 이지~미디엄. 프로그래머스 기준 Lv.2 정도 수준. 그러나, 그게 외국인이 같이 보면서 코드를 짜니깐 잘 되질 않더라. 이러한 환경이 익숙한 사람은 괜찮을듯 하다. 필자의 경우, 미리 짜 놓은 코드를 코드리뷰하는 것은 익숙해도, 실시간으로 화면에서 문제를 이해하고 작성하는 것은 익숙치가 않다. 앞으로도 익숙해질지 의문이다.

인터뷰 3 - Theory

아침 7시부터 진행되는 인터뷰 였다. 혹시나 제 시간에 접속하지 못할까봐 긴장되었는데, 그날은 새벽 4시에 눈을 뜨게 되었다. 인터뷰어도 바로 다음 인터뷰가 있는 것을 알고 있기에 바로 본론으로 들어갔다.

기 수행 프로젝트 설명
기 수행 프로젝트에서 질의/응답. 몰로코에서 하는 업무와 관련해서 연계 질문
케이스 및 환경 제시 문제 : 해결방안, 그 방법으로 진행했을 때의 변화 (Before / After 차이)
- 답변하는 것에 맞추어 이론적 배경 : 수학적으로 Define하여 설명. 수식으로 설명. 수식으로 증명( 요건 못해서 포기 )

잠도 제대로 못 깬것 같은데, 갑자기 수식을 정의해서 차이를 비교해 보라 하더라... 흐음 ^^;;

지나고 나서 보니, 정말 어려운 것도 아니었는데... 라는 생각이 다시 들더라. 아마도 답이 틀려서 수학적 정의 이야기가 나왔지 싶다. 지금 생각해 보면 계속 꼬리에 무는 질문으로 핀치에 몰려서 않좋은 답을 했던 것 같다.

아무튼, 인터뷰어가 수학과를 나온 사람인듯 하여 대부분의 문제 정의를 수학적으로 제시하기를 원했다. 필자도 수학을 좋아하는 사람중 하나였는데, 기업에서 오랫동안 수학정의를 하지는 않았던 터라 갑자기 훅 치고 들어온 Stanford 수학과 출신에게는 한방 먹을 수 밖에...

조금 억울해서 끝나고 다시 생각해 보니 별거 아니긴 했는데 ㅜ_ㅜ
바이~바이~

인터뷰 3 - Head급

인터뷰어는 CTO외 최상위 Head 급 메니저이셨다. 역시 몰로코쯤 되니 최상위 메니저도 인성면접 같은것이 아니더라. 경험을 기반으로 한 질문이 들어오는데 경시할 수 가 없다. 현업에서 사용하는 다양한 경험과 그 속에서 들어오는 질문은 실제 업무경험과 실력을 판별하는데 적절한 질문/응답을 요구 하고 있다.

인터뷰어들은 상당히 훌륭하다고 생각된다.
단지 필자가 적절한 응답을 하지 못했을 뿐이다.
한번 꼬여 들어가니, 나중에는 정신 차리지 못하게 되더라.
인성면접 이런것은 이럴일이 없겠지만, 꼬리에 꼬리를 무는 기술 인터뷰는 대략 난감 ^^;

총평

몰로코에 채용 프로세스를 진행하고 나서 오히려 몰로코에 대한 인식이 더욱 좋아 졌다.

코딩테스트는 단지 무조건적 알고리즘 테스트를 하는것이 아니라, 포지션에 맞게 업무에서 요구하는 스킬을 점검하는 것이 좋을것이라고 생각하고, 몰로코의 코딩테스트는 이점에 좀 더 포커스 하고 있는 듯한 느낌이다.

인터뷰 1차는 스크리닝의 느낌이었다. 최종 임원/시니어급 인터뷰 전에 같이 일할 동료들이 한번 점검하는것 같다. 여기에서 탈락이면 뭐~ 그 이후는 볼것도 없다는 것 이겠지.

인터뷰 2차 x 3회는 호불호가 좀 있다. 실시간 코딩 인터뷰 + 영어는 필자가 좀 익숙해져야 할 필요가 있겠다. 구글 코딩테스트도 아마 비슷하게 진행된다고 하니, 실력을 떠나서 순발력을 좀 키워야하지 싶다.

단, 하나 아쉬운점.

시니어 면접이라서 그런지는 몰라도.

난해한 질문의 대부분이 몰로코 업무에 사용하는 질문이다. 무슨말이냐고?

필자의 기술 영역 (다른 영역도 마찮가지 이겠지만) 은 매우 넓다. 따라서, 해당 업무 (광고/타겟마케팅 비즈니스) 문제를 풀어본 경험이 없다면, 즉답은 어려울 가능성이 높다는 것이다. 문제를 인식하여 논문/기술 연구를 할 수 있는 기반은 갖추었을 지언정, 해당 영역이 논문 주제이거나 동일한 문제를 풀어보지 않고서는 이렇게 Deep하게 제시한 문제를 즉답으로 풀기는 쉽지 않을것 같다. 물론, 몰로코에서 "이미 타겟마케팅의 해결이 가능한 사람"을 채용을 원하는 경우라면 할말 없지만 말이다. 필자도 면접이 끝나고 조사해 보니 쉽게 풀수 있는 문제였지만, 인터뷰의 실시간 타임에는 기존 수행이력이 있지 않다면 두루뭉실하게 알법한 내용이었다.

다음에도 기회가 주어지면, 이미 느낀점으로 보완 할 수 있겠다.
다음 지원도 가능하려나???

[코딩 테스트] 파이썬 코딩테스트 핵심 요약 (CheatSheet) - 코테 1시간전에 꼭 보자.

리치윈드 - windFlex — Tue, 24 May 2022 14:02:10 +0900

코딩테스트를 위한 컨닝페이퍼. Python Coding Test 시 유용한 자료구조 요약 및 활용 사례

자꾸만 망각하게 되는 코딩테스트 유형들. 자료구조 기준으로 요약을 정리하고, 활용 사례 및 예제를 정리해 보자. 코딩테스트 하루 전에 숙지해야할 내용들을 정리해 본다.

해시 (Hash)

Key-Value 쌍을 이용한 빠른 탐색

해시를 사용하는 대표적인 자료구조는 Dictionary 이다. 키-값 (Key-Value)를 사용하여 자료를 저장하는 해시(Hash) 중에서 Python에서는 Ditionary를 편하게 다루기 위해서 `Counter`, `defaultdict` 등의 라이브러리를 제공한다.

다음은 주어진 `단어배열` (Array of Words)에서 각 단어의 수를 세는 예제이다.

Counter()를 이용하면 아래와 같이 단순히 `Counter(array): --> dict`로 그 수를 세어 저장할 수 있다.

[ Counter ]

from collections import Counter
input_val = ["Hello", "World", "Python", "Hello", "Code", "Test", "with", "Python"]
a = Counter(input_val)
print(a)
# Counter({'Code': 1, 'Hello': 2, 'Python': 2, 'Test': 1, 'World': 1, 'with': 1})

Counter() 는 Dictionary로써 뿐만 아니라 산술연산을 지원한다. 따라서 동일한 Key에 대한 산술이 가능하므로, 아래와 같이 Key값의 빈도수에 대한 차이를 `a-b`만으로 구할 수 있다.

from collections import Counter
input_val = ["Hello", "World", "Python", "Hello", "Code", "Test", "with", "Python"]
a, b = Counter(input_val), Counter(input_val[:4])
print(a-b)
# Counter({'Python': 1, 'Code': 1, 'Test': 1, 'with': 1})

[ defaultdict ]

경우에 따라서는 `Counter()`가 아니락 직접 dictionary를 다루어야 할 때가 있다. 이 경우, dictionary를 생성하여 value를 계산하는데, 기본적으로 dictionary는 type이 지정되지 않기 때문에 `키-값 셋` (Key-Value 셋)의 초기화가 되어 있지 않다. 위처럼 단어수를 세는 예제의 경우 아래처럼 단순히 덧셈(Add)를 하여 처리 할 수 있다.

from collections import defaultdict
input_val = ["Hello", "World", "Python", "Hello", "Code", "Test", "with", "Python"]
d = defaultdict(int)
for w in input_val:
  d[w] = d[w]+1
print(d)

defaultdict를 사용하지 않고 Key값에 대한 초기화 없이 `dictionary[key]`를 사용하면 `Key Error`를 발생하게 될것이다. 이러한 경우 값이 없는 경우 초기화 해주는 코드를 추가해 주어야 하는데, defaultdict는 이 과정을 내부처리하도록 dictionary를 Class화 해둔 것이다. 편의성을 높이고, 에러발생율을 줄일 수 있다.

다음은 초기화 없이 dictionary에 수치 연산을 사용할 경우이다.

input_val = ["Hello", "World", "Python", "Hello", "Code", "Test", "with", "Python"]
d = dict()
for w in input_val:
  d[w] = d[w]+1
print(d)
---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-6-3c2a402366b9> in <module>()
      2 d = dict()
      3 for w in input_val:
----> 4   d[w] = d[w]+1
      5 print(d)

KeyError: 'Hello'

[ No Library ]

만약 collection library들을 사용할 수 없고, 순수 Python만을 사용해야 한다면 다음과 같이 초기화 처리를 해 주어야 한다.

input_val = ["Hello", "World", "Python", "Hello", "Code", "Test", "with", "Python"]
d = dict()
for w in input_val:
  d[w] = d[w]+1 if w in d.keys() else 1
print(d)
# {'Hello': 2, 'World': 1, 'Python': 2, 'Code': 1, 'Test': 1, 'with': 1}

딕셔너리(Dictionary)는 Key들의 순서가 없기 때문에 Index로 접근할 수 없다. Key로만 접근 할 수 있기 때문에, dict.keys()를 사용해서 전체 Key값을 List화 할 수 있다. 그러나, 어느 문서에서는 `dict.keys()`를 사용하지 말고, [w for w in d] 형태를 사용할것을 권고하기도 한다. dict.keys() 대신 dict변수이름 자체를 사용하면 key값을 반환한다.

그러나 위 예제에서 `w in d.keys()`는 list로 변환한다. 이 이야기는 해시의 장점인 Key-Search를 사용하지 않고 Full Search를 사용했다는 이야기가 된다. 즉 복잡도 O(n)이 추가 되는 과정이므로 위 전체 연산은 O(n^2)이 되어 버린다. 해시를 사용한 의미가 없다. 따라서, 위와 같은 예제는 해시의 키 값을 바로 사용하도록 아래와 같이 수정되어야 한다.

# Hash의 Key 초기화 : w in d.keys() ==> List로 변경되기 때문에 Hash Key Search를 사용하지 못하는 예
input_val = ["Hello", "World", "Python", "Hello", "Code", "Test", "with", "Python"]
d = dict()
for w in input_val:
  d[w] = d[w]+1 if w in d else 1
print(d)
# {'Hello': 2, 'World': 1, 'Python': 2, 'Code': 1, 'Test': 1, 'with': 1}

line 5 : `d[w] = d[w]+1 if w in d else 1` 으로 Hash Key 사용. 전체 Full Search 보다는 복잡도 감소

dict.get()

해시 키를 검사하는 `w in d` 와 유사하게, dictionary의 함수 get()을 활용할 수도 있다.

# Hash의 Key 초기화 : dict.get() 사용
input_val = ["Hello", "World", "Python", "Hello", "Code", "Test", "with", "Python"]
d = dict()
for w in input_val:
  d[w] = d.get(w,0)+1
print(d)
# {'Hello': 2, 'World': 1, 'Python': 2, 'Code': 1, 'Test': 1, 'with': 1}

dict.get(key, default) : dictionary에 key값을 반환한다. key값이 없으면 default를 반환한다.

[ 추가 문제 ]

각 단어별로 위치의 Index들을 저장하는 Dictionary를 반환하라. : dictionary ==> {word : [ index 1st , index 2th, ... ] } ex) {"Hello": [0, 3] , "Python" : [2, 7] , ... }

from collections import defaultdict
input_val = ["Hello", "World", "Python", "Hello", "Code", "Test", "with", "Python"]
d = defaultdict(list)
for i,w in enumerate(input_val):
  d[w].append(i)
print( d )
# {'Hello': [0, 3], 'World': [1], 'Python': [2, 7], 'Code': [4], 
#           'Test': [5], 'with': [6]})

스택/큐 (Stack/Queue)

스택 (Push/Pop), LIFO/FIFO, 큐 (Queue)

DeQueue

from collections import deque

dq=deque() # 덱 생성
dq.append() # 덱의 가장 오른쪽에 원소 삽입
dq.popleft() # 가장 왼쪽 원소 반환
dq.appendleft() # 덱의 가장 왼쪽에 원소 삽입
dp.pop() # 가장 오른쪽 원소 반환
dp.clear() # 모든 원소 제거
dp.copy() # 덱 복사
dp.count(x) #x와 같은 원소의 개수를 계산

프로그래머스 스택/큐 - 기능개발 문제 풀이

def solution(progresses, speeds):
    answer = []
    dq, s = [x for x in progresses], speeds
    
    while( len(dq)>0 ):
        r = 100-dq[0]
        div, remainder = r//s[0], r%s[0]
        nTimes = div if remainder==0 else div+1

        # update deploy of all functions
        dq = [x + nTimes*s[ti] for ti, x in enumerate(dq) ]

        # check if finish of each dev. and save the result into stack
        stack = []
        for ti,x in enumerate(dq):
            if x >= 100:
                stack.append(ti)
            else:
                break

        c = len(stack)
        answer.append( c )
        dq, s = dq[c:], s[c:]
    return answer

힙 (Heap)

Heap은 이진트리 구조로써, 최소값 최대값을 쉽게 구하기 위하여 특정 조건이 적용된 트리이다.
Heap 을 이용한 우선순위 큐

힙(heap)은 최댓값 및 최솟값을 찾아내는 연산을 빠르게 하기 위해 고안된 완전이진트리(complete binary tree)를 기본으로 한 자료구조(tree-based structure)로서 다음과 같은 힙 속성(property)을 만족한다.

A가 B의 부모노드(parent node) 이면, A의 키(key)값과 B의 키값 사이에는 대소관계가 성립한다.

힙의 구조. Heap. 출처 : 위키피디아

heap 자주 사용하는 함수
- heappush / heappop
- heapify() --> 기존 list를 heapq 구조체로 자체 변환

import heapq as hq

h=[]
hq.heappush(h, 30)
hq.heappush(h, 10)
hq.heappush(h, 20)
hq.heappush(h, 15)

print(h) # [10, 15, 20, 30]
print(hq.heappop(h)) # 10
print(h) # [15, 30, 20]

h2 = [10, 1,2,3,9,5]
hq.heapify(h2)
print(h2)  # [1, 3, 2, 10, 9, 5]
print(h2[0]) # 1

Min Heap

import heapq as hq
h = [4,1,2,3,9,5]
hq.heapify(h)
print(h)
min_heap = [hq.heappop(h) for _ in range(len(h))]
print(min_heap)

Max Heap

# Max Heap --> 음수화
h2 = [4,1,2,3,9,5]
h2 = [ -1*x for x in h2]
hq.heapify(h2)
max_heap = [-1*hq.heappop(h2) for _ in range(len(h2))]
print(max_heap)

Max Heap : tuple을 사용하는 경우

import heapq as hq
heap_items = [1,3,5,7,9]
h=[]
for x in heap_items:
    hq.heappush(h, (-x,x))
print(h) # [(-9, 9), (-7, 7), (-3, 3), (-1, 1), (-5, 5)]
print([ x[1] for x in h])  # [9, 7, 3, 1, 5]

Heap을 사용한 예제 : 프로그래머스 "더 맵게"

참조 : https://programmers.co.kr/learn/courses/30/lessons/42626

import heapq

def solution(scoville, K):
    answer = 0
    heapq.heapify(scoville)
    
    for i in range(1000000000):
        if len(scoville)<=1: return -1
        heapq.heappush(scoville, heapq.heappop(scoville) + heapq.heappop(scoville)*2)
        answer+=1
        if scoville[0]>=K : 
            return answer

    return -1

정렬 (Sort)

여러가지 기준으로 정렬, 문제를 풀어보자

단순정렬 (List) , 오름차순

a = [1, 5, 2, 6, 3, 7, 4]
d = sorted(a)
print(d) # [1, 2, 3, 4, 5, 6, 7]

단순정렬 (List), 내림차순 (reverse=True)

a = [1, 5, 2, 6, 3, 7, 4]
d = sorted(a, reverse=True)
print(d) # [7, 6, 5, 4, 3, 2, 1]

내림차순 정렬을 할 때, 오름차순으로 정렬 후 전체 순서를 반대로 뒤집어서 처리할 수도 있다. `d = sorted(a)[::-1]`

Sort by Key : 정렬하고자 하는 Key를 별도로 지정할 때

a = [1, 5, 2, 6, 3, 7, 4]
b = [10, 2, 5, 7, 3, 1, -1]
c = [ (x,y) for x,y in zip(a,b)]

e = sorted(c, key=lambda x: x[1])
print(e) # [(4, -1), (7, 1), (5, 2), (3, 3), (2, 5), (6, 7), (1, 10)]
print([ x[0] for x in e]) # [4, 7, 5, 3, 2, 6, 1]

Dictionary 관련 정렬

a = {'a': 10, 'f': 5, 'c':3, 'b': 15, 'e': 20, 'd':13}

b = sorted(a)
c = sorted(a.items())
d = sorted(a.items(), key=lambda x: x[1])
print( b ) # ['a', 'b', 'c', 'd', 'e', 'f']
print( c ) # [('a', 10), ('b', 15), ('c', 3), ('d', 13), ('e', 20), ('f', 5)]
print( d ) # [('c', 3), ('f', 5), ('a', 10), ('d', 13), ('b', 15), ('e', 20)]

dictionary 자체만 사용하면 기본적으로 Key를 반환한다. `dict.items()` 는 "Key-Value" 쌍을 튜플로 반환해준다.

완전탐색 (Full Search)

python

시간만 충분하다면, 완전 탐색이 명확하지...

완전 탐색은 수많은 방법이 있기 때문에, for 문과 조건검색을 잘 사용하면 될것 같다.

Python의 경우는, List Compression, map, Lambda, zip 등이 유용하게 사용될 수 있다.

또한, 만약 Numpy 등을 사용할 수 있다면, Python은 최고의 해결법이 될 것 이다.

다음은 프로그래머스 "완전탐색" 영역의 "모의고사"문제 이다.

< 문제 정의>

다음 패턴 3개를 주어진 배열(Array)와 Full Matching하여 Matching되는 갯수를 세는 문제이다.

1번 수포자가 찍는 방식: 1, 2, 3, 4, 5, 1, 2, 3, 4, 5, ...
2번 수포자가 찍는 방식: 2, 1, 2, 3, 2, 4, 2, 5, 2, 1, 2, 3, 2, 4, 2, 5, ...
3번 수포자가 찍는 방식: 3, 3, 1, 1, 2, 2, 4, 4, 5, 5, 3, 3, 1, 1, 2, 2, 4, 4, 5, 5,

매칭된 갯수가 동일 (max치가 여러개)일 때 인덱스로 정렬하여 제출하는 것만 유의하면 크게 문제될것이 없다.

def solution(answers):
    answer = []
    n = len(answers)
    s1 = [1, 2, 3, 4, 5] * (n//5+1)
    s2 = [2, 1, 2, 3, 2, 4, 2, 5] * (n//8+1)
    s3 = [3, 3, 1, 1, 2, 2, 4, 4, 5, 5] * (n//10+1)
    s = [s1[:n], s2[:n], s3[:n] ]

    c = [0,0,0]
    for i,x in enumerate(answers):
        c = [ c[j]+1 if x-s[j][i]==0 else c[j] for j in range(3)]
    m = max(c)
    d = [x for x in zip(c, [1,2,3])]
    e = [x[1] for x in d if x[0]==m]

    return sorted(e)

이분 탐색 (Binary Search)

python

완전탐색은 너무 오래걸려. 효율적으로 값을 찾아보자.

깊이/너비 우선 탬색 (DFS/BFS)

python

탐색 방식 : 깊이 우선? 너비 우선?

( 작성중 )

탐욕 알고리즘 (Greedy Algorithm)

로컬 최적이 전체 최적이 되는 경우

로컬에서 주어진 데이터에서 최적을 선택을 하고, 전체로 확대 한다.

이 때 주어진 list 등에서 추가(Insert)하거나, 제거 (remove)하면, 전체 List가 변하기 때문에, 반복문에 영향이 가지 않도록 유의 해야 한다. 대표적으로, 다음과 같은 명령어가 있다고 하면,

for x in y:
	if x>5: y.remove(x)

for문이 y의 원소인데 중간에 y의 원소를 추가 삭제하면, Loop가 정상적으로 동작하지 않는다.

다음은 프로그래머스의 탐용법 (Greedy) 알고리즘의 체육복 문제이다.

문제 정의는 다음 접은글을 확인 하기 바란다.

체육복이 도난당함. 체육복을 보유한 학생만 수업에 참석 가능. 최대 수업참석 학생수를 구하는 문제

n : 전체 학생수
lost : 체육복을 잃어버린 학생 인덱스(array)
reserve: 여벌의 체육복 보유 학생의 인덱스 (array)
여벌의 체육복이 있는 학생들이 빌려줄 수 있음. 여벌의 체육복이 있는 학생 (reserve)는 자신의 앞번호/뒷번호만 빌려줄수 있음
여벌의 체육복을 보유한 학생이, 또다른 한벌을 도난당했을 수도 있음. 이 경우 다른 사람에게 빌려줄 수 없음

def solution(n, lost, reserve):
    answer = 0
    lost.sort()
    reserve.sort()
    lost_self =[]
    rs = reserve.copy()
    for r in rs:
        if r in lost:
            lost.remove(r)
            reserve.remove(r)
    for r in reserve:
        if (r-1 in lost):
            lost.remove(r-1)
            continue
        elif (r+1 in lost): 
            lost.remove(r+1)
            continue
            
    return n-len(lost)

동적 계획법/다이나믹 프로그래밍 (Dynamic Programming)

반복되는 계산은 줄인다....

동적 계획법이 활용될 수 있는 경우는, 수열로 표현이 되는 경우이다.

즉, `X(t) = X(t-1) + X(t-2)` 등과 같이 반복적으로 표현 되는 경우라 할 수 있다.

대부분 Recursive 형태로 표현이 가능한 경우, 동적 계획법을 사용하면 효과적이라 볼 수 있다.

기본적으로 동적 계획법은 동일한 연산이 반복 되기 때문에, 1) 이러한 연산을 미리 저장 (Memoization) 해 놓고 이를 참조해서 사용하는 방법, 2) 혹은 Recursion을 사용하는 방법으로 나뉜다.

다음은 프로그래머스의 동적계획법 (Dynamic Programming) 문제중, "정수 삼각형" 문제의 풀이이다.

문제 정의는 다음 접은글 확인

삼각형을 이루는 숫자가 주어진다.
삼각형의 꼭대기에서 바닥까지 이어지는 경로중 거쳐간 숫자의 합이 가장 큰경우를 찾는 문제
아래로 한칸씩만 이동할 수 있다. 즉, 바로 아래 왼/오른쪽 숫자 둘중 하나로만 이동이 가능하다.
아래와 같은 삼각형을 표현할 때 입력을 Array:
[[7], [3, 8], [8, 1, 0], [2, 7, 4, 4], [4, 5, 2, 6, 5]]

정삼각형의 꼭대기에서 바닥까지 이어지는 경로중 최대값 찾기 문제 (동적계획법)

이 문제는 다음과 같은 식으로 표현이 가능하기 때문에 동적계획법을 사용하기에 최적 문제이다.

r행, c열 위치에서 최대값은, r+1행의 c열과, r+1행 c+1열의 값에 의존한다. 현 위치의 값인 triangle[r][c]는 고정된 상수이다.
따라서, r행 c열에서의 최대값은 다음과 같이 정의할 수 있다.
t[r][c] = triangle[r][c] + max( t[r+1][c] , t[r+1][c+1] )
단, 초기 값은 설정을 해 주어야 한다.
t[ 마지막행] [ 각 열 ] = triangle[마지막행] [ 각 열]

따라서, 위 내용을 코드로 표현하면 다음과 같이 표현 할 수 있다. 차이점이 있다면, 삼각형의 밑변부터 위로 올라오며 계산한 부분만 차이라 할 수 있겠다.

def solution(triangle):
    answer = 0
    t = [ [0]*len(x) for x in triangle ]
    nRows = len(triangle)
    
    for r in range(nRows)[::-1]:
        # print(f' - {r}th : {t}')
        for c in range(r+1):
            if r==nRows-1:
                t[r][c] = triangle[r][c]
            else:
                t[r][c] = triangle[r][c] + max(t[r+1][c], t[r+1][c+1])
    
    return t[0][0]

그래프 이론 (Graph Theory)

python

노드(Node)와 엣지(Edge)

리치윈드 (RichWind)

맥북에서 Docker 사용 최적화 방법 3가지

맥북에서 Docker Compose가 느린 이유와 최적의 해결책 3가지

1. 가장 쉬운 정공법: Docker Desktop (VirtioFS 설정)

2. 가벼움의 끝판왕: OrbStack (강력 추천)

3. 미니멀리스트를 위한 선택: Colima

한 줄 요약: 어떤 것을 선택할까요?

마무리하며

도구별 실행 및 Docker Compose 예제

1. Docker Desktop: 설정이 전부입니다

2. OrbStack: 설치 즉시 마이그레이션

3. Colima: 터미널 기반의 정석 (Hello World 예제)

실무 꿀팁: 어떤 상황에 무엇을 쓸까?

⚠️ 주의사항

Claude Code Tutorial-2 (클로드 코드 튜터리얼)

Skills & 병렬 에이전트 완전 정복

Skills란 무엇인가

SKILL.md 구조 이해

첫 Skill 직접 만들기

실수: Unknown skill 에러

병렬 에이전트란 무엇인가

병렬 실행 직접 해보기

Task vs Explore 에이전트

1·2편 전체 로드맵 총정리

Claude Code Tutorial - 1 (클로드 코드 튜터리얼)

Claude Code를정교하게 사용하는 법

시작 전 환경 확인

CLAUDE.md — 한 번 쓰고 영원히 적용

Plan Mode — 실행 전 계획 검토

슬래시 명령어 마스터

@ 파일 참조 — 정확한 컨텍스트

프롬프트 패턴 — 되묻기 없애기

Hooks — 자동화 트리거

실전 워크플로우 총정리

맥북 샀어? 그럼 터미널부터 꾸며야지! Zsh & Warp 완벽 가이드

맥북 샀어? 그럼 터미널부터 꾸며야지! Zsh & Warp 완벽 가이드

1. 터미널의 국룰, Oh My Zsh 설치하기

✨ 왜 쓰나요?

설치 방법

Oh My Zsh & Powerlevel10k 상세 설정 가이드

1. 폰트 설치 (가장 중요! ⭐)

2. Powerlevel10k 설치하기

3. 테마 적용하기

4. 인터랙티브 설정 (Wizard)

생산성을 높여주는 필수 플러그인 설정

① 플러그인 다운로드

② .zshrc 파일에 등록

2. 터미널의 혁명, Warp가 왜 필요할까? ⚡️

Warp를 써야 하는 이유 (Necessity)

3. Warp 설치 및 설정하기 ️

✅ 설치하기

✅ 초기 설정 팁

4. 한눈에 비교: Zsh vs Warp ⚖️

마치며 ✍️

2025년 글로벌 경제 동향 분석: Fed 정책과 시장 전망

2025년 글로벌 경제 동향 분석

1. 연방준비제도(Fed) 통화정책 동향

2. 글로벌 IPO 시장 침체

3. 미국 달러 강세와 원유가 상승

4. 이란-이스라엘 갈등 영향

5. 글로벌 무역 긴장 고조

참고 자료

2025년 6월 부동산/경제 동향 종합 보고서

2025년 6월 부동산/경제 종합 보고서

1. 부동산 시장 동향

2. 산업용 부동산 시장 현황

3. 정부 정책 동향

4. 제로에너지 인증 의무화 정책

5. 거시경제 환경

참고자료

2025년 여름 휴가 트렌드: 새로운 여행의 패러다임과 추천 여행지

1. 2025년 주목해야 할 여행 트렌드

1) 경험 중심의 여행 (Experience-focused Travel)

2) 스마트 버짓 여행 (Smart Budget Travel)

3) 웰니스 & 힐링 여행 (Wellness Travel)

4) 쿨케이션 (Coolcation)

2. 2025년 추천 여행지

1) 국내 추천지

2) 해외 추천지

마치며

Skills &
병렬 에이전트 완전 정복

Claude Code를
정교하게 사용하는 법

② `.zshrc` 파일에 등록