분류 전체보기 299

git commit 관련 조작하기 (feat. lazygit)

brew install lazygit커밋 메시지 renaming가끔 github workflow 에 커밋메시지 포맷을 검사하는 루틴이 있는 경우가 있다그런 경우 과거 커밋 메시지들을 포맷에 맞게 재설정해야한다 git rebase -i HEAD~20 입력 ㄱㄱ여기서 바꾸고 싶은 커밋 옆에 pick 지우고 reword 라 쓰고 넘어가면한 커밋씩 메시지를 바꿀 수 있다 Vim이랑 사용법 좀 다르니 유의ctrl+X 가 exit, format은 그냥 선택 안 하고 엔터만 입력해도 됨풀리퀘 안에 중복된 커밋 합치기커밋 1에서 추가한 함수의 type hint 가 파이썬 3.8 문법에서는 지원을 안 해 workflow 일부에서 실패를 하는 현상이 발생했고,이것이 커밋 3에서 수정되었다. 동일 함수에 대한 수정 사항이 ..

etc 2024.08.29

github에는 못올리는 큰 파일 dvc로 관리하기

DVC & git lfs?git lfs (large file storage)100MB 이상 파일은 Git LFS를 이용해 GitHub Repository에 저장할 수 있음중소형 데이터는 Git LFS를 이용하는 것을 추천2GB가 넘어가는 대용량 데이터의 경우 data quota 넘어감..깃헙에서 제공하는 lfs 서버는 데이터 사이즈 제약이 심해서 자체 lfs 서버 운영 필요dvc (data version control)모델과 데이터 등의 버전 관리를 위한 오픈 소스DVC는 데이터를 추적하는 데에 사용할 메타 데이터와 설정 파일을 생성하고, DVC에 의해 생성된 파일을 git이 추적하여 버전 관리를 진행dvc 의 경우 data 를 저장할 storage 만 설정해주면 됨, remote storage 내 위치..

etc 2024.08.29

효율적인 MLOps를 가능케 하는 ClearML

💡What’s ClearML머신러닝 관련 업무들을 생성하고 자동화, 관리해주는 플랫폼 (실험/모델/데이터)For ML Engineers학습 메트릭, 모델을 추적 및 업로드/다운로드실험 재현데이터 업로드/다운로드, 버전관리For DevOps EngineersCloud/On-premise 상관없이 원격에 있는 리소스를 누구든지 쉽게 사용할 수 있도록 구성clearml-agent그래서 왜쓰냐? (사수님 왈)remote execution 가능 (clearML server 존재할 때)ckpt들을 클라우드에 자유롭게 업로드/다운로드 가능queue에 넣어두고 자동으로 빈 gpu 사용하도록 할 수 있어서 편함hparams를 자동으로 optimize내가 쓰면서 느낀거metric 등을 추가하고 손쉽게 시각화할 수 있음원..

AI/DL 2024.08.29

rsync로 원격 서버에 파일 빨리 올리기

rsync -avz -e "ssh -p [PORT_NUM]" ./GAZE_3D [username]@[IP]:/home/minseokim/gaze_3d/data/GAZE_3Da는 아카이브 모드 (서브디렉토리, 심볼릭링크, 퍼미션 등등을 보존)v는 Verbose 모드 (상세한 진행 로그)z는 데이터 전송 시 압축 사용하여 대역폭 절약-e “ssh -p NUM” 은 ssh 설정을 위해 필요맥에서 옮겨야한다면 .DS_Store 파일(메타데이터)까지 같이 옮겨지면 안되니까find . -name '.DS_Store' -type f -delete이렇게 현재 폴더부터 재귀적으로 찾으며 이름이 .DS_Store 이고 일반 파일인 것들만 전부 지우면 됨 rsync -avz -e "ssh -p [PORT_NUM]" [use..

etc 2024.08.29

lightning-hydra-template CIFAR-10 데이터셋 학습해보기

https://github.com/ashleve/lightning-hydra-template GitHub - ashleve/lightning-hydra-template: PyTorch Lightning + Hydra. A very user-friendly template for ML experimentation. ⚡PyTorch Lightning + Hydra. A very user-friendly template for ML experimentation. ⚡🔥⚡ - ashleve/lightning-hydra-templategithub.com 💡 CIFAR-10 데이터셋 활용해보기1. configs/data/cifar10.yaml 파일을 만들어 설정 추가CIFAR10 dataset은 이미 학습세트 /..

AI/DL 2024.08.29

lightning-hydra-template 코드분석

https://github.com/ashleve/lightning-hydra-template GitHub - ashleve/lightning-hydra-template: PyTorch Lightning + Hydra. A very user-friendly template for ML experimentation. ⚡PyTorch Lightning + Hydra. A very user-friendly template for ML experimentation. ⚡🔥⚡ - ashleve/lightning-hydra-templategithub.comPyTorch Lightning과 Hydra를 사용하여 딥러닝 프로젝트를 설정하고 관리하기 위한 템플릿딥러닝 모델 개발, 훈련, 검증, 테스트 등의 과정을 구조화하..

AI/DL 2024.08.29

PyTorch와 PyTorch Lightning

💡 PyTorch 설치 관련pip install "numpyNumpy 1.x 버전으로 다운그레이드PyTorch가 NumPy 2.0.0과의 호환성 문제를 일으키더라고요 (지금은 아닐수도?)pip install torch, torchvision, matplotlib, pandas필요한 패키지 선택적으로 추가 설치 ㄱㄱ💡 PyTorch 튜토리얼 (온라인)https://tutorials.pytorch.kr/beginner/basics/intro.htmlhttps://tutorials.pytorch.kr/recipes/recipes_index.html💡 PyTorch Lightning 이란PyTorch 기반의 딥러닝 모델을 더 쉽게 개발하고 관리할 수 있도록 도와주는 고수준의 라이브러리Lightning Mo..

etc 2024.08.29