코딩하는 애옹😸

학습 계획 Data Visualizatioin (1-1강) Welcome to Visualization (1-2강) 시각화 요소 (1-3강) Python과 Matplotlib (2-1강) Bat Plot 사용하기 (2-2강) Line Plot 사용하기 (2-3강) Scatter Plot 사용하기 오늘 정리한 내용 github Link 1 - Matplotlib gitgub Link 2 - plot GitHub - Yewon-dev/boostcamp-AI-Tech: 🚀 NAVER CONNECT Boostcamp AI Tech 🚀 NAVER CONNECT Boostcamp AI Tech. Contribute to Yewon-dev/boostcamp-AI-Tech development by creating a..

학습 계획 복습 2주차 강의 내용 복습 피어세션 및 행사 10:00 데일리 스크럼 15:00 스페셜 피어세션 16:00 피어세션 17:00 마스터 클래스 회고 바쁜 하루였지만 강의를 미리 들어놓은 탓에 여유롭게 복습할 수 있었다.

📚 데일리 회고 Week 2 Day 6 Week 2 Day 7 Week 2 Day 8 Week 2 Day 9 Week 2 Day 10 👍 좋았던 것 다른 팀원분이 나의 정리 노트를 보고 질문 주신 것 추가 공부에 대한 계획 세운 것 👎 아쉬운 것 피어세션 때 질문을 많이 못한 것 -> 질문을 준비해가자! 내 코드를 보여주고 코드리뷰 요청할 것 (과제를 미리 끝내야..) 🚀 도전할 것 논문 스터디 잘 굴려봅시당 알고리즘 공부 꾸준히 하기 ❗️느낀점 체력관리의 중요성 강의 내용을 완벽히 숙지하는 것도 중요하지만, 과제를 통해 실제로 코드를 접해보고 몰랐던 것을 더 자세히 공부하는 시간을 늘려야겠다.

학습 계획 PyTorch 8강 Multi-GPU 학습 9강 Hyperparameter Tuning 10강 PyTorch Troubleshooting 기본 퀴즈 [퀴즈] PyTorch 활용하기 피어세션 및 행사 10:00 데일리 스크럼 16:00 피어세션 18:00 오피스 아워 회고 수업도 다 듣고 퀴즈, 과제도 끝내고 이제 정리만 남았다. ㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎ 재밌겠다

PyTorch Troubleshooting GPUtil 사용하기 GPU의 상태를 보여줌 iter마다 메모리가 늘어나는지 확인 !pip install GPUtil import GPUtil GPUtil.showUtilization() 1. empty_cache() 써보기 torch.cuda.empty_cache() 사용되지 않은 GPU상 cache 정리 Loop 전에 실행하면 이전의 학습에 남아있던 메모리들에 의해 영향을 받을 확률이 적음 2. Training loop에 tensor로 축적되는 변수 확인 tensor로 처리된 변수는 GPU 상에 메모리 사용 해당 변수 loop 안에 연산이 있을 때 GPU에 computation graph를 생성 (메모리 잠식) 3. 가능 batch 사이즈 실험 batch s..

Multi-GPU Model parallel 다중 GPU에서 학습 분산 방법 모델 나누기 (AlexNet) 데이터 나누기 (출처) http://www.idris.fr/eng/ia/model-parallelism-pytorch-eng.html Data parallel 데이터를 나눠서 GPU에 각각 할당한 후, 결과의 평균을 구함 forward 데이터를 나눠서 GPU에 각각 할당 모델들을 각각의 GPU에 복사 연산 실행 -> 결과를 한 GPU에 모아서 loss 계산 backward 각각의 GPU에 나눔 weight의 새로운 그래디언트 값 구함 모아서 하나의 GPU가 평균을 냄 -> GPU 사용 불균형 문제 발생, Batch 사이즈 감소, GIL DistributedDataParallel 모으지 않고 각각 개..