코딩하는 애옹😸

아자아자화이팅! 먼저 Ai Stages에서 서버를 생성합니다. 서버 생성과 동시에 key 파일이 다운로드 됩니다. 0. Key 파일을 ~/.ssh 에 복사-붙여넣기 혹은 \Users\사용자이름\.ssh 에 복붙! 1. VScode의 extension에서 Remote-SSH 다운로드 ctrl + shift + x : extension 열기 2. F1 을 눌러서 Add New SSH Host... 선택 Remote-SSH : Add New SSH Host... 선택 3. ssh 입력 ssh -i ~/.ssh/key root@ip주소 -p 포트번호 를 입력하시면 됩니다. 해당 정보는 AI Stages > 서버 > 내 서버 > SSH 에서 확인하실 수 있습니다. 4. Config File /Users/사용자이름..

Baseline 이후에 실험 해봐야할 사항들 1. 주의해야할 사항들 디버깅 모드 : 실험환경이 잘 설정되어있는지 체크, step에 따라 loss가 잘 감소한다면 CFG.debug=False로 하여 전체 실험 진행 if CFG.debug: CFG.epochs = 2 train = train.sample(frac=0.05, random_state=CFG.seed).reset_index(drop=True) 시드 고정 : 실험마다 성능이 달라지는 것을 방지 def set_seeds(seed=42): random.seed(seed) os.environ['PYTHONHASHSEED'] = str(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manua..

저작권이란? 사람의 생각이나 감정을 표현한 결과물(저작물)에 대하여 창작자에게 주는 권리로 "창작성"이 있다면 별도의 등록절차없이 자연히 발생한다. Q. 게시글의 댓글의 저작권은? 댓글의 내용에 따라, "창작성"이 인정되는 수준의 문장에는 저작권 부여 합법적으로 데이터 사용하기 1. 저작자와 협의 저작재산권 독점적 이용허락인 경우, 저작자는 계약을 체결한 이용자에게 데이터 이용에 대한 "독점적"인 권리 행사를 허락 저작재산권 비독점적 이용허락인 경우, 저작자는 계약을 체결한 이용자 외에도 데이터 이용계약을 맺을 수 있음 저작재산권 전부/일부에 대한 양도 https://www.copyright.or.kr/customer-center/download-service/copyright-contract-form/..

PyTorch Troubleshooting GPUtil 사용하기 GPU의 상태를 보여줌 iter마다 메모리가 늘어나는지 확인 !pip install GPUtil import GPUtil GPUtil.showUtilization() 1. empty_cache() 써보기 torch.cuda.empty_cache() 사용되지 않은 GPU상 cache 정리 Loop 전에 실행하면 이전의 학습에 남아있던 메모리들에 의해 영향을 받을 확률이 적음 2. Training loop에 tensor로 축적되는 변수 확인 tensor로 처리된 변수는 GPU 상에 메모리 사용 해당 변수 loop 안에 연산이 있을 때 GPU에 computation graph를 생성 (메모리 잠식) 3. 가능 batch 사이즈 실험 batch s..

Multi-GPU Model parallel 다중 GPU에서 학습 분산 방법 모델 나누기 (AlexNet) 데이터 나누기 (출처) http://www.idris.fr/eng/ia/model-parallelism-pytorch-eng.html Data parallel 데이터를 나눠서 GPU에 각각 할당한 후, 결과의 평균을 구함 forward 데이터를 나눠서 GPU에 각각 할당 모델들을 각각의 GPU에 복사 연산 실행 -> 결과를 한 GPU에 모아서 loss 계산 backward 각각의 GPU에 나눔 weight의 새로운 그래디언트 값 구함 모아서 하나의 GPU가 평균을 냄 -> GPU 사용 불균형 문제 발생, Batch 사이즈 감소, GIL DistributedDataParallel 모으지 않고 각각 개..

model.save() 학습의 결과 저장 모델 형태(architecture) 와 parameter 저장 ## state_dict : 모델의 parameter 표시 for param_tensor in model.state_dict(): print(param_tensor,"\t",model.state_dict()[param_tensor].size()) ​ ## torch.save : 모델의 parameter 저장 torch.save(model.state_dict(), os.path.join(MODEL_PATH, "model.pt")) ​ ## 같은 모델의 형태에서 parameter load new_model = TheModelClass() new_model.load_state_dict(torch.load(o..