CUDA out of memory 해결

1. 캐시 삭제

import torch, gc
gc.collect()
torch.cuda.empty_cache()

2. GPU process 강제종료

$ nvidia-smi

process PID kill

Python 프로세스가 종료되더라도 child process가 zombie 상태로 남아있는 것임.
Zombie 상태의 Python 프로세스는

ps aux | grep python

명령어를 치면 Python <defunct\> 인 프로세스가 나온다.

이 프로세스 + Parent Process까지 Kill하면 GPU memory를 반환한다.

sudo kill -15 PID

참고

Python 프로세스를 종료시켜도 GPU Memory를 반환하지 않고, nvidia-smi에 process ID가 나오지 않을 때 해

정상적으로 종료되지 않은 노드 프로세스 에러 해결 및 안전하게 프로세스를 종료시키는 방법