PyTorch GPU setting

• PyTorch GPU 버전을 설치한다고 GPU를 사용하지 않습니다.
• GPU가 여럿이라면 어떤 GPU가 사용 가능한지 확인하고,
• 변수와 모델에 GPU 사용 설정을 해야 합니다.

1. PyTorch 버전 확인

• 현재 버전을 확인합니다.

  import torch, torchvision
  print(torch.__version__)
  print(torchvision.__version__)

  • 실행 결과

    1.7.1+cu101
    0.8.2+cu101

2. GPU 현황 확인

• GPU가 사용 가능한지 확인합니다.
• 사용 가능하다면, 메모리 점유 현황을 출력합니다.

  if torch.cuda.is_available():
      for i in range(torch.cuda.device_count()):
          print(f"# DEVICE {i}: {torch.cuda.get_device_name(i)}")
          print("- Memory Usage:")
          print(f"  Allocated: {round(torch.cuda.memory_allocated(i)/1024**3,1)} GB")
          print(f"  Cached:    {round(torch.cuda.memory_cached(i)/1024**3,1)} GB\n")
          
  else:
      print("# GPU is not available")

  • 실행 결과

    # DEVICE 0: Tesla V100-PCIE-32GB
    - Memory Usage:
      Allocated: 0.0 GB
      Cached:    0.0 GB
    
    # DEVICE 1: Tesla V100-PCIE-32GB
    - Memory Usage:
      Allocated: 0.0 GB
      Cached:    0.0 GB
    
    # DEVICE 2: Tesla V100-PCIE-32GB
    - Memory Usage:
      Allocated: 0.0 GB
      Cached:    0.0 GB

3. GPU 할당 변경

• 작업할 GPU를 선정합니다.

  # GPU 할당 변경하기
  GPU_NUM = 2 # 원하는 GPU 번호 입력
  device = torch.device(f'cuda:{GPU_NUM}' if torch.cuda.is_available() else 'cpu')
  torch.cuda.set_device(device) # change allocation of current GPU
  
  print ('# Current cuda device: ', torch.cuda.current_device()) # check

  • 실행 결과

    # Current cuda device:  2

4. GPU 사용을 기본값으로 설정

• 변수를 만들때 자동으로 GPU를 사용하게 설정합니다.
• 앞서 GPU_NUM으로 지정한 GPU에 할당됩니다.

  if torch.cuda.is_available():
      torch.set_default_tensor_type(torch.cuda.FloatTensor)
      print(f"using cuda: {GPU_NUM}, {torch.cuda.get_device_name(GPU_NUM)}")

• 실행 결과

  using cuda: 2, Tesla V100-PCIE-32GB

• 변수를 만들어 확인합니다.

  x = torch.FloatTensor([1.0])
  x.type()

  • 실행 결과

    'torch.FloatTensor'

• GPU 사용을 기본값으로 명시했는데 안올라갑니다.

• 강제로 올려봅니다.

  x = x.cuda()
  x.type()

  • 실행 결과

    'torch.cuda.FloatTensor'

• 그냥 torch.Tensor()를 해야 GPU에 올라갑니다.
• 자료형도 내가 원하는 torch.cuda.FloatTensor입니다.

  x = torch.Tensor([1.0])
  x.type()

  • 실행 결과

    'torch.cuda.FloatTensor'