[CUDA] 1. 소개 및 설치 for windows(Feat. GTX 1650)

https://assets.nvidiagrid.net/ngc/logos/Cuda.png

---

용어정의

CUDA, CUDA Toolkit, cuDNN은 NVIDIA에서 개발한 GPU 컴퓨팅 관련 기술들로, 각각 다음과 같은 특징을 가지고 있습니다

 

CUDA (Compute Unified Device Architecture)

CUDA는 NVIDIA가 개발한 병렬 컴퓨팅 플랫폼 및 프로그래밍 모델입니다

• 정의: GPU에서 수행하는 병렬 처리 알고리즘을 C, C++ 등의 프로그래밍 언어로 작성할 수 있게 해주는 기술입니다
• 목적: GPU의 강력한 병렬 처리 능력을 일반적인 컴퓨팅 작업에 활용하기 위해 개발되었습니다
• 특징: GPU의 가상 명령 집합과 병렬 연산 요소들에 직접 접근할 수 있는 소프트웨어 계층을 제공합니다         
            대량의 병렬 연산을 동시에 처리하는 것이 주요 목표입니다

CUDA Toolkit

CUDA Toolkit은 GPU 가속 애플리케이션을 개발하기 위한 종합적인 개발 환경입니다

CUDA를 사용하려면, CUDA Toolkit을 설치해야 합니다.

• 구성요소
  • GPU 가속 라이브러리
  • 디버깅 및 최적화 도구
  • C/C++ 컴파일러
  • 런타임 라이브러리
  • 다양한 고급 C/C++ 및 Python 라이브러리에 대한 액세스
• 기능: 개발자들이 GPU 가속 임베디드 시스템, 데스크톱 워크스테이션, 엔터프라이즈 데이터센터, 클라우드 기반 플랫폼, HPC 슈퍼컴퓨터 등에서 애플리케이션을 개발, 최적화, 배포할 수 있게 해줍니다
• 활용: 개발자들은 CUDA Toolkit을 사용하여 연산 집약적인 코드 부분을 GPU에서 실행되도록 업데이트하여 C 또는 C++ 애플리케이션을 가속화할 수 있습니다
  
  

cuDNN (CUDA Deep Neural Network library)

cuDNN은 심층 신경망(DNN)을 위한 GPU 가속 라이브러리입니다

• 정의: CUDA Deep Neural Network의 약자로, 딥 러닝 작업을 위해 특별히 설계된 라이브러리입니다
• 목적: 딥 러닝 기본 요소를 최첨단 성능으로 가속화하기 위해 개발되었습니다
• 특징:
  • CUDA 프레임워크 위에 구축되어 있습니다
  • Pooling, Convolution 등 딥 러닝의 기본 연산을 빠르게 수행할 수 있도록 최적화되어 있습니다
  • PyTorch, TensorFlow 등 인기 있는 딥 러닝 프레임워크와 통합됩니다
• 성능: cuDNN은 내부에서 성능 엔진 역할을 하여 딥 러닝 프레임워크에서 작업을 최대한 효율적으로 실행할 수 있게 해줍니다

이 세 가지 기술은 서로 밀접하게 연관되어 있으며, GPU를 활용한 고성능 컴퓨팅과 딥 러닝 애플리케이션 개발에 핵심적인 역할을 합니다.

 

 

※ 위 글을 perflexity 에서 아래의 프롬프트로 생성 된 글입니다.

CUDA, CUDA TOOLKIT, cuDNN 에 대해서 각각 설명해줘

---

CUDA 설정

CUDA 설치 전,GPU 사용가능여부 확인

-GPU 를 사용할 수 없다고 나온다.

import torch

if torch.cuda.is_available():
    print("GPU is available")
    print("GPU device count:", torch.cuda.device_count())
    print("Current GPU device:", torch.cuda.current_device())
else:
    print("GPU is not available, using CPU")

 

CUDA를 사용하기 위해 CUDA와 cuDNN 설치가 필요하다.

---

1. 자신의 그래픽카드 종류 확인

- "제어판"의 "장치관리자"에서 "디스플레이 어댑터" 항목 확인

그래픽 카드

NVIDIA Geforce GTX 1650

 

 

2. 그래픽 드라이버 설치 (최식 업데이트 포함)

※ 최신 버전의 드라이버가 정상적으로 설치 된 경우, 이 부분은 건너띌 수 있습니다.

- 아래 의 사이트 접속

https://www.nvidia.com/ko-kr/drivers/

최신 정식 NVIDIA 드라이버 다운로드

 

- 검색항목을 각자 맞게 입력 후, 찾기 버튼 클릭

 

- "GeForce Game Ready 드라이버" 의 "보기" 클릭

※ 이때, Download Type은 Game Ready Driver (GRD), Studio Driver (SD)를 선택해야 되는데, CUDA 설치 시 특정 type이 필요하다는 내용이 없습니다. 일반적으로 설치하는 드라이버인 GRD로 설치하면 실행에 문제가 없습니다.

 

- 다운로드" 클릭

 

- 다운받은 드라이버를 설치 해 줍니다.

 

3. 설치 된 그래픽 카드의 CUDA 버전 확인

※ 이거는 왜 확인하는지 모르겠음... 설치하는데서 이거를 사용하는 부분이 없음..

- CMD 창에서 아래의 명령어 입력

nvidia-smi

CUDA Version

12.7

 

4. Compute Capability 확인

https://en.wikipedia.org/wiki/CUDA#GPUs_supported

위의 사이트에 접속하면 CUDA 버전에 맞는 Compute capability 확인 가능하다.

• NVIDIA GEFORCE GTX 1650의 CUDA capability는 7.5이다.
• 표에서 7.5을 포함하는 모든 CUDA SDK version을 설치할 수 있다.

• 결론: 1650은 10.0~10.2 사이의 버전을 설치하면 되는듯하다.

추가참고 : https://developer.nvidia.com/cuda-gpus

 

4. CUDA Toolkit 설치

- 이제 CUDA를 쓸 수 있도록 도와주는 Toolkit을 설치해줘야 한다.

* 호환되는 version 찾는 것 중요

 

- 아래의 사이트에 접속 합니다.

https://developer.nvidia.com/cuda-toolkit-archive

 

 

10.2 버전 다운로드

5. cuDNN 설치

- 아래의 사이트에 접속합니다.

  ※ NVIDIA developer에 가입 후 download 가능합니다.

https://developer.nvidia.com/rdp/cudnn-archivehttps://developer.nvidia.com/cudnn

 

10.2 에 맞는 아래의 버전 다운로드

 

- 다운로드 받은 압축파일을 압축해제합니다.

- 압축해제한 파일 (bin, include, lib) 을 CUDA Toolkit이 설치된 아래의 경로에 복사해서 넣어준다.

* (windows) CUDA Toolkit 설치 시에 default path로 설정했을 때의 경로

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2

 

6. 환경변수 설정

- 시스템 변수 추가 (기본적으로 CUDA를 설치하면 자동적으로 등록 됨.)

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2

 

- 아래 경로들을 모두 환경 변수 path에 추가해준다.(자신의 버전에 맞게)

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\libnvvp
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\extras\CUPTI\lib64
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\include

 

7. CUDA 정상설치 확인

- CMD에서 아래의 명령 실행

nvcc --version

 

5. CUDA 버전확인 (Feat. TensorFlow, Pytorch)

※ CUDA를 사용하기 위해서는 CUDA 버전과 cuDNN 그리고 Pytorch or Tensorflow 버전을 맞춰줘야 합니다

Pytorch and Tensorflow → CUDA version 확인

 

[Tensorflw cuda version 확인]

tensorflow 각 버전 별로 사용 시에 필요한 cuDNN과 CUDA 버전 확인 가능
* Windows에서는 tensorflow-gpu는 2.10 이하 버전만 지원 (23.09)

 

[Pytorch cuda version 확인]

PC 환경에 맞는 version 확인

이전버전 설치 : https://pytorch.org/get-started/previous-versions/

---

CUDA 10.2 버전에 맞는 pytorch 버전 설치

pip install torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

 

설치 후, GPU 사용여부 확인

---

 

참고사이트 : 

https://teang1995.tistory.com/17

https://velog.io/@maseully_hoit/GPU-%EC%82%AC%EC%9A%A9-%ED%99%98%EA%B2%BD-%EC%84%A4%EC%A0%95-with-CUDA-cuDNN

https://hyunhp.tistory.com/740

 

끝~