PyTorch 소개

[ PyTorch 소개 ]

01. Pytorch란?

: 페이스북 (FAIR) 에서 개발한  신경망 구축에 사용되는 소프트웨어 기반 오픈 소스 딥 러닝 프레임워크

1. 장점
   • 멀티 플랫폼 프로그래밍 인터페이스
   • 동적 계산 그래프 : 사전에 구성한 다음 실행 시, 세션 실행을 하지 않고, 구체적인 값을 즉시 반환
   • 커뮤니티, 생태계가 많고, 활발히 운영됨
     • 사전 학습된 모델들을 얻을 수 있음
     • 여러 전문가들로 부터 도움을 받을 수 있음
     • 플랫폼 예시
       • http://tutorials-pytorch-kr.webpkgcache.com/doc/-/s/tutorials.pytorch.kr/
       • https://github.com/PyTorchKorea
       • https://pytorch.kr/
   • 확장성이 뛰어남 : 다양한 규모의 프로젝트가 가능
2. 단점
   • 모바일, 웹 등 배포가 어려움
   • 낮은 수준의 API를 제공해 사용자가 학습 루프를 직접 작성하는 경우가 많아, 사람들마다 train 시키는 코드가 다 제각각임

 

02. Architecture

(출처 : https://se.ewi.tudelft.nl/desosa2019/chapters/pytorch/)

1. Top-level API
   • 이해하기 쉬운 API를 제공
   • interface를 제공하지만, 실제 계산은 안함 → C++로 작성된 계산 엔진으로 전달
2. Mid-level engine
   • top-level과 python API로 연결됨
   • autograd DCG를 계산
   • 자동 미분을 제공
3. Low-level library
   • engine과 l과 python API로 연결됨
   • 사용자의 텐서연산을 지원하는 C, Gpu를 담당하는 Cuda를 포함함
   • 실제 하드웨어와 연결되어 구동됨
   • Top-level API, Mid-level engine 둘 다 사용 가능 → 코드 결합도 ↓, 복잡성 ↓

 

03. Tensorflow vs Pytorch

계산 그래프 정의 방식	정적 그래프	동적 그래프
배포 난이도	하	상
도구	TorchVision, TorchText, Lightning	TensorBoard, TF Lite, TF JS, TFX, Serving
추천 사용자	팀끼리 표준화된 코드 사용이 필요한 경우	python이 친숙한 초보 사용자, 연구자

 

---

[ PyTorch의 데이터 타입 ]

01. 정수형

: 소수 부분이 없는 숫자를 저장하는데 사용되는 데이터 타입

비트 구분 표현 가능 범위 코드 표현

	비트 구분	표현 가능 범위	코드 표현
8bit 부호 없는 정수	8 숫자	0 ~ 255	dtype = torch.uint8
8bit 부호 있는 정수	1 부호 +7 숫자	-128 ~ 127	dtype = torch.int8
16bit 부호 있는 정수	1 부호 +15 숫자	-32768 ~ 32767	dtype = torch.int16 dtype = torch.short
32bit 부호 있는 정수	1 부호 +31 숫자	-2,147,483,648 ~ 2,147,483,647	dtype = torch.int32 dtype = torch.int
64bit 부호 있는 정수	1 부호 +63 숫자	-9,223,372,036,854,775,808 ~ 9,223,372,036,854,775,807	dtype = torch.int64 dtype = torch.long

 

 

02. 실수형

	비트 구분	코드 표현
16비트 고정 소수점 수	정수부 + 소수부	X
32bit 부동 소수점 수	부호 1bit + 지수부 8bit + 가수부 23bit	dtype = torch.float32 dtype = torch.float
64bit 부동 소수점 수	부호 1bit + 지수부 11bit + 가수부 52bit	dtype = torch.float64 dtype = torch.double

 

• 부동 소수점 수란?
  1. 등장 배경 : 고정 소수점 수의 문제점 해결
  2. 방식 : 숫자를 정규화 하여 가수부와 지수부로 나누어 표현
  3. 정규화 방법 : 소수점이 첫번째 유효숫자 바로 뒤에 오도록 바꿈
  4. 고정 소수점 vs 부동 소수점

     

     출처 : https://wikidocs.net/189025

 

 

 

---