pytorch

이번 포스팅에서는 pytorch에서 Tensor의 가중치를 초기화하는 방법을 정리했다. 신경망 모델의 성능은 가중치 초기 값에 민감할 수 있기 때문에, 가중치 초기화 과정은 모델 훈련에서 중요한 역할을 수행한다. 기본적으로 torch.nn.init module을 통해 다양한 가중치 초기화 방법을 사용할 수 있는데, 아래에 간단한 예시와 함께 살펴보자. # 가중치 초기화 정의(Xavier) import torch import torch.nn as nn def init_weights(m): if type(m) == nn.Linear: torch.nn.init.xavier_uniform_(m.weight) m.bias.data.fill_(0.01) model = MyModel() model.apply(init..

이번 포스팅에서는 Local에서 GPU를 사용하기 위해 설치해야하는 CUDA, CUDNN의 설치 방법에 대해 정리해보았다. 설치를 처음 진행하시는 분들이 많은 어려움을 겪을 수 있는데, 이 포스팅이 조금이라도 도움이 되었으면 한다. 컴퓨터 스펙은 다음과 같다. Cuda version : 12.1 GPU : RTX 3060 Ti OS : Windows 10 1. GPU와 호환되는 Pytorch 버전 확인 아래의 Pytorch 홈페이지에 들어가서 GPU와 호환되는 CUDA 버전을 확인한다. 설치를 위해서 CUDA 12.1을 다운받았다. PyTorch An open source machine learning framework that accelerates the path from research prototy..

이번 포스팅에서는 Pytorch를 사용해 신경망을 구축하는 과정에서 어떤 함수가 사용되는지 정리해보았다. 먼저, 신경망(Neural Network)의 간단한 학습 과정을 알아보고, 함수를 알아보자. 신경망의 정의 및 목표 신경망 학습은 모델 정의, 손실 함수 선택, 최적화 알고리즘 선택 및 학습 단계로 구분된다. 해당 학습 과정은 기본적으로 손실 함수의 값을 최소화하는 매개변수(가중치와 편향)을 찾는 것을 목표로 한다. 모델 정의 : 신경망은 여러 계층(layers)로 구성되며, 각 계층은 입력을 받아 출력을 생성한다. 계층에서 수행되는 연산은 매개변수(Weight and Bias)로 구성된다. pytorch에서는 매개변수가 Tensor 형태로 저장된다. 손실 함수 선택 : 손실 함수(loss funct..