ML

이번 포스팅에서는 정규화(Normalization)에 대해 정리했다. 정규화란 데이터를 특정 범위로 변환하여 모델의 학습을 돕는 과정으로, 다음과 같은 목적으로 사용된다. 스케일 조정: 다양한 특성들이 서로 다른 범위나 단위를 가질 때, 이러한 차이가 모델의 성능에 부정적인 영향을 미칠 수 있다. 예를 들어, 거리 기반 알고리즘(예: K-Nearest Neighbors, SVM 등)은 특성의 스케일에 매우 민감하므로, 모든 특성을 동일한 스케일로 조정하는 것이 중요하다. 수렴 속도 개선: 경사 하강법과 같은 최적화 알고리즘은 스케일이 조정된 데이터에서 보다 더 빠르게 수렴한다. 수치 안정성 개선: 일부 알고리즘(예: 로지스틱 회귀, 심층 신경망 등)은 입력 값의 크기가 클 경우 수치 안정성 문제를 겪을 ..

지난 포스팅에서는 회귀와 관련된 metric에 대해 정리했다. 이번에는, 회귀만큼 중요한 분류와 현재 프로젝트에서 활용하는 시계열과 관련된 metric을 알아보자. 먼저, 분류에서 손실 함수와 성능 척도로 함께 사용되는 metric을 정리해보았다. Classification(분류) 1. Cross-Entropy Loss Cross-Entropy Loss는 확률 분포 간의 거리를 측정하는 방법이다. 여기서 거리란 두 분포가 얼마나 다른지를 나타내며, 두 분포가 완전히 같다면 그 거리는 0이 되고, 반대의 경우 거리는 무한대가 된다. 분류 문제에서는 개별 데이터 포인트가 특정 클래스에 속할 확률을 모델링한다. 이 때, 개별 데이터 포인트의 실제 확률 분포와 예측한 확률 분포 간의 거리를 측정하는 것이 Cro..

이번 포스팅에서는 프로젝트에 알맞은 metric을 사용하기 위해 손실 함수와 성능 척도에 대해 정리해보았다. 해당 개념의 정의를 먼저 살펴보고, Task에 따라 어떤 metric을 사용할 수 있는지 확인해보자. Loss Function(손실 함수) Loss Function은 모델의 예측값과 실제값의 차이를 측정하는 함수이다. 이는 모델이 얼마나 잘 예측하고 있는지, 혹은 어느 정도의 오차를 보이는지를 판단하는 기준으로 사용된다. 다른 용어로는 목적 함수, 비용 함수(cost function), 에너지 함수(energy function) 등을 사용하기도 한다. 우리는 회귀나 분류 같이 원하는 작업에 따라 적합한 Loss Function을 선택하여 사용해야한다. 학습 과정에서는 이 Loss Function ..