경사 하강법(gradient descent)에서 말하는 '경사'는 손실 함수(loss function)의 경사, 즉 기울기를 의미합니다. 여기서 손실 함수란 모델의 예측이 얼마나 잘못되었는지를 측정하는 함수로, 모델의 성능을 수치적으로 나타내줍니다. 경사(Gradient)의 의미 손실 함수의 기울기: 경사는 손실 함수의 각 파라미터(또는 가중치)에 대한 기울기를 나타냅니다. 이 기울기는 함수의 현재 지점에서 파라미터를 약간 변경할 때 손실 함수가 얼마나 변하는지를 나타내는 수치입니다. 방향과 크기: 경사는 벡터의 형태로, 각 파라미터에 대한 손실 함수의 변화율을 방향과 크기로 나타냅니다. 이 벡터는 손실을 가장 빠르게 증가시키는 방향을 가리키는데, 경사 하강법은 이와 반대 방향으로 파라미터를 업데이트합니..
