Machine Vision / ML / DL

"바이어스 레시피(Bias Recipe)"는 기계 학습에서 모델의 바이어스를 다루는 방법에 관한 지침이나 접근 방식을 의미합니다. 이는 모델이 훈련 데이터에 과도하게 적합되어 새로운 데이터에 대한 일반화 능력이 부족할 때 발생하는 높은 바이어스를 줄이는 데 중점을 둡니다. 여기에는 다양한 전략과 기법이 포함될 수 있습니다: 모델 복잡도 증가: 너무 간단한 모델은 데이터의 중요한 특성을 놓칠 수 있습니다. 따라서 모델의 복잡도를 적절히 증가시켜 데이터의 다양한 패턴과 관계를 더 잘 학습할 수 있도록 합니다. 예를 들어, 더 많은 층이나 뉴런을 가진 신경망을 사용하거나, 결정 트리에서 더 많은 분할을 허용하는 것 등이 있습니다. 특징 엔지니어링 (Feature Engineering): 데이터의 추가적인 정보..

"Full Stack Deep Learning - UC Berkeley Spring 2021” Conditioning의 주요 요소 초기화 (Initialization) 신경망의 가중치를 시작하기 전에 설정하는 방법입니다. 적절한 초기화는 학습 과정의 안정성과 속도에 큰 영향을 미칩니다. 예를 들어, Xavier 초기화나 He 초기화 등이 있습니다. 정규화 (Normalization) 신경망의 학습을 안정화시키고 가속화하는 데 도움을 주는 기술입니다. Batch Normalization: 미니배치의 출력값을 정규화하여 내부 공변량 변화(internal covariate shift)를 줄입니다. Weight Normalization, Layer Normalization: 다른 차원의 정규화 방법으로, 특정 ..

경사 하강법(gradient descent)에서 말하는 '경사'는 손실 함수(loss function)의 경사, 즉 기울기를 의미합니다. 여기서 손실 함수란 모델의 예측이 얼마나 잘못되었는지를 측정하는 함수로, 모델의 성능을 수치적으로 나타내줍니다. 경사(Gradient)의 의미 손실 함수의 기울기: 경사는 손실 함수의 각 파라미터(또는 가중치)에 대한 기울기를 나타냅니다. 이 기울기는 함수의 현재 지점에서 파라미터를 약간 변경할 때 손실 함수가 얼마나 변하는지를 나타내는 수치입니다. 방향과 크기: 경사는 벡터의 형태로, 각 파라미터에 대한 손실 함수의 변화율을 방향과 크기로 나타냅니다. 이 벡터는 손실을 가장 빠르게 증가시키는 방향을 가리키는데, 경사 하강법은 이와 반대 방향으로 파라미터를 업데이트합니..

🙋‍♂️ Augmentation, Learning Rate Scheduler 최적화 ✍ Augmentation과 LR Scheduler 기법 사용 시, -. 두 가지의 기법 개별 최적화 보단 두 가지 모두 만족하는 최적화 작업 필요 -. 개략적인 최적 Learning rate를 찾은 후, 가벼운 Augmentation 적용 (LR - 0.001 or 0.01 , HorizontalFlip 기법) -. Augmentation에 대한 변화를 증가 시키면서 Augmentation을 적용 (성능이 저하되면 의심되는 해당 기법을 제외, 확률을 변화 시키는 방식으로 적용 필요) -. Learning Rate Scheduler를 다양하게 적용하면서 최적화