딥러닝 (4) 썸네일형 리스트형 🧠 갈아먹는 딥러닝 기초 딥러닝 기초 갈아먹는 딥러닝 기초 [1] Activation Function(활성화 함수) 종류 갈아먹는 딥러닝 기초 [2] weight initialization 👁️ 갈아먹는 컴퓨터 비전 Image Classification 갈아먹는 Image Classification [1] Noisy Student 갈아먹는 Image Classification [2] Fixing the train-test resolution discrepancy 갈아먹는 Image Classification [3] MobilenetV1 Object Detection 갈아먹는 Object Detection [1] R-CNN 갈아먹는 Object Detection [2] Spatial Pyramid Pooling Network 갈아먹는 Object Detection [3] Fast R-CNN 갈아먹는 Object Detection [4] Faster R-CNN 갈아먹는 Object Detection [5] Yolo: Y.. 갈아먹는 딥러닝 기초 [2] weight initialization 목차 이 포스팅은 weights initialization 기법들의 수식, 특징, 사용처를 설명합니다. keras에서 기본적으로 제공하는 기법들을 위주로 정리하였습니다. · 들어가며 · 웨이트 초기화 기법 분류 - 상수 기반 초기화 - 선형 대수 기반 초기화 - 확률 분포 기반 초기화 - 분산 조정 기반 초기화 · fan in, fan out · Lecun Initialization · Xavier Glorot Initialization · He Initialization · 마치며 들어가며 이번 포스팅에서는 weight 값을 어떻게 초기화 시킬 수 있는지에 대해서 알아보겠습니다. 웨이트 값을 어떻게 초기화 시키는 지에 따라서 그라디언트를 얼마나 잘 전달할 수 있고, 레이어를 더 많이 쌓을 수 있는지를 .. 갈아먹는 딥러닝 기초 [1] Activation Function(활성화 함수) 종류 들어가며 딥 러닝 기초 개념들을 복습하면서 관련 내용들을 정리해보려 합니다. 가장 먼저 각 활성화 함수별로 간단한 특징과 사용처 정도를 짚고 넘어가겠습니다. 자세한 개념들은 직접 검색해보시거나 레퍼런스를 참고해주시면 감사하겠습니다. 활성화 함수는 붉은 색 그래프, 활성화 함수의 미분값은 푸른색 그래프로 표현하였습니다. Sigmoid 특징: 입력 값을 0과 1 사이의 값으로 변환하여 출력합니다. 사용처: 로지스틱 리그레션, 바이너리 클래시피케이션 등에 사용됩니다. 한계점: 미분 함수의 최대 값이 0.5가 됩니다. 때문에 레이어가 깊어질 수록 그라이언트가 전달되지 않는 vanishing gradient 문제가 발생할 가능성이 있습니다. 이후 ReLU에 의해 많이 대체됩니다. Hard Sigmoid 특징: 시.. 이전 1 다음
