Activation Function (1) 썸네일형 리스트형 갈아먹는 딥러닝 기초 [1] Activation Function(활성화 함수) 종류 들어가며 딥 러닝 기초 개념들을 복습하면서 관련 내용들을 정리해보려 합니다. 가장 먼저 각 활성화 함수별로 간단한 특징과 사용처 정도를 짚고 넘어가겠습니다. 자세한 개념들은 직접 검색해보시거나 레퍼런스를 참고해주시면 감사하겠습니다. 활성화 함수는 붉은 색 그래프, 활성화 함수의 미분값은 푸른색 그래프로 표현하였습니다. Sigmoid 특징: 입력 값을 0과 1 사이의 값으로 변환하여 출력합니다. 사용처: 로지스틱 리그레션, 바이너리 클래시피케이션 등에 사용됩니다. 한계점: 미분 함수의 최대 값이 0.5가 됩니다. 때문에 레이어가 깊어질 수록 그라이언트가 전달되지 않는 vanishing gradient 문제가 발생할 가능성이 있습니다. 이후 ReLU에 의해 많이 대체됩니다. Hard Sigmoid 특징: 시.. 이전 1 다음
