갈아먹는 머신러닝 시리즈/딥러닝 기초 (4) 썸네일형 리스트형 🧠 갈아먹는 딥러닝 기초 딥러닝 기초 갈아먹는 딥러닝 기초 [1] Activation Function(활성화 함수) 종류 갈아먹는 딥러닝 기초 [2] weight initialization 갈아먹는 딥러닝 기초 [2] weight initialization 목차 이 포스팅은 weights initialization 기법들의 수식, 특징, 사용처를 설명합니다. keras에서 기본적으로 제공하는 기법들을 위주로 정리하였습니다. · 들어가며 · 웨이트 초기화 기법 분류 - 상수 기반 초기화 - 선형 대수 기반 초기화 - 확률 분포 기반 초기화 - 분산 조정 기반 초기화 · fan in, fan out · Lecun Initialization · Xavier Glorot Initialization · He Initialization · 마치며 들어가며 이번 포스팅에서는 weight 값을 어떻게 초기화 시킬 수 있는지에 대해서 알아보겠습니다. 웨이트 값을 어떻게 초기화 시키는 지에 따라서 그라디언트를 얼마나 잘 전달할 수 있고, 레이어를 더 많이 쌓을 수 있는지를 .. 갈아먹는 딥러닝 기초 [1] Activation Function(활성화 함수) 종류 들어가며 딥 러닝 기초 개념들을 복습하면서 관련 내용들을 정리해보려 합니다. 가장 먼저 각 활성화 함수별로 간단한 특징과 사용처 정도를 짚고 넘어가겠습니다. 자세한 개념들은 직접 검색해보시거나 레퍼런스를 참고해주시면 감사하겠습니다. 활성화 함수는 붉은 색 그래프, 활성화 함수의 미분값은 푸른색 그래프로 표현하였습니다. Sigmoid 특징: 입력 값을 0과 1 사이의 값으로 변환하여 출력합니다. 사용처: 로지스틱 리그레션, 바이너리 클래시피케이션 등에 사용됩니다. 한계점: 미분 함수의 최대 값이 0.5가 됩니다. 때문에 레이어가 깊어질 수록 그라이언트가 전달되지 않는 vanishing gradient 문제가 발생할 가능성이 있습니다. 이후 ReLU에 의해 많이 대체됩니다. Hard Sigmoid 특징: 시.. 갈아먹는 자격증 [1] Tensorflow Certificate 취득 안내 및 후기 들어가며 Tensorflow Certificate란 구글에서 직접 인증하는 일종의 텐서플로우 자격증입니다. 5시간 동안 기초 선형 회귀, 이미지 분류, 텍스트 분류, 시계열 분류 등 다섯 종류의 모델을 구현하면 되는 시험입니다. 자세한 내용은 다음 가이드와 아래 내용을 참고하시기 바랍니다. (https://www.tensorflow.org/site-assets/downloads/marketing/cert/TF_Certificate_Candidate_Handbook.pdf) 싸이버 강의 덕분에 시간적 여유가 생겨서 한번 도전해 보았습니다. 저는 해당 시험 준비용으로 구글이 만들어놓은 코세라 강의를 먼저 수강하고 시험에 응시하였습니다. 합격 여부는 아래와 같이 이메일로 알려주며, 취득까지 4일 정도 걸렸습니.. 이전 1 다음
