케라스 창시자에게 배우는 딥러닝 1장

1장 딥러닝

1.1 인공지능 , 머신러닝 , 딥러닝

 

인공지능 - 머신러닝과 딥러닝을 포함하는 개념

사람이 수행하는 지능적인 작업을 자동화

 

머신러닝 - 인공지능에 포함됨. 딥러닝을 포함하는 개념

데이터와 답을 가지고 규칙을 학습 시킨다.

 

전통적인 프로그래밍 : 규칙 + 데이터 => 프로그래밍 = 해답

 

머신러닝 : 데이터 + 해답 => 머신러닝 = 규칙

 

튜링 테스트 - 기계가 지능을 가지고 있는지 테스트

 

딥러닝 에서 '딥'

 

딥러닝은 머신러닝의 한 분야로써 연속된 레이어에서 점진적으로 학습한다.

 

레이어의 개수 = 깊이

 

입력x -> 레이어(가중치) -> 레이어(가중치) => 예측

 

 - loss function (손실 함수) , objective function (목적 함수) = 신경망의 출력이 기대 값보다 얼마나 벗어났는지 측정

 

가중치를 조정하며 예측 값의 오차를 줄인다. ( training loop 훈련 반복 )

 

Optimizer = 역전파(Back Propagation) 알고리즘을 구현 한 것. 가중치를 조정한다.

 

딥러닝의 사례

 

- 이미지 분류

- 음성인식

- 필기 인식

- 기계 번역

- TTS (Text To Speech)

- 디지털 비서

- 자율주행

- 검색엔진

- 자연어 처리

 

확률적 모델링 - 통계학 이론을 데이터 분석에 응용한 것

 

나이브 베이즈 알고리즘 - 확률 적 모델링으로 알려진 알고리즘 , 입력 데이터의 특성이 모두 독립적이라고 가정하고 베이즈 정리를 적용한다.

 

로지스틱 회귀 - 분류( Classification ) 알고리즘

 

초창기 신경망

 

- 합성곱 신경망 ( Convolution Neural Network ) = LeNet ( 손글씨 숫자 이미지 분류 문제에 적용 )

 

커널 방법 - 분류 알고리즘의 한 종류

 

- SVM 경계선을 찾아서 분류한다.

 

결정 경계(Decision boundary)

 

SVM 이 결정경계를 찾는 방법

1. 결정 경계를 표현한다. - ex ) 데이터 셋이 2차원이면 2차원 직선이 초 평면(Hyperplane)이 된다.

 

2. 마진을 최대화 한다. (Maximizing the margin)

 

커널 함수 = 데이터 포인트 사이의 거리를 계산한다.

 

SVM : 간단한 분류문제에 대해 높은 성능을 보인다.

대용량 데이터 셋에 확장되기 어렵다. 이미지 분류 같은 지각과 관련된 문제에서 좋은 성능을 내지 못한다.

 

결정트리 , 랜덤포레스트 , 그래디언트 부스팅 머신

 

결정트리 - 트리와 같은 구조로써 한단계씩 내려갈때마다 세부적으로 분류된다.

 

랜덤포레스트 : 결정트리 학습을 기반으로 한다. 결정트리를 많이 만들고 출력을 앙상블한다.

 

그래디언트 부스팅 머신 : 랜덤 포레스트와 비슷하며, 결정트리를 앙상블한다.

 

딥 러닝의 발전 배경

 

하드웨어 발전(GPU) , 데이터 셋의 크기 확대 , 알고리즘 ( 신경망의 레이어에 맞는 Activation function , 가중치 초기화 방법 , 최적화 방법 )

 

이런 기술 향상으로 10개 이상의 레이어를 가진 모델을 훈련 시킬 수 있게 되었을때 딥러닝이 빛을 발하게 됐다.