페이지 배경지식

• 비선형 분리 문제는 자동으로 학습 불가능
• 신경망의 매개변수는 수천에서 수억에 이를 수 있어 수작업으로 매개변수를 정할 수 없음
• 손실 함수: 신경망이 학습할 수 있도록 해주는 지표
• 신경망은 데이터를 학습함으로서 매개변수의 값을 자동으로 결정함
• 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 목표 - 예) 경사법 (함수의 기울기 활용)

데이터 주도 학습

기계학습/딥러닝(신경망):

데이터에서 패턴을 발견하여 답을 찾는 것 - 이때 사람의 개입을 최대한 배제하는 것이 중요

단순해 보이는 문제여도 알고리즘을 구현하는 것이 매우 어려울 수 있음 - 설계보단 주어진 데이터로 문제를 해결

문제 해결 방법:

1. 이미지에서 특징 추출
2. 특징의 패턴을 기계학습 기술로 학습
   • 특징: 입력 데이터에서 중요한 데이터를 정확하게 추출할 수 있도록 설계된 변환기

한계:

특징은 아직 사람이 설계함 - 적합한 특징이 아니면 좋은 결과를 얻을 수 없음

기계학습 vs. 신경망(딥러닝)

신경망 - 특징까지 스스로 학습

딥러닝: 종단간 기계학습(end to end machine learning) - 종단간(처음부터 끝까지), 데이터에서 결과를 사람의 개입 없이 얻는다는 뜻

모든 문제를 같은 맥락에서 풀 수 있음 - 주어진 데이터를 온전히 학습해 주어진 문제의 패턴을 발견하려 시도

훈련 데이터 & 시험 데이터

훈련 데이터: 학습을 위해 사용되는 데이터 - 이를 통해 최적의 매개변수를 찾음

시험 데이터: 찾은 매개변수의 범용성 확인

• 범용성: 처음 보는 데이터라도 문제를 정확하게 풀어내는 능력 - 기계학습의 최종 목표

예) 만약 손글씨를 알아보는 문제에서 한 사람의 손글씨만 학습했다면 다른 사람의 손글씨는 못 알아볼 수 있음

오버피팅: 한 데이터셋에만 지나치게 최적화된 상태 ↔ 언더피팅: 데이터셋이 너무 간단하여 학습 오류가 줄어들지 않는 것

손실 함수