계산 그래프

계산 그래프: 계산 과정 그래프로 나타낸 것 - 노드와 에지로 표현

계산 그래프를 이용한 문제풀이:

  1. 계산 그래프 구성
  2. 왼쪽에서 오른쪽으로 계산 진행

국소적 계산

국소적 계산: 전체의 행동과 상관없이 자율적인 정보만으로 결과를 내는 것

계산 그래프의 이점

역전파를 통해 '미분'을 효율적으로 계산할 수 있음

왼쪽으로부터 국소적 미분을 전달함 - 위의 그림은 물건 가격이 1 오르면 최종금액은 2.2원 오름(물건의 개수와 소비세를 고려한 가격)

계산 그래프 - 모든 단계가 표시되어 있기 때문에 다수의 결과를 도출하기 쉬움

연쇄법칙

계산 그래프의 역전파

$$ x -> f -> y\\ E\frac{\partial y}{\partial x} <- f <- E $$

*순방향과 반대방향으로 국소적 미분을 곱함

연쇄법칙

합성함수: 여러 함수로 구성된 함수

연쇄법칙: 합성 함수의 미분에 대한 성질 - 합성 함수의 미분은 합성 함수를 구성한 각 함수의 미분의 곱

$$ z = t^2\\ t = x+y\\ \frac{\partial z}{\partial t} = 2t\\ \frac{\partial t}{\partial x} = 1\\ \frac{\partial z}{\partial x} = \frac{\partial z}{\partial t}\frac{\partial t}{\partial x}=2t*1 =2(x+y) $$

*위는 x에 대한 z의 미분을 구함