딥러닝과 경사하강법

소개글

딥러닝과 경사하강법에 대한 보고서 자료입니다.

목차

1. 서론
-탐구 동기
-탐구 방법

2. 본론
-경사하강법에 대하여
-딥러닝과의 연관성
-자연어 처리 방법

3. 결론
-탐구 결과 요약
-새롭게 알게된 점 & 후속 활동

본문내용

접적으로 최소가 되는 점을 찾기 어려운 경우에 유용하게 쓰인다. 경사하강법의 손실함수는 실제값과 예측값의 차이를 수치화해주는 함수이다. 경사하강법의 이두 값의 차이 즉 오차가 최소화되도록 매개변수를 갱신하는데 손실함수의 기울기를 사용하는 것으로 현재 최고의 딥러닝 학습알고리즘을 제공하는 라이브러리에서 사용되고 있다. 경사하강법은 함수 값이 낮아지는 방향으로 독립 변수 값을 변형시키면서 최소 함수 값을 갖는 독립 변수 값을 찾는 방법이다. 경사하강법은 함수의 최솟값을 찾는 문제에서 활용되는데 많은 사람들이 “함수의 최소, 최댓값을 찾으려면 미분계수가 0인 지점을 찾으면 되지 않냐“라고 묻는다, 앞에서 말했듯이 주로 실제 분석에서 맞딱드리게 되는 함수들의 형태는 매우 복잡해 미분계수와 그 근을 계산하기 어려운 경우가 많고 컴퓨터의 특성상 미분계수를 일일이 구하는 방식보다 경사하강법이 더 컴퓨터로 비교적 쉽게 구현할 수 있기 때문이다. 이 경사하강법은 많은 곳에서 유용하게 쓰이고 있다. 비즈니스에서 비용을 최소화하는 데 사용되기도 하고 물리학에서의 최적화 문제 또한 이 경사하강법이 쓰인다.
2.2.딥러닝과의 연관성
경사하강법은 경사하강법의 경사, 즉 기울기를 이용해 x의 값을 어디로 옮겼을 때 함수가 최솟값을 찾는지 알아보는 방법이라고 할 수 있다. 기울기가 양수라는 것을 x값이 커질 수록 함수 값이 커진다는 것을 의미하고, 반대로 기울기가 음수라면 x값이 커질 수록 함수의 값이 작아진다는 것을 의미한다고 볼 수 있다. 이를 이용해 특정 포인트 x에서 x가 커질 수록 함수값이 커지는 중이라면 음의 방향으로 x를

키워드

딥러닝,   경사하강법,   레포트