【인공지능】 2023 국가공무원 5급(기술) 제2문

2023 국가공무원 5급(기술) 제2문^]

 

추천글 : 【인공지능】 인공지능 기술고시 목차 

---

a. 활성화 함수 

---

 

Q. 2계층으로 구성된 신경망에서 입력값은 (2  1)이고 첫 번째 층의 가중치 행렬은

 

 

두 번째 층의 가중치 행렬은 

 

 

이다. 첫 번째 층의 활성화 함수는 ReLU를 사용하고 두 번째 층의 활성화 함수는 항등 함수(f(x) = x)를 사용한다. 다음 물음에 답하시오.

 

Q1. 활성화 함수 ReLU와 Sigmoid의 차이점을 수식과 그래프를 사용하여 설명하시오.

 

A1. 

ReLU(rectified linear unit)는 max(0, x)와 같이 표현되며 가장 자주 사용된다. x = 0에서 미분가능하지 않다.

이에 반해 Sigmoid는 σ(x) = 1 / (1 + e^-σx)와 같이 표현되며, 다음과 같은 특징을 가진다.

○ 미분가능하며 함숫값이 [0, 1]에 머물기 때문에 전통적으로 가장 많이 사용되는 활성화 함수

○ 생물학 실험 데이터가 이와 유사함

○ 포화선(saturation curve)을 σ로 조절할 수 있음

○ σ → ∞으로 발산하면 hard limiter가 됨

○ x의 절댓값이 커지면 그 기울기가 0에 매우 가까워지는 점은 모델의 학습력을 떨어트려 문제가 됨 

이 둘의 그래프는 다음과 같이 나타낼 수 있다.

 

 

Q2. 이 신경망의 출력값을 구하시오.

 

A2. 

 

 

입력: 2025.08.13 22:58