【인공지능】 2026 국가공무원 5급(기술) 제2문

2026 국가공무원 5급(기술) 제2문^]

 

추천글 : 【인공지능】 인공지능 기술고시 목차 

---

a. 교차 엔트로피 

---

 

Q. 다음은 3개 클래스(C₁, C₂, C₃) 분류 문제에 대해 출력 노드의 예측 점수 벡터 z를 계산한 결과이다. 다음 물음에 답하시오.

 

 

Q1. 예측 점수 벡터 z를 입력으로 하는 softmax 함수를 통하여, 각 클래스의 정답 확률 벡터 ŷ = [ŷ₁, ŷ₂, ŷ₃]을 구하시오.

 

A1.  

softmax의 정의는 다음과 같다.

 

 

ŷ₁ = exp(ln 30) / (exp(ln 30) + exp(ln 6) + exp(ln 4)) = 3/4

ŷ₂ = exp(ln 6) / (exp(ln 30) + exp(ln 6) + exp(ln 4)) = 3/20

ŷ₃ = exp(ln 4) / (exp(ln 30) + exp(ln 6) + exp(ln 4)) = 2/20

∴ ŷ = [3/4, 3/20, 2/20]

 

Q2. 실제 정답 클래스가 C₁인 경우, 이를 원-핫 인코딩(one-hot encoding)으로 표현하시오.

 

A2.

[1, 0, 0]

 

Q3. 실제 정답 클래스가 C1인 경우, 교차 엔트로피를 이용한 손실(L)을 구하시오. (단, 교차 엔트로피 계산 시 자연 로그를 사용한다. ln(2) ≈ 0.69, ln(3) ≈ 1.10, ln(5) ≈ 1.61)

 

A3.

교차 엔트로피(cross entropy)의 정의는 다음과 같다.

 

 

∴ ℒ = -(1 × ln (3/4) + 0 × ln (3/20) + 0 × ln (2/20)) = 2 ln 2 - ln 3 = 1.38 - 1.10 = 0.28

참고로, 교차 엔트로피는 두 확률분포 p와 q를 구분하기 위해 필요한 평균 비트 수로 이를 최소화하면 p와 q가 같아진다.

 

입력: 2026.07.05 14:46