【인공지능】 2026 국가공무원 5급(기술) 제4문

2026 국가공무원 5급(기술) 제4문^]

 

추천글 : 【인공지능】 인공지능 기술고시 목차 

---

a. 트랜스포머 

---

트랜스포머에 관한 내용은 `제대로 학습하는 인공지능 (5급 기술고시 예제 200제)`에서도 일찍이 소개한 바 있습니다.

---

 

Q. 다음은 트랜스포머(transformer) 아키텍처에서 사용되는 핵심 기술은, 단일 헤드(single-head) 셀프 어텐션(self-attention)에 관한 설명이다.

 

 

2개의 임베딩 벡터 x₁과 x₂로 구성된 문장이 입력되었을 때, 다음 물음에 답하시오. (단, 모든 계산 결과는 반올림을 통해 소수점 아래 둘째 자리까지 표현한다)

 

 

Q1. 주어진 입력 문장에 대한 쿼리 벡터 q_i, 키 벡터 k_i, 밸류 벡터 v_i를 구하시오. (단, i = 1, 2)

 

A1.  

일반적으로 트랜스포머는 Q = XW_Q, K = XW_K, V = XW_V로 표현된다.

 

 

그러나 문제 의도대로 각 열벡터가 x_i라면 q_i = W_Qx_i, k_i = W_Kx_i, v_i = W_Vx_i; Q = W_QX, K = W_KX, V = W_VX가 된다.

 

 

Q2. 어텐션 점수 행렬 R = ((r₁₁, r₁₂), (r₂₁, r₂₂))을 구하시오. (단, r_ij는 i번째 쿼리 벡터와 j번째 키 벡터 간의 어텐션 점수이고, 키 벡터의 차원 크기를 고려한 추가 스케일링 조정은 생략한다)

 

A2.

 

 

Q3. 어텐션 점수를 softmax에 적용해 정규화한 결과인 가중치 행렬 A = ((a₁₁, a₁₂), (a₂₁, a₂₂))를 구하시오. (단, a_ij는 i 번째 쿼리 벡터의 j 번째 키 벡터에 대한 어텐션 점수를 정규화한 결과이다)

 

A3.

 

 

Q4. 문맥 벡터 행렬 C = (c₁, c₂)를 구하시오. (단, c_i는 i 번째 쿼리 벡터에 대한 문맥 벡터이다)

 

A4.

일반적으로 트랜스포머는 C = AV로 표현된다.

그러나 문제 의도대로 value 벡터들이 열로 들어가 있어서 C = VA^T로 계산해야 한다.

 

 

입력: 2026.07.06 01:02