【알고리즘】 20강. 오토인코더

20강. 오토인코더(autoencoder)

 

추천글 : 【알고리즘】 알고리즘 목차 

---

1. 개요 [본문]

2. 종류 1. 가변 오토인코더 [본문]

3. 종류 2. ZINB 오토인코더 [본문]

---

 

1.  개요 [목차]

⑴ 정의 : 입력 데이터를 최대한 압축시킨 후, 압축된 데이터를 다시 본래의 형태로 복원시키는 신경망 

① 인코더(encoder) : 입력층에서부터 은닉층으로의 인공 신경망. 인지 네트워크라고도 함 

○ 인지 네트워크(recognition network) : 패턴을 감지하고 의미를 부여하는 특수화된 네트워크 

② 디코더(decoder) : 은닉층에서부터 출력층으로의 인공 신경망. 생성 네트워크라고도 함 

○ 생성 네트워크(generative network) : 입력 데이터와 매우 유사한 새로운 데이터를 생성할 수 있는 네트워크

③ 인코더와 디코더가 함께 트레이닝 됨

 

출처 : 이미지 클릭

Figure. 1. 오토인코더의 구조

 

⑵ 수식화 

 

Z = E_θ(X), X̂ = D_ϕ(Z)

 

① Z : latent variable

② E_θ : 인코더 네트워크 

③ X̂ : 재구성된 입력 

④ D_ϕ : 디코더 네트워크 

⑶ 특징

① 비지도 학습 신경망

② 인코더는 차원 축소 역할을 수행 

③ 디코더는 생성 모델의 역할을 수행

④ 입력층의 노드 개수는 출력층의 노드 개수와 동일 

⑤ 은닉층의 노드 개수는 입력층의 노드 개수보다 작음 

⑷ 효과

① 효과 1. 데이터 압축 : 은닉층이 입력층보다 더 작은 개수의 노드를 가지면, 이 네트워크는 입력 데이터를 압축할 수 있음

② 효과 2. 데이터 추상화 : 복잡한 데이터를 다차원 벡터으로 변환하여 입력 데이터 분류 혹은 재조합을 가능케 함

○ 이러한 다차원 벡터를 은닉층, 피처(feature)라고도 함

○ 재조합 알고리즘으로는 대표적으로 PCA 알고리즘이 있음

 

 

2. 종류 1. 가변 오토인코더(VAE, variational autoencoder) [목차]

⑴ 구성

① 인코더 : 입력 데이터를 은닉층에서의 확률분포, 즉 parametrized distribution으로 맵핑함 

② 디코더 : parameterized distribution을 Bayesian inference에서의 prior로 보고 출력층을 맵핑함

○ 학습 : parametric posterior와 true posterior 간의 차이를 비용함수를 통해 최소화 

③ 오토인코더와의 차이 : 오토인코더는 결정론적인 데 반해, 가변 오토인코더는 확률론적 

④ latent 매칭을 자연스럽게 하는 것은 오토인코더보다 가변 오토인코드가 더 좋음 

⑵ 수식화 

 

Z ~ q_θ(Z | X), X̂ = D_ϕ(Z) 

 

① Z : latent variable

② q_θ : 조건부 확률분포

③ X̂ : 재구성된 입력 

 

 

3. 종류 2. ZINB 오토인코더(zero-inflated negative binomial autoencoder) [목차]

 

입력: 2023.06.27 00:55

수정: 2024.03.19 13:36