【철학】 베이지안 최적화가 적용되지 않는 Early Stopping 문제

베이지안 최적화가 적용되지 않는 Early Stopping 문제

 

추천글 : 【철학】 철학 목차 

---

언제 멈출지. 최선의 선택이 언제일지.

 

우리는 연애와 결혼 같은 삶의 중요한 결정에서 언제 탐색을 멈추고 결정을 할지를 고민한다. 이러한 문제는 베이지안 최적화 접근법으로 설명될 수 있다. 일반적으로 베이지안 최적화는 가우시안 프로세스를 기반으로 하며, 목적함수가 가우시안 분포를 따른다는 가정 하에 최적의 선택을 찾는다. 그러나 현실 세계는 불확정적이고 카오스적인 시스템이기에 해당 가정이 적용되지 않을 수 있다. 그리고 현실 세계의 도메인 지식도 마땅치 않아 다른 분포를 가정하여 베이지안 최적화를 적용하기도 어렵다. 그렇다면, 현실 세계에서는 Early Stopping 문제를 어떻게 접근해야 할까?

 

현실적 전략을 다음과 같이 진단해 보았다. 

 

전략 1. 본능과 직관, 끌림과 충동을 활용하기

○ 단순히 머리로만 판단하지 않고, 온몸으로 느끼는 직관적인 정보를 활용하자. 

○ 자신이 정말 좋아하고 자랑스러워할 선택이라면, 실패하더라도 다시 일어설 수 있으며 결국 성공으로 이어질 가능성이 높다.

 

전략 2. 실패를 두려워하지 않고 다시 도전하기 

○ 낙담할 시간에 다시 도전할 방법을 찾는 태도를 유지해야 한다.

○ "조금 더 시간을 벌어 더 많이 도전하자"는 태도가 중요하며, 이는 전략 4와도 연결된다. 

○ When it's tuff, will you give up? Or, will you be relentless? - Jeff Bezos 

 

전략 3. 선택을 0과 1의 이분법으로 제한하지 않기 

○ 모든 선택이 흑백처럼 명확하지 않을 수 있다. 연애를 예로 들면, 썸, 평소에 관심을 가지고 있다가 결국 이어지는 경우, 헤어진 후 다시 만나는 관계 등처럼 연속적인 가능성도 존재한다.

○ 이런 중간 선택지를 이해하는 것이 유연한 사고를 돕는다. 다만, 비윤리적 선택이 되지 않도록 정신줄을 단단히 잡기를.

 

전략 4. 어드미션은 운이지만 어플라이는 선택

○ 결과는 통제할 수 없지만, 얼마나 많이 시도할지는 우리의 선택이다. 기회를 늘리기 위해 적극적으로 도전해야 한다.

 

전략 5. 불확실성과 불안정성을 받아들이고 즐기기

○ 조급해하면 될 일도 실패할 수 있다. 또한, 연애에 있어서도 한쪽이 조급해하면 상대방에게 매력을 덜 느끼게 할 수 있다.

○ 불확실한 상황에서도 유연하고 여유로운 태도를 가지는 것이 중요하다.

 

전략 6. 헷갈리는 문제에는 애초에 가중치를 낮추기 

○ 인생은 수많은 문제로 가득 차 있다. 중요도를 스스로 조정해 혼란스러운 문제에는 에너지를 덜 쏟는 것도 하나의 방법이다.

 

입력: 2025.01.04 18:00