본문 바로가기

▶ 자연과학/▷ 알고리즘·머신러닝

【알고리즘】 22-1강. 프롬프트 엔지니어링 22-1강. 프롬프트 엔지니어링(prompt engineering) (ref) 추천글 : 【알고리즘】 22강. 자연어 처리(NLP)와 거대 언어 모델(LLM)1. 개요 [본문]2. 기법 [본문]3. 리스크 [본문]4. 예시 [본문] 1. 개요 [목차]⑴ 정의 : 언어 모델(language model)을 더 효율적으로 쓰기 위해 프롬프트 입력을 어떻게 하는지에 대한 논의 ⑵ 파라미터 ① temperature : temperature가 낮을수록 더욱 결정론적인 답이, temperature가 높을수록 더욱 창의적인 답이 나옴 ② top_p : 정답을 도출하는 샘플링 과정에서 정답의 경우의 수를 지칭하는 것으로 이 값이 낮을수록 덜 다양하고 사실에 기반한 답이 나옴③ top_k ④ num_beams  ⑶ 프롬프..
【알고리즘】 22강. 자연어 처리(NLP)와 거대 언어 모델(LLM) 22강. 자연어 처리(NLP)와 거대 언어 모델(LLM) 추천글 : 【알고리즘】 알고리즘 목차1. 자연어 처리 [본문]2. 거대 언어 모델 [본문]3. 생물정보학과 언어 모델 [본문]a. 프롬프트 엔지니어링 b. 자연어 처리 및 LLM 유용 함수 모음c. LLM 관련 탐구 주제 1. 자연어 처리(natural language processing, NLP) [목차]⑴ 정의 : 텍스트 기반의 인공지능 모델⑵ 텍스트 전처리 : 비정형 텍스트를 컴퓨터가 인식하게 하기 위해 수행하는 전처리  ① 토큰화(tokenization)○ 문장 혹은 말뭉치(corpus)에서 최소 의미 단위인 토큰으로 분할하여 컴퓨터가 인식하도록 하는 방법 ○ 영어 : 주로 띄어쓰기 기준으로 나눔○ 75개의 영단어 ≃ 100개의 토큰○ 예 ..
【알고리즘】 7-2강. UMAP(uniform manifold approximation and projection) 7-2강. UMAP(uniform manifold approximation and projection) 추천글 : 【알고리즘】 7강. 차원 축소 알고리즘 1. 개요 [본문] 2. 1단계. k-simplex 정의 [본문] 3. 2단계. k-simplex 정의 최적화 [본문] 4. 3단계. graph layout problem solving [본문] 5. 레퍼런스 [본문] 1. 개요 [목차] ⑴ tSNE와 함께 많이 사용되는 차원 축소 알고리즘 ⑵ 리만 기하학(Riemannian geometry)에 기반한 위상 개념을 이용 ⑶ 각 점들 간의 연결관계가 아니라 점들이 형성하려는 위상을 포착하려는 이유 ① 수학적 이론이 뒷받침 : Nerve theorem 참고 ② 위상이 있다는 게 전제가 돼 있으면 여러 알려진..
【알고리즘】 27강. 기타 알고리즘 27강. 기타 알고리즘 추천글 : 【알고리즘】 알고리즘 목차 ○ structure from motion (SfM) : SIFT, vocabulary tree, bundle adjustment 등○ greedy bin-packing algorithm○ Levenberg-Marquardt (LM) algorithm○ sparse bundle adjustment (SBA)○ dense Cholesky factorization○ CHOLMOD○ Voronoi tessellation○ ADMM(alternating direction method of multipliers) algorithm○ HTL(human-in-the-loop) : AI 시스템의 학습을 가이드하는 사람 ○ BRISQUE : 이미지 별 품질 평..
【알고리즘】 12-1강. DIP(Deep Image Prior) 12-1강. DIP(deep image prior) 추천글 : 【알고리즘】 12강. 딥러닝 3부 - CNN 알고리즘 1. 개요 [본문] 2. 수식화 [본문] 3. 응용 [본문] 4. 레퍼런스 [본문] 1. 개요 [목차] ⑴ 발상 ① CNN은 corrupted image에 내재된 texture를 인식할 수 있음 ② 초기 상태를 달리하여 여러 CNN 구조를 만들면 corrupted image의 모든 texture의 집합을 생성할 수 있음 ③ 가정 : 그러한 집합은 corrupted image뿐만 아니라 clean image의 모든 texture의 집합이 될 수도 있음 ○ 즉, CNN 자체가 매우 강력하고 내재적인 Prior라서 CNN이 표현가능한 parametric function space가 일반적이지 않..
【알고리즘】 11강. 강화학습 11강. 강화학습(reinforcement learning; RL) 추천글 : 【알고리즘】 알고리즘 목차 1. 개요 [본문] 2. Markov decision process [본문] 1. 개요 [목차] ⑴ 정의 ① (참고) supervised learning ○ 데이터 : (x, y) (단, x는 feature, y는 label) ○ 목표 : 맵핑 함수 x → y의 계산 ② (참고) unsupervised learning ○ 데이터 : x (단, x는 feature이고 label은 없음) ○ 목표 : x의 underlying structure에 대한 학습 ③ reinforcement learning ○ 데이터 : (s, a, r, s') (단, s는 state, a는 action, r은 reward, s..
【알고리즘】 6강. 분류 알고리즘 6강. 분류 알고리즘(classification algorithm) 추천글 : 【알고리즘】 알고리즘 목차 1. 개요 [본문] 2. 종류 1. linear classificer [본문] 3. 종류 2. K-nearest neighboring alrogithm [본문] 4. 종류 3. 결정 트리 [본문] 5. 종류 4. 베이스 분류기 [본문] 6. 종류 5. 도메인 적응 분류 [본문] 7. 종류 6. 딥러닝 기반 분류 [본문] a. Github (R, Python) b. Calibrated Classification Model 1. 개요 [목차] ⑴ 정의 ① y ~ X (단, | { y } | ＜ ∞ ) ② supervised algorithm에 속함 ⑵ calibrated classification mod..
【알고리즘】 23강. MAB(multi-armed bandits) 23강. MAB(multi-armed bandits) 추천글 : 【알고리즘】 알고리즘 목차 1. 개요 [본문]2. UCB [본문]3. thomson sampling [본문]4. UCB와 thomson sampling의 비교 [본문] 1. 개요 [목차]⑴ 문제 정의 : 가장 payoff가 높은 최적의 arm을 선택하는 것⑵ 두 가지 전략의 trade-off① exploitation : 현재 가지고 있는 데이터로부터 얻은 empirical mean을 가지고 reward를 극대화하는 것 ② exploration : empirical mean이 true mean과 일치하도록 개선하는 것③ 우연히 초기 데이터가 데이터의 진실한 분포와 다른 경우 exploration을 게을리 하면 잘못된 판단을 고칠 수 없음⑶ 종..

티스토리툴바