diff --git a/_posts/computer_vision/diffusion_model/papers/2024-01-21-ddpm_2.md b/_posts/computer_vision/diffusion_model/papers/2024-01-21-ddpm_2.md index b265439..a208c32 100644 --- a/_posts/computer_vision/diffusion_model/papers/2024-01-21-ddpm_2.md +++ b/_posts/computer_vision/diffusion_model/papers/2024-01-21-ddpm_2.md @@ -19,7 +19,7 @@ $$ \mathbf{x_t} = \sqrt{- \beta_t}\mathbf{x_{t-1}} + \beta_t\epsilon, \\ \epsilon \sim \mathcal{N}(0, \mathit{I}) $$ - + - $\beta_t$에 의해서 $t-1$ 시점의 이미지에서 $t$ 시점의 이미지가 결정되는 것이고, **DDPM** 논문에서는 이를 `Noise Schedule`이라고 함 - $T = 100, \beta_0 = 0.0001, \beta_T = 0.02$ @@ -38,7 +38,7 @@ q(\mathbf{x_t} | \mathbf{x_0}) = \mathcal{N}(\mathbf{x_t}; \bar{\alpha_t}\mathbf \bar{\alpha_t} = \prod^{t}_{i=1}\alpha_t $$ - + - 결국 `Forward Process`를 통해서 마지막으로 얻는 noise image는 완전한 normal distribution 또는 gaussian distribution을 따른다. 즉, $\mathcal{N}(0, \mathit{I})$으로 평균은 1에 가까워지고, 분산은 0에 가까워진다. @@ -65,11 +65,11 @@ $$ - 이 때, ***untractable**하기 떄문에 `Prox Loss Variational Lower Bound`를 사용 - `VLB`는 모든 구간에서 실제 `likelihood`보다 작도록 설정 - + `likelihood`를 $f(x)$라고 할 때, 계산이 가능한(***tractable***) $g(x)$를 최대화하면 $f(x)$와 매우 유사한 함수를 얻을 수 있다. - + - `Prior Matching Term` - $T$까지 `Forward Process`를 수행할 때의 최종 분포가 `Gaussian Distribution`과 동일하도록 한다. @@ -85,7 +85,7 @@ $$ - 이 때, $mathbf{x_0}$을 실제 `Reverse Process`의 수식에 컨디셔닝을 해도 `Reverse Process`의 `Markov`정의는 깨지지 않기 때문에 $q(\mathbf{x_{t-1}}|\mathbf{x_{t}}, \mathbf{x_0})$을 정의하고, 이는 `Bayes Rule`로 계산이 가능 - + $$ @@ -101,10 +101,10 @@ $$ - 이 때, 미지수는 $\mathbf{\epsilon_t}$이므로, 모델은 이를 예측한다. - + ### Architecture - + ## References: