Skip to content

Commit

Permalink
fix typo
Browse files Browse the repository at this point in the history
  • Loading branch information
wonchul-kim committed Feb 17, 2024
1 parent 3c493f4 commit 47f209c
Showing 1 changed file with 7 additions and 7 deletions.
Original file line number Diff line number Diff line change
Expand Up @@ -19,7 +19,7 @@ $$
\mathbf{x_t} = \sqrt{- \beta_t}\mathbf{x_{t-1}} + \beta_t\epsilon, \\ \epsilon \sim \mathcal{N}(0, \mathit{I})
$$

<img src='/assets/computer_vision/diffucion_model/papers/ddpm/reparameterization.png'>
<img src='/assets/computer_vision/diffusion_model/papers/ddpm/reparameterization.png'>

- $\beta_t$에 의해서 $t-1$ 시점의 이미지에서 $t$ 시점의 이미지가 결정되는 것이고, **DDPM** 논문에서는 이를 `Noise Schedule`이라고 함
- $T = 100, \beta_0 = 0.0001, \beta_T = 0.02$
Expand All @@ -38,7 +38,7 @@ q(\mathbf{x_t} | \mathbf{x_0}) = \mathcal{N}(\mathbf{x_t}; \bar{\alpha_t}\mathbf
\bar{\alpha_t} = \prod^{t}_{i=1}\alpha_t
$$

<img src='/assets/computer_vision/diffucion_model/papers/ddpm/noise_schedule.png'>
<img src='/assets/computer_vision/diffusion_model/papers/ddpm/noise_schedule.png'>

- 결국 `Forward Process`를 통해서 마지막으로 얻는 noise image는 완전한 normal distribution 또는 gaussian distribution을 따른다. 즉, $\mathcal{N}(0, \mathit{I})$으로 평균은 1에 가까워지고, 분산은 0에 가까워진다.

Expand All @@ -65,11 +65,11 @@ $$
- 이 때, ***untractable**하기 떄문에 `Prox Loss Variational Lower Bound`를 사용
- `VLB`는 모든 구간에서 실제 `likelihood`보다 작도록 설정

<img src='/assets/computer_vision/diffucion_model/papers/ddpm/vlb.png'>
<img src='/assets/computer_vision/diffusion_model/papers/ddpm/vlb.png'>

`likelihood`$f(x)$라고 할 때, 계산이 가능한(***tractable***) $g(x)$를 최대화하면 $f(x)$와 매우 유사한 함수를 얻을 수 있다.

<img src='/assets/computer_vision/diffucion_model/papers/ddpm/loss.png'>
<img src='/assets/computer_vision/diffusion_model/papers/ddpm/loss.png'>

- `Prior Matching Term`
- $T$까지 `Forward Process`를 수행할 때의 최종 분포가 `Gaussian Distribution`과 동일하도록 한다.
Expand All @@ -85,7 +85,7 @@ $$
- 이 때, $mathbf{x_0}$을 실제 `Reverse Process`의 수식에 컨디셔닝을 해도 `Reverse Process``Markov`정의는 깨지지 않기 때문에 $q(\mathbf{x_{t-1}}|\mathbf{x_{t}}, \mathbf{x_0})$을 정의하고, 이는 `Bayes Rule`로 계산이 가능


<img src='/assets/computer_vision/diffucion_model/papers/ddpm/denoising_term.png'>
<img src='/assets/computer_vision/diffusion_model/papers/ddpm/denoising_term.png'>


$$
Expand All @@ -101,10 +101,10 @@ $$
- 이 때, 미지수는 $\mathbf{\epsilon_t}$이므로, 모델은 이를 예측한다.


<img src='/assets/computer_vision/diffucion_model/papers/ddpm/denoising_term_epsilon.png'>
<img src='/assets/computer_vision/diffusion_model/papers/ddpm/denoising_term_epsilon.png'>

### Architecture
<img src='/assets/computer_vision/diffucion_model/papers/ddpm/arch.png'>
<img src='/assets/computer_vision/diffusion_model/papers/ddpm/arch.png'>


## References:
Expand Down

0 comments on commit 47f209c

Please sign in to comment.