Geometry & Recognition

평면에서 주어진 벡터장의 orientation을 찾는 문제는 영상처리 알고리즘에서 자주 접하게 된다. 벡터의 방향은 두 성분의 부호와 상대적인 크기에 따라 달라지지만, 기준선에 대해 상대적으로 기울어진 정도를 나타내는 orientation은 정반대 방향의 두 벡터 $(v_x, v_y)$와 $(-v_x, -v_y)$에 같은 값이 부여되고, 그 값은 벡터의 $x$ 성분과 $y$ 성분의 비의 arctangent 값

$$\theta=\tan^{-1} \left( \frac {v_y}{ v_x }\right)$$

로 계산할 수 있다. 

영상처리에서는 영상에 내재하는 잡음에 의한 영향을 줄이기 위해 한 지점에서 orientation을 추정할 때 보통 그 지점 주변의 벡터 성분의 평균을 이용한다. 주변에서 정반대 방향의 두 벡터가 있는 경우 이 두 벡터는 기하학적으로 같은 orientation을 주지만 더하는 경우 서로 상쇄되어 평균에는 기여가 없으므로 위 식을 사용하면 잘못된 예측을 줄 수 있다. 따라서 잡음을 고려한 상황에서 좀 더 robust 하게 orientation을 추정할 수 있는 방법이 있어야 한다. 벡터 성분의 상대적인 부호만 고려하는 식으로 바꾸기 위해서 $\tan \theta$ 대신에 $\tan (2\theta)$를 고려하자.

\[ \tan (2\theta) = \frac {2\tan(\theta)}{1-\tan^2(\theta)}=\frac {2v_x v_y}{v_x^2 - v_y^2}. \]

분모에서는 각 성분의 제곱, 분자는 두 성분의 곱으로 표현되므로 성분 사이의 상대부호가 같은 경우에는 우측식은 같은 값을 주므로 분모, 분자를 주변 평균값 $v_x v_y ~\longrightarrow ~<v_x v_y>$, $v_x^2 - v_y^2 ~\longrightarrow ~<v_x^2> - < v_y^2>$으로 대체하여도 올바른 orientation을 주게 된다. orientation 각도는

\[ \theta = \frac {1}{2} \tan^{-1}\left( \frac {2 <v_x v_y>}{ <v_x^2> - <v_y^2>}  \right)  \]

으로 주어진다. 실제 계산은 인자가 singular해지는 경우를 피하기 위해서 $\text {atan2}()$ 함수를 사용한다.

https://kipl.tistory.com/293

https://kipl.tistory.com/111

https://kipl.tistory.com/58

주어진 이미지(destination image)의 일부분($\Omega$)을 다른 이미지(source image: $g(x, y)$)로 자연스럽게 대체하는 seamless blending의 한 기법인 Possion Image Editing을 살펴보자. 수학적으로는 destination image의 한 영역 $\Omega$에서 source image를 보간(interpolation)하는 함수 $f(x,y)$를 찾는 작업이다. $f$는 보간 영역의 경계($\partial\Omega$)에서는 destination image와 같은 컬러 값($f^{*}$)을 가져야 한다.

그럼 보간의 기준은 무엇이 되어야 하는가? blending이 잘되기 위해서는 보간 영역에서는 source image와 같은 형상으로 보여야 한다. 이미지에서 형상의 인식은 컬러값 자체가 아니라 컬러의 변화인 gradient에 의해서 결정이 된다. 따라서 보간 함수는 source image의 gradient를 최대한 유지하도록 선택되어야 한다. 이제 seamless blending을 주는 보간 함수를 찾는 문제는 source image가 blending 영역의 경계에서는 destination 이미지의 color값을 가지면서 영역 내부에서는 source image의 gradient 값을 최대한 유지하는 함수를 찾는 변분 문제로 귀결된다: source image의 gradient를 $\mathbf{v}(x, y)=\nabla g= (\partial g/\partial x, \partial g / \partial y)$라 하면,

$$ \underset{f}{\text{argmin}} \iint_{\Omega}  | \nabla f - \mathbf{v}|^2 dxdy, \quad\text {with} \quad f = f^*~\text {on}~\partial \Omega.$$

위 식을 $f$에 대해서 variation을 취하면

\begin{gather}\iint 2(\nabla \delta f)\cdot(\nabla f - \mathbf{v}) dxdy \\= - 2 \iint \delta f ( \nabla^2 f - \nabla \cdot \mathbf{v}) dxdy + 2 \iint  \nabla \cdot \left[ \delta f (\nabla f - \mathbf{v})\right] dxdy  \end{gather}

을 얻을 수 있는데 마지막 항은 total derivative이므로 기여가 없다. 따라서 보간함수 $f$는 다음 방정식을 만족해야 한다:

$$ \nabla^2 f = \nabla \cdot \mathbf{v}, \quad \text {or} \quad \frac {\partial^2 f}{\partial x^2} + \frac {\partial ^2 f}{\partial y^2 } = \frac {\partial v_x }{\partial x}+ \frac {\partial v_y}{\partial y}.$$

보간함수를 찾는 과정은 domain $\Omega$에서 Dirichlet boundary condition $f=f^* ~\text {on} ~\partial\Omega$이 부여된 Poisson 방정식의 해를 찾는 것과 같다는 것을 알려준다.

$\nabla \cdot\mathbf{v}= \nabla^2 g$이므로 Poisson 방정식의 해를 $f(x,y)= g(x,y) + h(x,y)$로 쓰면 풀어야 할 문제는 다음의 Laplace 방정식으로 해를 구하는 문제로 바뀐다.

$$ \nabla^2 h = 0, \quad ~~ h|_{\partial\Omega} = (f^* - g)|_{\partial\Omega}$$

** 1차원 예: $f^*(x)=1-\frac{x}{\pi}$, $g(x)=\frac{1}{2} \cos (4x)$ 인 경우, $f(x)=g(x) + h(x)$로 쓰면, $h(x)$는 $h(x=0) = f^*(0) - g(0) = 0.5$, $h(\pi)=f^*(\pi)-g(\pi) = -\frac{1}{2}$의 경계조건을 만족하는 $d^2h/dx^2 = 0$의 해로 주어지는데, $h(x)=\frac{1}{2}- \frac{x}{\pi}$임을 쉽게 알 수 있다. 따라서 $f(x)= \frac{1}{2}-\frac{x}{\pi} +\frac{1}{2} \cos(4x)$로 쓰인다:

comb 함수: 일정한  간격($T$)으로 주어진 message를 샘플링하는 함수.

$$\text{comb}_T(t) := \sum_{n=-\infty}^{\infty} \delta (t- nT)$$

주기가 $T$인 함수다: 

$$ \text{comb}_T(t) = \text{comb}_T(t+T)$$

따라서 Fouries series 전개가 가능하다.

$$\text{comb}_T(t) = \sum_{n=-\infty}^{ \infty}   c_n e^{i 2\pi n t /T}$$

계수 $c_n$은?

\begin{align} c_n :=&\frac{1}{T} \int_{-T/2}^{T/2} \text{comb}_T(t) e^{-i 2\pi n t /T}dt \\ =&  \frac{1}{T}\int_{-T/2}^{T/2} \delta (t) e^{ -i 2\pi n t/T} dt  \\ =&\frac{1}{T} e^{-i 2\pi n (0) /T } = \frac{1}{T}.\end{align}

따라서, $\text{comb}_T(t)$의 Fourier series 전개는 

$$\text{comb}_T(t) = \frac{1}{T} \sum_{n = -\infty}^{\infty} e^{i2\pi  n t/T}.$$

frequency domain에서 delta 함수의 역 Fourier transform은 정의에 의해서

$$ {\cal F}^{-1} [\delta (f-f_0)] = \int \delta (f-f_0) e^{i 2\pi t f }df = e^{i 2\pi t f_0}$$

그럼 $\text{comb}_T(t)$의 Fourier transform은 어떻게 표현되는가?

\begin{align} {\cal F}[\text{comb}_T(t)]=& \frac{1}{T} \sum {\cal F}[ e^{i2\pi n t/T}] \\  =& \frac{1}{T} \sum {\cal F}[ {\cal F}^{-1} [ \delta (f - n/T)]] \\ =& \frac{1}{T} \sum_{n = -\infty}^{\infty} \delta(f - n/T).\end{align} $\text{comb}$ 함수의 Fourier 변환은 frequency domain에서 $\text{comb}$ 함수이고 (up to constant factor),  time domain에서 주기가 $T$일 때 frequency domain에서는 $ 1/T$의 주기를 가진다.

주어진 message $m(t)$에서 일정한 간격 $T$로 샘플링된 message $m_s(t)$는 $\text{comb}$ 함수를 이용하면

$$m_s (t) : = m(t) \text{comb}_T(t) = \sum m(nT) \delta (t- nT)$$

로 표현된다.

양변에 Fourier transform을 적용하면,

\begin{align} M_s(f) = {\cal F} [m_s ] =& {\cal F}[m(t) \text{comb}_T(t)]= {\cal F}[m] * {\cal F}[\text{comb}_T]  \\  =& \frac{1}{T} \sum \int \delta(f' - n /T) M(f- f') df' \\ =& \frac{1}{T} \sum_{n=- \infty}^{\infty}  M(f - n/T) . \end{align}

따라서 message의 spectrum이 band-limited이고, $\text{band-width} \le \frac{1}{2} f_s = \frac{1}{2T}$인 조건을 만족하면 샘플링된 데이터를 이용해서 원 신호를 복원할 수 있다.

이 경우에 low-pass filter 

$$ H(f/f_s) := T \cdot \text{rect}(f/f_s)=\left\{ \begin{array}{ll} T ,& |f/f_s| < 1/2 \\ 0 , & |f/f_s| >1/2,\end{array}\right. $$

을 sampled massage의 Fourier transform에 곱해주면, 원 message의 Fourier transform을 얻는다:

$$ M(f) = H(f) M_s(f).$$

그런데 $M_s(f)$는 frequency domain에서 주기가 $f_s = 1/T$인 주기함수이므로 Fourier series로 표현할 수 있다:($\text{comb}_T$ 함수와 같은 방식으로 하면 계수를 쉽게 찾을 수 있다: Poisson summation formula)

$$M_s(f) = \frac{1}{T}\sum M(f- n f_s ) = \sum_{-\infty}^\infty   m(nT) e^{-i 2\pi nf T}$$

따라서, 

\begin{align} M(f) = & H(f/f_s)   M_s(f) \\ =& H(f/f_s)  \sum  m(nT) e^{-i 2\pi nfT} \\ =& \sum m(nT) \Big(\text{rect}(f/f_s )T  e^{-i 2\pi nTf} \Big) \\=& \sum m(nT) {\cal F} \left[  \text{sinc}  \left( \pi  \frac{t-nT}{T} \right) \right]\end{align}

이므로 양변에 역 Fourier transform을 하면 sampled 된 message $\{m(nT)|n\in Z\}$를 이용해서 원 message를 복원할 수 있는 식을 얻을 수 있다(Whittaker-Shannon interpolation):

$$m(t) = \sum_{n=-\infty}^{\infty}  m(nT) \,\, \text{sinc}\left(  \pi \frac{t-nT}{T} \right) .$$