히스토그램처럼 균일한 간격으로 주어진 데이터에서 피크 값의 위치를 찾기 위해서는 먼저 노이즈 제거를 위해 몇 번의 smoothing 과정을 적용해야 한다 (구체적인 방법은 필요에 따라 다양하다). smoothing 과정을 거친 히스토그램에서 피크 위치를 찾는 것은 쉬운 작업이다. 그런데 경우에 따라 그 위치를 sub-order까지 구해야 필요가 생긴다. 예를 들면, 실수 값 데이터 시퀀스 대한 히스토그램을 만들려면 먼저 정수로 양자화시켜야 가능하다. 이 양자화된 정보를 담고 있는 히스토그램에서 피크의 위치를 찾으려 할 때 양자화 과정에서 잃어버린 정밀도를 복원하려면 interpolation을 써야 한다. 간단하게 parabolic 근사로 피크의 위치를 찾는 경우를 생각하자. 이 방법은 수학적으로 단순하지만 영상처리 알고리즘에서 많이 이용이 되고 있다. 데이터 시퀀스가 균일한 간격에서 주어졌으므로 계산은 −1,0,1의 세 군데 위치에서 중앙 근방에 피크가 나타나는지를 고려하면 된다. 세 점에서 히스토그램 값이 각각 hm,h0,hp일 때 이들을 지나는 이차 곡선의 피크 위치를 찾자. 주어진 이차 곡선을
y=a(x−c)2+b
꼴로 쓰면 c가 0에서 벗어난 정도를 나타낸다.
(−1,hm)→hm=a(−1−c)2+b
(0,h0)→h0=ac2+b
(+1,hp)→hm=a(+1−c)2+b
이므로
hm−hp=4ac,
hm+hp−2h0=2a,
∴c=hm−hp2(hm+hp−2h0)
아래 코드는 피크의 위치가 중앙점에서 벗어난 정도를 준다.
boolparabolicInterpolate(double hm, double h0, double hp, double *c){
double a = hm + hp - 2 * h0;
if (a >= 0) returnfalse; // not a parabola(a==0), not convex up(a>0);
*c = 0.5 * (hm - hp) / a;
if (*c < -0.5 || *c > 0.5) returnfalse; // too far;returntrue;
}
3차의 Hermite spline을 쓰는 interpolation에서 입력 데이터 점에서의 기울기 값을 수정하면 입력 데이터의 monotonic 한 성질을 그대로 유지하는 보간을 할 수 있다. 주어진 데이터가 {(x1,y1),(x2,y2),…,(xn,yn)}이고, x/y-좌표가 증가하는 순으로 정렬되었다고 하자. 구간 [xk,xk+1]의 시작과 끝에서 값 (p0=yk, p1=yk+1)과 기울기 (m0,m1) 가 주어지면 cubic Hermite spline 보간 함수는 다음과 같이 매개변수 t∈[0,1]의 함수로 표현된다:
p0=f(0)=a0p1=f(1)=a0+a1+a2+a3m0=f′(0)=a1m1=f′(1)=a1+2a2+3a3을 얻을 수 있다. 계수 a0,a1,a2,a3에 대해 풀면
f(t)=p0+m0t+(3p1−3p0−m1−2m0)t2+(−2p1+2p0+m0+m1)t3
=p0(2t3−3t2+1)+p1(−2t3+3t2)+m0(t3−2t2+t)+m1(t3−t2) 처럼 표현됨을 알 수 있다.
보간 spline이단조성(monotonicity)을 가지도록 하려면 각 입력점에서 기울기 값(mk)을 조절해주어야 하는데, 기울기 mk를 어떻게 설정해야 인접 구간의 보간 함수와 smooth 하게 연결될 수 있을까? 주어진 입력점에서 기울기는 보통 왼쪽과 오른쪽 인접 입력점에서 각각 평균 변화율(δk−1,δk)을 구한 후 이들의 평균을 사용하면 된다. (양 끝점에서는 오른쪽이나 왼쪽 구간의 평균 변화율로 대체)
mk=12(δk−1+δk)=12(yk−yk−1xk−xk−1+yk+1−ykxk+1+xk)
이것만으로는 단조성을 보증을 할 수 없으므로 다음 조건을 추가로 부여해야 됨이 관련 논문에서 증명이 되었다.
1.Forδk=0⟹mk=mk+1=0
2.Forϵ=√(mkδk)2+(mk+1δk)2>3
⟹mk←3mkϵ,mk+1←3mk+1ϵ
아래의 코드는 위키피디아에 제시된 알고리즘을 구현한 것이다. (입력 데이터가 한 방향으로 monotonic 할 때만 동작함)
이미지 처리에서 픽셀 좌표는 간격이 1인 2차원 그리드의 교차점으로 볼 수 있다. 이미지를 확대하거나 축소할 때, 픽셀과 픽셀 사이 구간에서 값이 필요한 경우가 생긴다. 간단하게는 가장 가까운 주변 픽셀의 값을 그대로 가져다 쓰거나, 또는 주변의 4 픽셀 값을 선형보간해서 사용할 수 있다. 2차원 그리드에서 선형보간은 bilinear interpolation이다. 이 보간법은 속도는 빠르지만 픽셀 값이 인접 그리드에서의 값으로 부드럽게 이어지지 않는 단점이 있다. 인접 그리드 경계에서 픽셀 값이 부드럽게 이어지기 위해서는 적어도 1차 미분이 연속인 보간법을 사용해야 하는데, 이러한 조건을 만족시키는 가장 낮은 찾수의 다항식 보간법이 bicubic interpolation이다.
4점 (0,0),(0,1),(1,0),(1,1)을 꼭짓점으로 하는 정사각형 내의 임의 지점 D={(x,y)|0≤x≤1,0≤y≤1} 에서 픽셀 값을 주는 보간곡면 f(x,y)을 주변의 16개 점 {(i,j)|−1≤i≤2,−1≤j≤2}에서 픽셀 값을 사용하는 bicubic interpolation을 이용해서 추정할 수 있다. 곡면 f(x,y)은 x와 y의 3차 함수로 다음과 같이 쓸 수 있다.
f(x,y)=3∑i=03∑j=0aijxiyj.
문제는 16개 계수 {aij}를 어떻게 찾을 것인가? 이를 위해 16개의 조건이 필요한데 주변의 16개의 픽셀 값을 이용해서 만들 수 있다. 또한 픽셀 값이 인접 그리드 영역으로 smooth 하게 연결되기 위해서는 f(x,y)의 미분도 고려해야 한다.
* 원본 4x4 이미지(RGB): nearest-neighbor interploation으로 256x256 크기로 만듦;
* bicubic interpolation 결과 (256x256):
* bilinear interpolation 결과 (256x256):
코드 구현 일부: bicubic interpolation은 주변의 16개 픽셀 정보가 필요한데, 가장자리 픽셀인 경우는 이를 충족시킬 수 없으므로 이를 해결하기 위해 영역 밖은 가장자리 픽셀이 반복된 것으로 처리하는 것이 가장 쉽다. 그리고 소스 영상이 큰 경우에는 문제가 되지 않지만 예제처럼 작은 소스 영상의 경우는 가장자리 부근에서 단순 채움을 사용하면 왜곡이 발생한다. 이를 해소하기 위해서는 소스 픽셀 위치가 픽셀의 중간을 나타낸 것으로 처리하면 된다.
for (int y = 0; y < dstHeight; y++) {
BYTE *pdst = (BYTE *)dst.GetLinePtr(y);
double src_fy = y * scaley - 0.5;
int src_iy = int(floor(src_fy));
double ry = src_fy - src_iy;
for (int x = 0; x < dstWidth; x++) {
double src_fx = x * scalex - 0.5;
int src_ix = int(floor(src_fx));
double rx = src_fx - src_ix;
// Fill interpolation matrices for R,G,B;
for (int by = 0; by < 4; by++) {
int yy = by + src_iy - 1;
CLAMP(yy, 0, srcHeight - 1);
BYTE *psrc = (BYTE *)src.GetLinePtr(yy);
for (int ax = 0; ax < 4; ax++) {
int xx = ax + src_ix - 1;
CLAMP(xx, 0, srcWidth - 1);
B[ax][by] = psrc[3 * xx + 0];
G[ax][by] = psrc[3 * xx + 1];
R[ax][by] = psrc[3 * xx + 2];
}
}
int bb = (int)BicubicInterpolate(B, rx, ry);
int gg = (int)BicubicInterpolate(G, rx, ry);
int rr = (int)BicubicInterpolate(R, rx, ry);
*pdst++ = bb < 0 ? 0: bb > 255 ? 255: bb;
*pdst++ = gg < 0 ? 0: gg > 255 ? 255: gg;
*pdst++ = rr < 0 ? 0: rr > 255 ? 255: rr;
}
};