업스케일링

 


1. 개요
2. 보간 알고리즘
2.1. Nearest neighbor
2.2. Bilinear
2.3. Bicubic
2.4. Lanczos
3. AI 업스케일링


1. 개요

Upscaling
사진이나 동영상의 픽셀과 픽셀 사이에 새로운 픽셀을 끼워 넣어 화질을 높여주는 기술.
AI를 통한 업스케일링 기술의 등장 이전에는 bicubic 등의 알고리즘을 이용한 보간법(Interpolation)이 존재했었으나, 이는 단순히 동영상이나 사진의 크기만을 조정해 주는 이미지 스케일링(Image scaling)만을 해줄 뿐 품질 등을 개선해 주지는 못했다.
딥 러닝을 거친 AI나 몇 만번의 CNN 학습을 시킨 초해상화(Super-Resolution) 모델을 사용하는 경우, 새로운 픽셀을 끼워넣는 정도로는 영상의 화질이 눈에 띄게 개선되지 않아 일반적으로 노이즈 제거(denoise) 등의 타 작업을 병행한다.
비디오 스케일러(Video scaler)라고 해서 특정 해상도의 비디오 신호를 다른 신호로 변환해 주는 시스템도 있는데, 보통 스케일러를 이용한 비디오 신호 변환 작업을 업스케일링 혹은 업컨버전(upconversion)이라고 한다.
4K나 8K TV같은 고화질 디스플레이에서는 자체적으로 AI를 이용하여 저화질 영상을 실시간으로 업스케일링 해주기도 한다.관련 광고

2. 보간 알고리즘

전통적인 방식으로 대표적으로 다음과 같은 알고리즘들이 있다.

2.1. Nearest neighbor

픽셀 사이에 옆의 픽셀을 그대로 복사해 넣는 방식. 픽셀이 두드러져 보이기 때문에 일반적으로는 사용되지 않고 도트로 된 이미지의 크기를 키울 때 이용된다.

2.2. Bilinear

주변 4개의 픽셀(2×2)을 이용해 크기를 키우는 방식으로 간단하고 빠르기 때문에 가장 일반적으로 사용된다. 품질은 다른 더 많은 샘플을 이용하는 알고리즘보다는 떨어진다.

2.3. Bicubic

16 픽셀(4×4)을 이용하는 방식으로 Bilinear보다 깔끔한 결과물을 얻을 수 있다.

2.4. Lanczos

일반적으로 지원되는 알고리즘 중 가장 고품질의 이미지를 얻을 수 있다. 특히, 영상의 크기를 키워서 볼 때 인기있는 알고리즘이다.

3. AI 업스케일링


AI 기술을 활용해 예전 영상들을 고화질의 영상으로 만들수 있다.
대표적인 업스케일링 프로그램은 Gigapixel AI[1], Video Enhance AI, waifu2x 등이 있다.
[1] 원본이 720p정도 선명해야 크게 실감이 난다고 한다.

분류