High Dynamic Range
1. 개요
'''High Dynamic Range'''
한 화면에서 밝은 부분과 어두운 부분의 차이를 극대화시킨 영상을 구현하는 포괄적인 기술이다.
2. 배경 및 의의
20세기에는 디스플레이 기술이 발전하지 못해서 HDR에 대한 개념이 없었다.
2000년대에 들어서 비디오 게임에서 그래픽 구현 기술이 발전하면서 HDR에 대한 개념이 처음으로 등장하기 시작하였다. 뒤이어서 디스플레이 기술이 2000년대 중후반부터 급격히 발전하여 영상 업계에서도 HDR에 대응하기 위한 프로덕션 체계를 갖추기 시작하였다.
2.1. HDR 렌더링
2000년대에 들어서 게임 및 3D 그래픽 업계에서 '''HDR 렌더링''' (High Dynamic Range Randering)이라는 기술을 개발하였다.
HDR 렌더링은 흰색[1]보다 더 밝은 유채색이 존재하고 검은색보다 더 어두운 유채색이 존재할 수 있는 현실 세계의 특징을 3D 그래픽에 반영하기 위하여 개발되었다.
HDR 렌더링에서는 이를 위해 색상의 구현 범위를 더욱 세밀하고 폭넓게 표현할 수 있는 색상 자료형을 개발해야할 필요성[2]이 생겼다. 그래서 부동소수점 색상이 등장하였다.
NVIDIA는 HDR 렌더링의 특징을 다음과 같이 정리하였다.
- 밝은 물건은 좀 더 밝게 표현될 수 있다 어두운 물건은 확실히 어둡게 표현이 가능하다. 인간이 느끼는 밝기의 차를 그대로 구현하여 바깥에서 들어오는 빛의 경우 밝기를 강하게 하여 뿌옇게 만들고 내부의 빛을 받지 못하는 구조물은 명암을 좀 더 주어 실제적인 광원을 강조할 수 있다.
- 위 양쪽의 경우 모두 명암에 의한 세밀함을 살릴 수 있다. 그에 따라 인간의 시각이 밝기를 인지하는 것과 비슷한 효과를 낼 수 있으며 눈부심(Bloom) 효과를 적재적소에 활용하여 실사와 같은 광원을 표현할 수도 있다.
2.2. SDR vs HDR
그래픽 업계에 의해서 HDR 렌더링이 등장함으로써 SDR (Standard Dynamic Range)과 HDR의 개념을 명확하게 구분해야할 필요성이 생겼다. SDR은 HDR이 등장하기 이전부터 통용되고 있는 색상 규격이다.
부동소수점 색상을 기준으로 0.0은 검은색이고 1.0은 흰색이다. SDR에서는 0.0 ~ 1.0까지의 색상만 표현할 수 있다. 즉, 검은색보다 더 어두운 유채색은 존재하지 않고 1.0보다 더 밝은 유채색도 존재하지 않는다. 이러한 SDR의 특징으로 인해 SDR에 맞춰서 제작된 영상 매체들은 색상이 지나치게 단순해지고 뭉쳐보이기까지 하는 한계가 드러난다.
HDR에서는 음수값을 허용하고 1.0을 초과하는 색상을 표현할 수 있다.
2.3. HDR 이미징에 대한 수요
오랜 세월 동안 영상 업계에서 아티스트들은 현실 세계의 빛을 그대로 재현하기 위해 노력해 왔다. 어떤 이는 종이 위에 제한된 수의 잉크를 사용하거나 캔바스에 물감을 짜는 방법을 시도했었고, 다른 이들은 백색 스크린에 빛을 쪼이거나 CRT(음극선관)으로 브라운관을 만드는 수고를 아끼지 않았다. 그들은 수 세기동안 제한된 수의 밝기 단계를 극복하기 위해 노력해 왔고, 또한 보다 많은 색을 표현하기 위해 끊임 없이 노력해 왔다.
그러나 20세기 이후 발명 된 영화와 TV 조차도 현실 세계의 빛을 그대로 재현하는 능력은 매우 제한적인 것이 현실이었다. 영상 감독들은 언제나 배우의 얼굴 표정이 스크린에 또렷이 표시되는 것을 제 1의 목표로 하면서 동시에 상대적으로 밝은 하이라이트 영역과 암부(暗部)의 실루엣을 적정 수준 재현하는 것을 제 2의 목표로 하여 영상의 중심 계조를 조심스럽게 조정해야만 했다. 그러나 아무리 심혈을 기울여도 작업의 결과물은 언제나 원본 영상의 다이내믹 레인지를 모두 담을 수 없는 한계가 존재하였다. 이러한 기술적인 제약은 네거티브 필름을 사용하든 디지털 카메라를 사용하든 공통적으로 발생하는 문제점이었다.
또한 새로운 디스플레이 제조 기술이 폭발적으로 늘어나면서 보다 밝고 풍부한 색감의 영상을 표시할 수 있는 길이 열렸는데, 여기에는 백라이트를 적용한 액정 표시 장치(LCD), 유기 발광 다이오드를 활용한 OLED 디스플레이 그 밖에 퀀텀닷(QD) 디스플레이와 다이렉트 뷰 LED 방식 등이 큰 역할을 하였다. 이러한 새로운 디스플레이 장치들은 모두 밝기와 색역 그리고 회색 계조 표현력을 크게 향상 시켰다는 공통점이 있다. 이후 마이크로 LED와 같은 새로운 디스플레이가 출현하고 있으며, 이러한 일련의 기술적인 움직임들은 모두 HDR 기술의 확산을 더욱 더 부채질하고 있다.
2.4. HDR 이미징
3D 그래픽 업계에 의해 HDR의 개념이 대두되면서, 영상 업계에서는 SDR의 범위를 초과하는 색상을 담아내고 표현할 수 있는 기술을 개발하기 시작하였다. 이를 '''HDR 이미징''' (HDR Imaging) 기술이라고 한다.
HDR 이미징에서 나온 HDR 이미지는 HDR 디스플레이(높아진 휘도를 지원하는)에서 작업 시에 해당 사진의 노출을 ±200% 범위에서 줄이거나 늘려도 명부 및 암부의 디테일이 그대로 유지된다.
2.4.1. 브라케팅 기술의 등장
과거에는 카메라의 성능이 좋지 못했다. 사진기에서 표현할 수 있는 다이내믹 레인지의 한계를 넘어 더 넓은 다이내믹 레인지를 갖는 이미지를 얻기 위하여 1997년에 브라케팅이라는 기술이 개발되었다. (Recovering High Dynamic Range Radiance Maps from Photographs, Debevec and Malik, 1996) 영문 위키백과
브라케팅은 적정 노출이나 과노출, 또는 노출 부족 상태로 촬영한 사진을 3장 이상 찍어서 합성하여 다이내믹 레인지가 단일 이미지보다 개선된 사진을 얻는 작업이다. 카메라의 다이내믹 레인지 부족으로 적정 노출 상태에서 화이트홀이 생기던 부분을 노출 부족 상태의 이미지에서 보완하고, 블랙홀이 생기던 부분을 과노출 상태의 이미지에서 보완한다. 브라케팅의 결과물로 SDR 색상 범위를 초과하는 색 정보가 담긴 HDR 이미지가 중간 결과물로 나온다.
과거엔 포토샵 같은 전문 프로그램을 이용해야 했지만, 2010년대에는 웬만한 디카에는 기능이 들어 있고, 심지어 스마트폰의 카메라 프로그램도 HDR 모드가 있다. 사진을 석 장 이상 찍어 합성하는 것이라 당연히 찍는 데 시간이 더 걸리고, 찍는 동안 사진기와 피사체가 움직이지 않아야 한다는 조건이 붙어서 너무 어둡거나 밝을 때, 어린이나 동물처럼 피사체가 빠르게 움직일 때에는 이 모드를 제대로 쓸 수가 없다.
하지만 2016년경에 와서는 스마트폰의 프로세서와 이미지 센서가 엄청나게 빨라졌기 때문에, HDR 합성에 들어가는 3장의 사진을 딜레이 없이 빠르게 찍을 수 있어서 HDR을 자동으로 켜 놓는 수준까지 올라왔다. 실제로 갤럭시 S7이나 LG V20, HTC 10 이상의 뛰어난 카메라 성능을 자랑하는 스마트폰들을 사용해 보면 HDR 이미징을 기본적으로 지원하는지라 확실히 사진의 명암부 표현이 살아 있다(다이내믹 레인지가 높다)는 것을 알 수 있다. 결과물의 명암비가 높다는 것과는 관계없다!
DSLR, 미러리스, 플래그십 스마트폰에서는 RAW 이미지 파일로도 저장이 되는데 RAW 이미지에서 노출값을 다르게 설정하여 추출한 사진들을 이용해서 HDR 이미지로 합성하는 것이 고스팅 현상도 없고 좋은 품질의 결과물을 만들어낼 수 있다. 별도로 촬영한 3개의 사진을 합성하게 되면 시차에 의한 고스팅 현상이 발생할 수 밖에 없고 이를 브라케팅 과정에서 줄일 수는 있으나 완벽하게 제거하기는 어렵기 때문이다.
2.4.2. 이미지 센서의 비약적인 발전
2000년대 후반부터는 이미지 센서의 성능이 집약적으로 발전함에 따라서 브라케팅 없이도 HDR 이미지를 저장할 수 있게 되었다.
디지털 시네마 카메라의 경우에는 이미지 센서 중에서도 최고성능의 센서를 사용하므로 색 재현력이 월등히 좋은 편이다. 이미 2000년대 후반부터 RAW 영상 그 자체로 HDR 색상으로 저장하기 시작하였다. 2010년대에 들어서는 14~16스톱의 다이나믹 레인지를 RAW에 담아낼 수 있다.
미러리스 및 DSLR 등의 일반 소비자 수준의 카메라는 2010년대 중반부터 이미 단일 RAW 파일에 14비트 이상의 DR을 담아낼 수 있는 수준이 됨에 따라서 HDR 이미지 소스로 저장하기 위하여 브라케팅이 필요없게 되었다.
그러나 최신 모바일기기의 경우에는 소형화된 이미지 센서의 성능 한계로 인해 10비트의 DR을 겨우 담아내는 수준에 불과하므로 HDR 이미지를 얻기 위해 브라케팅이 필요하다.
2.4.3. RAW 데이터의 중요성
HDR 소스를 만들려면 RAW 파일의 높은 다이나믹 레인지를 최대한 살리는 것이 중요하다. 영상 업계에서는 이미 오래전부터 RAW 영상이나 로그 영상으로 촬영본을 저장한다. 사진 분야에서도 이미 RAW 파일을 이용하여 사진의 색감 연출에 있어서 자유도를 높이는 것이 대세였다.
RAW 프로세싱 과정에서 노이즈 제거, 감마 조절, 명부 및 암부의 압축 작업이 동반되므로 대략 2스톱의 다이나믹 레인지(Dynamic Range, DR)가 손실된다. 한편, HDR10이나 HDR10+ 기준으로 마스터링하려면 RAW 프로세싱 이후에 평균적으로[3] 10스톱의 DR을 확보해야 한다. 돌비 비전의 경우에는 13스톱의 DR을 확보해야 한다.
센서 노이즈가 제거되지 않은 RAW 소스의 특성을 고려할 때, 브라케팅 없이도 HDR 색상을 얻기 위해서는 RAW 소스에서 12~15비트의 DR을 확보해야 한다. RAW 영상 데이터에서 1비트는 1스톱의 노출차(Exposure Stop, EV Stop)를 의미한다.
카메라의 RAW 원본 파일을 브라케팅 없이 HDR 이미지로 저장하기 위해서는 이미지 편집 프로그램이 RAW 프로세싱 과정에서 HDR 색상을 지원해야 한다. 이에 부합하는 유일한 사진 편집 프로그램으로는 Affinity Photo가 있다.
3. 관련 기술
이하의 항목들은 콘트라스트가 극대화된 시각을 구현하는 것이 목표이다.
HDR 기술은 컨텐츠를 다루는 기술과 디스플레이를 다루는 기술이라는 크게 두 가지 방향으로 나뉘는데, 제한된 밝기 영역 내에서 컨텐츠의 콘트라스트를 최적화하는 기술, 사진 등에서 다이나믹 레인지가 뛰어난 컨텐츠를 확보하는 기술, 디스플레이 자체가 구현 가능한 콘트라스트를 개선시켜 실사처럼 자연스러운 콘트라스트를 구현하는 기술 등이 있다.
쉽게 말하자면 0, 1, 2, 3, ... 20까지 표현된 컨텐츠를 0부터 10까지 표현가능한 디스플레이에서 재생하기 위해 0, 0.5, 1, 1.5, ... 10으로 압축하는 기술, 표현 가능한 다이나믹 레인지가 작아 적은 범위밖에 찍지 못해 0~3, 3~6, 6~9의 사진 3장을 합성해 0~9의 다이나믹 레인지를 가지는 사진을 얻는 기술[4][5], 이전에는 0부터 10까지 표현가능한 디스플레이였다면 0부터 20까지 표현가능한 디스플레이를 만드는 기술[6] 등이 있다.
같은 HDR라는 이름을 쓰더라도 적용되는 방식과 분야, 원리가 다르다.
3.1. HDR 색상에 대한 압축 기술
디스플레이의 한정된 최대 콘트라스트 표현력 내에서 컨텐츠의 콘트라스트를 압축 및 최적화하여 다이내믹 레인지를 표현하는 기술들이다. 디스플레이가 표현가능한 것보다 높은 콘트라스트를 가진 컨텐츠의 경우, 표현가능한 영역 밖을 컷오프하지 않고 표현가능한 영역 안으로 압축하는 기술이 있다.
3.1.1. 톤 매핑
HDR 밝기 영역의 이미지를 SDR 밝기 영역으로 콘트라스트를 압축시키기 위한 기술이다.
3D 그래픽의 경우에는 부동소수점으로 렌더링된 정보를 실제 화면으로 구현할 때에 부동소수점 색 심도를 지닌 선형 결과물을 실제 화면에 출력하기 위하여 HDR이나 SDR 디스플레이 기기를 불문하고 반드시 사용할 수밖에 없다. 왜냐하면 HDR 디스플레이일지라도 구현할 수 있는 최대 밝기는 제한되기 때문이다.[7] 다만, HDR 디스플레이 기기에서는 톤매핑이 약하게 이루어지며 명부의 명료도와 밝기가 톤매핑이 강하게 이루어지는 SDR 화면에 비해서는 훨씬 뛰어난 편이다.
사진에서는 인쇄의 목적에 맞게 HDR 이미지를 SDR 영역으로 톤매핑하는 기법을 하나의 예술로써 인정받고 있다. 영상에서의 톤 매핑에 비해서도 사진에서의 톤 매핑은 그 기법이 다양하고 결과물도 초현실적인 것들도 많다.
3.1.2. HDR 프린팅
HDR 소스를 이용하여 인쇄 매체에 출력하는 기술이다. 프린터에서 자체적인 톤매핑 과정을 거쳐서 인쇄 매체에 알맞게 최적화하여 해당 소스를 출력한다.
HP와 캐논에서 자체적인 원천 기술을 갖고 있다.
3.2. HDR 색상에 대한 저장 및 구현 기술
디지털에서 표현할 수 있는 휘도의 한계를 확장시켜 실제 세계에서 존재하는 광원의 밝기에 근접한 극사실적인 콘트라스트를 표현하기 위한 기술들이다.
기존에는 넓은 다이나믹 레인지를 가진 소스(고가 장비로 촬영된 영상이나 HDR 렌더링으로 만들어진 게임 내부 3D 세계)를 오래된 디스플레이 한계 기준에 맞춰서 톤 맵핑을 하였으나, 이제는 그 한계를 좀더 넓혀서 현실 세계에서의 밝기를 최대한 밝게 보여줄 수 있는 디스플레이를 만들고 이에 관련된 컨텐츠 제작 및 보급을 위한 포맷을 규정하려는 관련 업계의 움직임이 일기 시작하였다.
HDR 디스플레이를 구현하기 위하여 필요한 일부 기술들은 다음과 같다.
- 감마 인코딩 시에는 10비트 이상의 정수 색상, 선형 인코딩 시에는 부동소수점 색상을 구현.
- 감마 인코딩 시에는 80nits 이상의 휘도값을 구현할 수 있는 EOTF를 사용.
- 디스플레이 기기에서 로컬 디밍 구현.
3.2.1. HDR 디스플레이 기술 및 인증 규격
HDR 디스플레이 기기에 대한 인증 규격을 살펴보자. HDR10 인증 디스플레이 기기의 경우에는 최소 0.05~1,000니트 (명암비 200,000:1 이상) 또는 0.0005~540니트(명암비 1,080,000:1) 이상, 그리고 DCI-P3 색 영역의 100% 이상을 구현해야 한다. 모바일 HDR10 인증 디스플레이 기기의 경우에는 이 규정이 다소 완화되어 최대 휘도 500 nits 이상을 달성하면 된다.
돌비 비전 인증 디스플레이 기기의 경우에는 최대 휘도 4,000 nits와 2,000,000:1 이상의 명암비, 그리고 BT.2020의 색 영역을 구현해야 한다.
현재 HDR을 지원할 수 있는 기기들의 한계상 OLED TV를 위한 기준(암부 스펙을 강조)과 로컬 디밍 LCD를 위한 기준(명부 스펙을 강조)이 별도로 존재한다.
4K HDR로 출시되는 UHD 블루레이에서 MaxCLL 및 MaxFALL 값을 영상 소스에 명시할 것을 권장하는 이유도 디스플레이 기기 쪽에서 이들 값을 참조하여 전력 소비량을 제어하기 위한 추가 정보를 제공하기 위함이다.
이러한 HDR 인증 규격을 달성하기 위하여 HDR 디스플레이 기기에 어떤 기술이 들어가는지 살펴보자.
3.2.1.1. 로컬 디밍
백라이트를 사용하는 디스플레이 기기에서 밝기를 화소 단위에 가깝게 제어하기 위하여 개발된 기술로, 백라이트를 여러개 이용해 화면 부위별로 백라이트를 조정할 수 있게 되어, 명부와 암부 간의 밝기차를 극대화하여 콘트라스트 표현력을 높이는 역할을 한다.
3.2.1.2. 전력제어 기술
고휘도를 구현하는 것을 목표로 하는 HDR 디스플레이 기기는 SDR 디스플레이 기기에 비해서 더 높은 전력을 소비할 수 밖에 없다. 이로 인하여 장면 별로 화소마다 소비 전력을 최적화하는 기술을 필요로 한다. 이런 기술이 없으면 HDR 디스플레이 기기에서 화소에 지나치게 과전류가 흐르거나 수명이 쉽게 단축되기 때문이다.
3.2.1.3. VESA HDR 인증
비디오 전자 표준 위원회 VESA 에서 실시하는 모니터용 HDR10 인증 제도이다. 만든 이유는 'HDR10 (호환성) 지원'이라고만 해놓고 화질은 나몰라라 하는 제품이 너무 많아서(...) 그래서 인증 종류와 무관하게 기본적으로 HDR10 호환성을 무조건 요구한다.
인증 기준에는 여러가지가 있는데. 모니터의 휘도, 블랙레벨 성능, 액티브 디밍, 비트 뎁스, 밝기 상승 속도 등 여러 기준으로 인증을 주고 있다.
모니터쪽에서는 HDR 기능이 있다고 하면 보통 HDR10이고 찐 HDR로 불리는 것은 VESA에 HDR 인증을 받아야만 한다.
인증은 VESA HDR 400, 500, 600, 1000, 1400이 있고, 트루 블랙 400과 500도 있다. 초기 발표시에는 400, 600, 1000의 세 가지만 존재했으나(#), 워낙 천차만별인 모니터 스펙들을 분류하기 충분하지 못하다보니 시간이 지나면서 조금씩 추가되고 있다.
우선 400 600등의 수치는 HDR 활성화시 최대 밝기(cd/m2)를 의미하며. 이 수치가 높을수록 좋다.
HDR 500부터는 로컬 디밍을 보장한다. 그래봤자 HDR 600까지도 인증받기 위한 최소 스펙만 맞춘 로컬 디밍은 단점이 뻔히 티가 나는 수준이라 호불호가 심한 편이다. HDR 600 인증인데, 디밍 존이 9개밖에 안 되는 제품도 있다고...
HDR 400, 600의 경우 이제는 하이엔드 모니터라면 전부 다 인증을 받는다고 보면 되는데, 대표모델로 400의 경우 LG 38GL950G, 600의 경우 LG 38GN950에 적용되었으며 모든 인증 제품에 대해서는 여기를 참조하면 된다.
VESA HDR 1000 같은 경우는 진정한 플래그쉽 괴물 모니터들에 탑재가 되는데 대표적으로 ASUS의 PG27UQ이나 ACER의 X27 등 몆몆개의 미친 스펙들을 가지고 있는 모니터[8]들만 인증을 받았다. 사실 HDR10이 원래 의도한 화질을 보려면 저 스펙이 맞다는 게 불편한 진실이다. # "HDR10 most closely resembles Vesa"s DisplayHDR 1000" 그게 아니더라도 로컬 디밍을 요구하는 HDR 500을 최소한도로 잡는 게 좋다.[9][10]
자세한 인증 기준에 대해서는 여기를 참조하기 바란다.
3.2.2. HDR 색상 인코딩 기술
3D 그래픽에서는 세밀한 색상 구현을 위해 부동소수점 색상으로 HDR 색상을 선형으로 구현한다. 그러나 영상 업계의 입장에서는 부동소수점 방식으로 영상을 인코딩하여 배포할 경우에는 디코딩 과정에서 상당한 연산량이 발생하고 영상 용량이 늘어나므로 이를 사용할 수가 없다.
용량 및 성능 효율적으로 HDR 영상을 저장하기 위하여 영상 업계에서는 정수 방식의 감마 인코딩 규격을 만들었다. 감마 인코딩과 디코딩을 위해서 EOTF (Electro-Optical Transfer Function; 전기 광학 전송 함수)를 사용한다. 구현할 수 있는 색상 범위가 제한되어있는 정수 색상에서는 EOTF 감마 곡선을 통해 암부와 미드톤에 많은 비트를 할당하고 명부를 압축하여 인코딩한다. 수신 측에서는 전송 신호에 EOTF 곡선을 역으로 적용하여 원래의 선형적인 색상으로 변환한다.
한편, 기존의 EOTF는 80 nits까지 표현이 가능한 sRGB 함수나 BT.1886 함수를 사용하였다. HDR 영상에서는 PQ와 HLG의 EOTF를 통해 80 nits 이상의 높은 밝기의 화면을 송출하고 구현할 수 있다.
3.2.2.1. 감마 인코딩 방식
대표적으로 지금의 기기실현 한계를 인정한 HDR10 및 HDR10+와 하이브리드 로그 감마 (HLG), 그리고 미래지향적인 돌비 비전으로 나뉜다.
HDR10, HDR10+와 HLG는 영상 소스에 10비트 이상의 색 심도를 구현할 것을 규정하였고, 돌비 비전의 경우에는 12비트까지의 색 심도를 지원한다.
HDR10과 돌비 비전에서 쓰이는 PQ EOTF는 출력 참조 함수이므로 실시간 방송에 최적화되지는 않다. 주로 영화, 드라마에서 쓰이고 있다.
HLG에서 사용하는 EOTF는 장면 참조형 함수이고 SDR과의 하위호환이 뛰어나므로 스포츠 중계에서 주로 쓰이고 있다. HLG가 사용하는 EOTF의 경우에는 시각적으로 플랫한 콘트라스트를 보여주기 때문에 사람의 인지적 시각을 고려하여 콘트라스트를 극대화하는 PQ EOTF에 비해서 실제로 표현되는 명부의 명료도가 낮다.
돌비의 반론에 따르면 PQ EOTF로도 충분히 실시간 방송은 가능하다고 한다. 실제로 스페인 공영방송 RTVE는 2017년 7월 5일에 세계 최초로 돌비비전과 돌비 AC-4 오디오를 활용한 생방송에 성공했다. HDR 디스플레이에 대응하는 게임들도 HDR10 규격에 맞춰서 PQ EOTF를 통해 실시간으로 그래픽을 구현하고 있다.
HDR 기술은 SDR 디스플레이 기기와의 하위호환성을 만족시켜야하는 숙제를 해결해야 한다. 돌비 비전은 SDR 영상과 HDR 영상을 하나의 컨테이너에 포함시켜서 듀얼 레이어의 형태로 함께 전송하며 수신 측에서 HDR을 지원할 경우 HDR 영상을 출력하는 방식이 사용되고 있다. 다만, 돌비 비전의 하위호환 방식은 더 높은 대역폭을 필요로 한다는 점에서 부담이 된다.
HLG의 경우에는 최대 밝기에 구애받지 않는 EOTF를 사용하므로 리시버 측에서 적절한 수신이 이루어지면 SDR 디스플레이 기기에 대해서도 하위호환이 용이하고 비용도 적게 드는 편이다.
UHD 블루레이와 UHD 방송에서 압도적으로 쓰이고 있는 표준인 HDR10에서는 PQ라는 동일한 EOTF를 사용하는 돌비 비전과는 달리 영상에서 듀얼 레이어를 사용해야한다는 규정이 없으므로 SDR 디스플레이 기기와의 상호호환성이 떨어지며 리시버 측에서 SDR 디스플레이로 출력하기 위한 별도의 톤 매핑을 해야한다.
3.2.2.2. 선형 인코딩 방식
영상이나 이미지를 FP16과 FP32와 같이 부동소수점 단위로 취급하고 감마 인코딩을 사용하지 않는 색상을 뜻한다. FP32의 경우에는 최대 30 스톱의 다이나믹 레인지를 구현할 수 있고, FP16의 경우에는 최대 16 스톱의 다이나믹 레인지를 구현할 수 있다.
부동소수점 연산은 정수 연산에 비해서 많은 연산력을 필요로 하므로 이미지 합성과 포스트 프로덕션 시에 아카이빙 용도로만 사용된다. 이후에 부동소수점으로 구현된 HDR 색상은 최종 배포용 영상으로 제작시에 정수 색상으로 감마 인코딩하여 저장된다.
부동소수점 단위의 색상을 지원하는 이미지 포멧으로는 DNG (*.dng), OpenEXR (*.exr), Radiance HDR (*.hdr), JPEG-HDR (*.jxr) 등이 있다.
4. 현황
해당 업계에서는 높은 콘트라스트의 화면을 구현하기 위해서 실질적으로 어떠한 시도를 하고 있는지 살펴보자.
4.1. 3D 그래픽
2004년 크라이텍은 파 크라이에서 게임업계 최초로 HDR 렌더링을 사용하였고, 2005년 밸브가 하프라이프 2: 로스트 코스트를 시연하면서 자사의 소스 엔진을 활용한 HDR 렌더링 기술을 발표했다.
다만, HDR 렌더링을 하더라도 SDR 디스플레이 기기에 맞춰서 톤 매핑을 해야하기에 HDR 렌더링의 효과를 100% 체감하기는 어려울 수 있다. 그래도 LDR 렌더링을 하고 SDR로 출력하는 것보다는 HDR 렌더링을 하고 SDR로 톤 매핑을 하는 것이 더욱 사실적인 콘트라스트를 구현할 수 있다는 점에서는 여전히 HDR 렌더링은 효과적인 기술이라고 할 수 있다.
최근에는 HDR 밝기 영역을 지원하는 하드웨어와 관련 소프트웨어가 등장함에 따라서 톤 매핑을 과도하게 거치지 않아도 되므로 HDR 렌더링의 장점을 더욱 살릴 수 있게 되었다.
4.2. 영상
HDR로 영화나 드라마를 제작할 경우에 포스트 프로덕션 작업은 HDR 전용 모니터가 설치 된 특수 색 편집실에서 진행된다. 이러한 특별한 공간에서 창작자들은 HDR 영상의 색감과 밝기를 매우 세밀하게 튜닝할 수 있다.
카메라에서 촬영된 영상을 가공하여 마스터본 영상으로 변환하기 위해서는 숙련된 색상 편집 전문가(Colorist)가 필요하다. 이 과정에서 색상 편집 전문가는 촬영된 영상 데이터에 존재하는 시각 정보가 상이한 물리적 특성을 지닌 다양한 디바이스에서 최적의 느낌으로 재생될 수 있도록 영상의 다이내믹 레인지를 세부 조정하는 제 2의 창작 활동을 수행한다. 궁극적으로 톤매핑(Tone Mapping)은 이러한 창작 과정의 일부분이라 할 수 있다. 색상 편집 전문가는 때로 영상 내의 특정 성분을 화사하고 또렷하게 표현하기 위해 영상의 주된 스토리와 관련성이 적은 색과 밝기 성분을 왜곡할 수 있다. 이러한 왜곡의 과정에서 특정 성분이 생략되기도 하고, 과장되기도 한다.
창작자들이 HDR(High Dynamic Range) 버전의 마스터를 제작할 때 내리게 되는 예술적인 의사 결정은 SDR(Standard Dynamic Range) 버전의 마스터 제작시의 그것과 별개로 수행될 수 있으며, 그 결과 각각의 마스터 버전은 서로 다른 색감과 톤을 가질 수 있다. 이 과정에서 창작자는 빛이 적절히 차단된 실내에 고성능 마스터링 모니터를 설치한 이상적인 환경에서 예술적인 의사 결정을 내리게 되는데, 일반적으로 이러한 이상적인 환경은 일반 소비자의 시청 환경과 매우 다르다. 특히 마스터링 모니터는 일반인이 구입하기에 터무니 없는 고가이며, 성능 또한 일반 제품의 그것과는 비교가 불가할 정도로 높은 것이 보통이다.
일단 마스터링 과정을 마친 뒤 얻어지게 되는 HDR 마스터는 다양한 파일 포맷으로 저장되는데, 통상 10bit 혹은 16bit 정수형이거나 16bit 부동 소수점 형식으로 픽셀 정보를 정의한다. 일반적인 디지털 영상의 포스트 프로덕션 작업은 최소 12bit 이상의 픽셀 형식에 대해 32bit 이상의 해상도를 가진 데이터 파이프라인을 통해 수행 된다.
상술한 고사양의 HDR 마스터는 디스플레이 단으로 전송되어 재생되는 과정에서 기술적인 어려움을 겪게 된다. BT.2100 표준은 밝기 정보를 절대적인 물리량으로 정의하고 있는 반면 상용 디스플레이들은 밝기 표현 능력과 암부 표현력에서 제조사별, 모델별 매우 다양한 편차가 존재한다. 따라서 HDR 마스터를 일반 사용자 환경의 상용 디스플레이 디바이스에 표시하는 과정에서, HDR 표준에 따라 정의 된 넓은 범위의 밝기 및 색상 정보를 장치가 표현할 수 있는 제한된 범위로 변환해야만 하며, 그 결과 필연적으로 화질 열화를 피할 수 없다. 일반적으로 상용 디스플레이의 색상 표현 능력은 창작자가 포스트 프로덕션 단계에서 참조한 마스터링 모니터에 비해 턱없이 빈약하다.
4.3. 디스플레이
2018년 1월 ATSC 3.0 규격에 Dolby Vision의 동적 메타데이터와 색채 표현 방안이 포함되었다. # 또한 스페인과 영국, 프랑스 등의 방송국에서 돌비비전 시험방송이 행해지고 있다. #
HDR 영상과 SDR 영상은 상당한 해상력 차이를 보여주며 지원 소스 또한 다각적으로 나오고 있다. 다만 HDR의 표준은 계속 만들어지는 과정에 있으며 아직 완성되지 않았기 때문에, 지금의 HDR 컨텐츠들은 HDR의 여러 규격 중 극히 일부만 맞춰두고 있는 실정이다.
HDR에 대한 일반 소비자용 컴퓨터 업계의 지원으로는 AMD가 자사 제품들의 HDR 지원을 소개하며 발표한 내용들을 참조. 거치형 콘솔 게임기인 엑스박스 원 S와 엑스박스 원 X, 플레이스테이션 4, 플레이스테이션 4 프로 역시 HDR을 지원한다. 엑스박스 원의 경우에는 Dolby Vision 지원도 발표했다.
영상기기에 대해 조예가 깊은 매니아들은 이미 짐작하겠지만, 대한민국 방송/영상 업계는 이런 것에 관심 없기로 유명하다. 4K UHD는 시작 단계로 아직까지 FHD[11]에 머물고 있고, 중요한 중계 방송이나 영화를 제외하면 5.1채널 음향을 100% 지원하는 방송도 드문 실정인 만큼 게임도 안 하고 UHD 블루레이 디스크와 미국 드라마에도 관심이 없다면 HDR은 관심 꺼도 좋다. 게임을 한다 해도 720p 혹은 1080p에 만족하는 게이머라면 역시 마찬가지다. 우여곡절 끝에 한국에서도 2014년부터 케이블/위성으로, 2017년 5월부터 지상파로 4K 방송이 실시되고 있으며 HDR은 HLG 방식으로 일부 프로그램에 한하여 제한적으로 적용되고 있다.
현재 한국에서 HDR을 지원하는 스트리밍 서비스는 넷플릭스와 아마존 프라임 비디오가 있다. 넷플릭스는 HDR Dolby Vision과 HDR10을 모두 지원하는데 Dolby Vision을 지원하는 기기에서는 Dolby Vision을 우선해서 스트리밍한다.
2016년 11월 7일 유튜브도 HDR 동영상을 지원하기 시작했다.출처
사실 이 기술은 현재 시점에선 치명적인 결점이 존재하는데, 현재 대부분의 디스플레이의 입력단으로 사용되는 HDMI 2.0 규격의 최대 화질은 4K 해상도 상에서 크로마 서브샘플링 4:4:4 8bit 60Hz가 규격상의 한계이다. 보통 콘솔 및 PC 등의 기기 입력 시 최고의 화질을 위해 대부분 저 설정으로 연결하게 되는데, 이 상태에서는 10bit 크기의 HDR 신호를 전송할 수 없다. 결국 최대 대역폭에 적절한 화질을 보장하기위해선 크로마 서브샘플링을 4:2:2으로 내려서 60Hz 주사율을 유지하는 등의 처리를 하게 되는데, 이는 HDR을 위해 근본적인 화질을 저하시키는 것과 다름이 없다.
게다가 HDR 컨텐츠를 제작하는 입장에서도 문제가 있다. 아직까지 돌비 비전은 커녕 HDR10을 완벽하게 지원하는 PC용 모니터조차 손에 꼽을 정도이며[12] 가격도 매우 비싸다. VESA에서는 최소 400cd/m2 이상의 최대 밝기를 지원해야 HDR 디스플레이라 부를 수 있다고 명시해 놓았는데, 보급형 모니터 중에서 이 기준을 충족시키는 제품은 거의 없다고 보면 된다.[13] HDR을 제대로 지원하지도 못하는 디스플레이 장비로 HDR 컨텐츠를 만들 수 있을까? 현 시점에서 HDR을 논하기에는 소비자, 제작자 양쪽이 모두 기술적으로 아직 시기상조인 것이다.
모니터의 경우 워낙 다양한 스펙이 난무하는 관계로 VESA가 각각의 수준에서 HDR10 컨텐츠 재생을 최대한 보장하기 위해 DisplayHDR 400, 600, 1000 등 여러 규격을 만들었다. #, #, #, # 그러나 이마저도 인증을 안 받고 적당히 HDR 지원이라고만 하는 제품들이 여전히 많다. 게임용으로 가변싱크(VRR)와 함께 쓰려면 더욱 복잡해진다. #[14][15]
콘솔 입력 등으로는 디스플레이의 최대 성능을 끌어낸 HDR 소스 감상은 절대 불가능하며, 스마트TV와 같은 자체적인 화질 처리 엔진과 미디어 재생 능력을 갖춘 디스플레이에 직접 USB를 입력하든지, 디스플레이 자체의 스마트 기능(DLNA 등)을 이용해 영상 신호가 아닌 데이터 파일을 직접 전송하는 경우에만 HDR의 제 성능이 나오게 되는데, 대부분의 디스플레이 활용이 HDMI를 통해 이루어 진다는 것을 생각하면 이는 결국 소비자의 무지를 이용해 활용하기 힘든 기술을 끼워팔고 있는 것이나 다름이 없는 상황. 이 문제는 HDMI의 대역폭이 가진 근본적인 문제이므로, HDMI의 버전이 동적 HDR[16]을 지원하는 2.1로 올라가기 전에는 해결될 수 없다. HDMI 1.4에서의 HDR 단, DisplayPort 1.4를 지원하는 경우에는 최대 성능으로 HDR 컨텐츠를 감상할 수 있다.[17] 그러나 DisplayPort는 아직까지 PC 쪽에서만 사용된다는 근본적인 한계가 있다. 디스플레이, 특히 TV 업계에 있어서 규격의 확보가 우선되어야 할 미래의 기술을 판촉을 위해 무리하게 끌고 온 것이다.
현재 모바일 분야에서는 HDR 지원을 자처하는 기기들이 등장하고 있으며 엑스페리아 XZ 프리미엄, 갤럭시 S8, LG G6, 아이폰 X 등은 모바일 HDR 인증 기기이다. 다만 현재 모바일 HDR 인증의 경우, 최대 밝기를 인증 기준에 넣지 않고 있으므로 HDR 영상의 메타데이터 처리 정도만 가능한 정도로 생각하는 것이 옳다. 이 또한 HDR 기준에서 가장 중요하다고 볼 수 있는 '''밝기 기준이 누락'''된 탓에, 판촉 목적이 성능의 증명보다 우선된 부정적 사례로 봐도 무방하다. 소니의 엑스페리아 1이 스마트폰으로는 최초로 8bit+FRC(Frame Rate Conversion) 방식의 10bit를 지원한다. 그 이후로는 샤프의 AQUOS R3가 모바일 LCD중에서는 최초로 8+2FRC 방식의 Pro IGZO 디스플레이를 탑재하였고 엑스페리아 5, 엑스페리아 1 II, 엑스페리아 PRO, 샤오미 블랙샤크 3 Pro, OPPO FIND X2 Pro, 원플러스 8 Pro 등 점점 늘어나는 추세이다.
2019년 2월 삼성전자의 갤럭시 S10 시리즈가 HDR10+ 인증을 받았다. 모바일 기기 최초다!
GPU에서는 GeForce 10 시리즈부터 HDR 디스플레이와 그에 맞는 화면 출력을 지원하고 OS에서는 윈도우 10 레드스톤2부터 지원한다. 하지만 레드스톤2는 HDR을 지원하긴 하지만 HDR ON/OFF만 가능하며, 몇몇 기능이 제한되어 있었다.[18] 이후 레드스톤3이 출시되면서 SDR 밝기 설정, SDR/HDR 디스플레이 상태 확인 등의 기능들이 추가되며 사용성이 개선되었다.
4.4. 사진
HDR 이미징은 주로 환경맵(Environment map)을 얻는데 사용한다. 환경맵이란 현실세계에서 360도 HDR 파노라마[19]로 주변 경관을 찍어서 주변의 광원 데이터를 얻는 것을 가리킨다.[20] 이렇게 얻은 HDR 환경 맵은 해당 장면에 합성할 3차원 오브젝트를 렌더링할 때 광원으로 사용하여 조명들을 직접 구해서 비추는 방식에 비해 훨씬 자연스럽게 합성된 이미지를 얻을 수 있다.
HDR 영상이 등장하면서 HDR을 지원하는 영상 인코딩 기술을 그대로 차용하여 이미지로 저장하는 포멧이 등장하였다. HEIC와 AVIF는 각각 HDR 색상에 대해서 정수 인코딩을 지원하는 H.265와 AV1 동영상 코덱으로 인코딩한 개별 프레임을 저장하는 이미지 컨테이너다.
캐논은 업계 최초로 PQ EOTF로 인코딩된 10비트 HDR HEIC 이미지를 저장할 수 있는 카메라 제품을 출시하였다.
5. 전망
과거에 HDR 기술은 게임 업계와 사진 업계의 사례를 보더라도 단순히 콘트라스트를 극대화하기 위한 수준에 지나지 않았다.
영상 및 3D 그래픽 업계에서는 CGI 분야에서 이미 HDR 렌더링을 차용하였다. 다만, 실제 출력으로 이어지기 위해서는 연산량과 용량이 큰 부동소수점 색상을 그대로 사용하기는 어렵고 최종 결과물은 정수 단위의 색상으로 변환하여 구현할 수 밖에 없다.
영상 업계에서는 컬러 그레이딩을 통해 높은 콘트라스트의 영상을 구현하는 것이 상당히 중요한 목표였다. 그러나 영상 업계에서는 현실 세계의 밝기를 제대로 구현하지 못하는 SDR의 EOTF에 대한 단점을 보완해야 할 필요를 느꼈다. 그렇다고 부동소수점 색상을 사용할 수도 없는 실정이기에 정수 단위의 색상을 사용하면서도 더 높은 밝기 영역을 표현할 수 있는 새로운 EOTF를 개발하였다. ST.2084(PQ; Perceptual Quantizer, 인지적 양자화)와 HLG(Hybrid Log Gamma. 하이브리드 로그 감마)가 이에 대한 결과물인 셈이다.
이러한 영화 업계에 대응하여 TV, 모니터 뿐만 아니라 노트북, 모바일 기기에서도 HDR 밝기 영역을 지원하는 기기가 등장하고 있고 GPU 및 OS에서도 HDR 밝기에 대응하는 제품을 출시하는 추세이다.
사진 및 이미지 업계에서도 톤 매핑 기술에 국한되지 않고 HDR 밝기 영역을 구현하는 것이 주요 과제가 될 것으로 보인다.
6. 관련 문서
[1] 컬러리스트 업계에서는 종종 흰색을 '''페이퍼 화이트''' (Paper White)라고 부르기도 한다.[2] 3D 렌더링의 경우 합성 단계에서 쓰이는 패스(AOV, 렌더의 하이라이트, 그림자, UV, 노멀, 간접반사광 등을 모두 별도의 이미지로 분리해놓은 것이라고 보면 쉽다.)들을 뽑아야 하는데, 일부 특수목적의 패스 같은 경우는 매우 넓은 범위의 숫자 또는 매우 정밀한 값을 요구하는 경우가 있다. 이런 경우 정수 LDR 이미지를 쓰면 큰 오차가 나기 쉽다.[3] HDR 색상의 경우 장면 별로 휘도차가 심하므로 각각을 위해 마스터링 시에 확보해야하는 DR은 달라질 수 있다.[4] 예를 들면 아이폰 XS 카메라의 스마트 HDR 기능[5] 물론 이렇게 되면 3~6의 다이나믹 레인지를 0~10로 표현하다가 0~9의 다이나믹 레인지를 0~10에 표현하는 셈이 되니 다이나믹 레인지가 압축되면서 사진 내 콘트라스트는 부드러운 것처럼 느껴진다.[6] 갤럭시S10의 HDR10+ 디스플레이[7] HDR로 인코딩된 동영상도 HDR 디스플레이 기기에서 최대 밝기를 능가하는 장면이 등장할 경우 밝은 부분이 어느정도 컷오프되어 출력된다.[8] 또는 TV[9] HDR 400은 'SDR이 아닌 HDR'이라고 하기 위한 정말 최소한의 스펙이다. 그래서 그것조차 인증 포기한 제품은 정말 아무 기대도 안 하는 게 좋다. HDR 400도 없이 HDR10만 적어놓은 모니터는 그야말로 '재생 호환이 된다'라고만 받아들여야 실망이 없다.[10] 다만 HDR 500은 초기 3스펙이 아니라 나중에 나온 스펙이라 그런지 HDR 600 지원 모니터보다 오히려 제품이 드문 건 함정(...)[11] 대부분 1080p가 아닌 1080i60 이나 720p 소스로 송출하고 있으며 그나마 영화 쪽이 2K 소스를 사용하고 있다.[12] HDR10 지원의 핵심 요소인 10bit의 색 심도를 지원하는 모니터는 손에 꼽는 수준이고, 그마저도 대부분 8bit+FRC(Frame Rate Conversion) 방식을 사용하고 있다. 이는 당연히 트루 10bit보다 색 표현력이 떨어진다. 다만 이 부분은 단가의 문제도 있다. 트루 10bit를 지원하는 모니터들은 현 시점에서 가격이 100만원을 넘어간다.[13] 예를 들면 IPS 모니터 중에서 비싼편에 속하는, 2019년에 출시된 LG전자의 QHD 해상도 / 최대 1ms 응답 속도를 지닌 나노 IPS 게이밍 모니터인 27GL850도 10bit 색 심도를 지원하나, 최대 밝기가 부족하여 HDR400 인증을 받지 못했다. 32UL950과 같은 값비싼 플래그쉽 모니터 정도만 HDR600을 지원했을 정도이다. 2020년에 돼서야 LG에서 HDR600 인증을 받은 모니터를 많이 출시했으나, 그나마 제대로 된 HDR 디스플레이를 구매하기에는 아직도 구매에 대한 진입장벽이 높은 상황이며, 대중화는 아직 갈 길이 멀어 보인다.[14] FreeSync 2의 경우 처음엔 DisplayHDR 400을 요구했으나 품질 보증을 위해 새롭게 FreeSync 2 HDR을 개설하고 HDR 인증도 DisplayHDR 600으로 최저 요구선을 높였다. 그러나 그 이후 오히려 FreeSync 2 호환만 되게 만들고 정식 인증은 포기한 제품들이 나올 정도로 난잡한 상황이다.[15] 참고로 현재는 AMD 공식 표기상 FreeSync 2는 없다. 이후에 또 개편을 해서 FreeSync 프리미엄과 프리미엄 프로로 업그레이드 겸 재분류 했기 때문. 프리미엄은 기존 FreeSync에 최소 요구사항을 몇개 추가한 상위호환이고, 프리미엄 프로가 FreeSync 2 HDR의 상위호환이라고 보면 된다.[16] 정적 HDR은 밝기나 대비 등의 HDR 규격을 영상 전체에 일괄 적용하는 반면, 동적 HDR은 그러한 규격을 매 프레임마다 정밀하게 제어해 가며 적용하는 것이다.[17] 몇몇 제조사는 편법을 써서 모니터의 입력단이 DP 1.2이지만 HDR 메타데이터를 받을 수 있도록 개조한 경우도 있는데 놀랍게도 PC에서 HDR 지원 모니터로 인식된다. 이런 경우 DP 1.2의 대역폭이 4K 10bit 60Hz 크로마 서브샘플링 4:4:4를 지원하므로 화질 저하가 일어나지 않는다.[18] PC용으로 HDR을 지원하기만 하는 저가형 HDR 모니터들은 최대 밝기가 그리 높지 않은 편인데, 레드스톤2에는 HDR 디스플레이의 SDR 컨텐츠 밝기 조절 메뉴가 없다. 모니터 밝기 문제와 맞물려서 HDR을 켜게 되면 SDR인 화면들이 너무 어둡게 나타나면서 HDR 디스플레이에서 SDR 컨텐츠를 사용하기는 어려운 문제가 있었다.[19] 파노라마를 확보하는 방법은 카메라의 종류와 성능, 그리고 환경맵을 구성하는 기술에 따라 달라진다.[20] 기업 환경의 전문 작업에서는 고가의 카메라를 이용한 거의 자동화된 솔루션이 있으나, 개인 작업으로는 이런 방식이 힘들고 고가의 카메라 세트를 사기 힘드므로 크롬볼(Crome ball. 말 그대로 크롬제 금속 공이다)을 사용하여 여기에 반사되는 환경을 찍어서 반사된 환경맵을 얻고(구형의 환경 맵이 얻어진다), 이를 큐브 형태의 맵으로 변환하여 쓴다. 실제로 찍는 것에 비해 오차가 좀 있긴 하지만, 직접 찍는 것보다 훨씬 적은 양의 사진만으로도 환경 맵을 구성할 수 있다. 그러나, 이런 방식 말고도 요즘은 360도 카메라가 시중에 100만원 정도로 나와 있어 이걸을 이용할 수도 있다.