딥페이크
1. 개요
'''딥페이크 / Deepfake'''
딥페이크(deepfake)란 인공지능 기술을 활용해 기존에 있던 인물의 얼굴이나, 특정한 부위를 영화의 CG처리처럼 합성한 영상편집물을 말한다. 과거 인물의 사진이나 영상을 조악하게나마 합성해 게시하던 것이 디지털 기술과 인공지능의 발전으로 몇 단계 정교해진 결과라 볼 수 있다. 원리는 다음과 같다. 합성하려는 인물의 얼굴이 주로 나오는 고화질의 동영상을 통해 딥러닝하여, 대상이 되는 동영상을 프레임 단위로 합성시키는 것이다. 병렬연산장치[2]의 성능에 따라 속도와 품질이 결정된다.
오래전부터 여자 연예인 뿐만 아니라 남자 연예인, 미성년 연예인과 일반인들을 포르노에 합성해 배포 혹은 유포되는 문제점을 지니고 있다. 특히 일반인의 얼굴을 합성해 지인능욕 [3] 영상을 트위터등의 여러 인터넷상 게시판 혹은 비공개적인,불법적인 사이트에 업로드 되는 일도 빈번히 일어나는 일이다.[4]
2. 특징
머리 외곽선을 통채로 따서 합성하는 것이 아니고, 안면윤곽 안쪽 부분만 피부톤을 맞춰 바꿔치기하는 방식. 즉, 눈코입 부분만 합성하는 것이다. 사람의 인상에는 헤어스타일과 안면윤곽도 크게 작용하며, 합성 대상이 원본과 확연히 다른 안면윤곽을 가지고 있다면 합성 자체는 자연스럽게 이루어졌다 하더라도 전혀 동일인이 아닌 것처럼 보이게 된다.
또한, 딥 러닝 방식의 특성상 주어지지 않은 정보에 대해서는 제대로 대응하지 못한다. 즉, 아무런 방해물이 없는 상태의 일반적인 얼굴 표정은 잘 합성해내지만, 얼굴 근처에 다른 물체가 있다거나, 얼굴 자체가 프레임에서 일부 잘려나갔거나, 일반적으로 잘 볼 수 없는 매우 특이한 표정을 지었다거나 하면 대충 덮어씌운 듯한 매우 부자연스러운 합성 결과가 나오고, 극단적인 경우 합성에 실패하여 그냥 원본 얼굴을 보여주기도 한다. 합성 대상의 얼굴 표정 학습량이 적을 때에도 비슷한 일이 일어나는데, 이 때의 모습이 기괴하여 불쾌한 골짜기 현상이 일어나기도 한다.
음성에는 전혀 손대지 않지만, 얼굴 표정을 적절하게 매칭시켜 합성을 하기 때문에 목소리가 다르다 하더라도 입모양이 발음과 일치하여 자연스럽게 느껴진다. 이런 특성이 방송이나 광고에 의도적으로 이용될 수도 있을 것이다.
이러한 특성을 인지하고 있으면 양산형 영상은 아주 쉽게 간파할 수 있으나, 반대로 이런 약점을 피하기 위해 합성 대상이 되는 사람과 비슷한 체형 및 얼굴형을 가진 사람이 찍힌 영상을 고르고, 대상자의 얼굴 표정을 매우 다양하게 학습시킨 상태에서, 안면부분에 별다른 방해물이 없는 장면 위주로 작업을 해낼 경우에는 굉장히 자연스러운 결과가 나오게 된다.
과거 2D 수동합성이 기술자의 감각적 스킬에 의존한 반면, 딥페이크의 경우는 좋은 장비를 갖춘 상태에서 적절한 대상을 찾고 충분한 학습량을 먹여야 하는 물량전으로 양상이 변한 셈이다. 현재 생산되는 어느정도 자연스러운 수준의 딥페이크들은 서로 조명여건이 다른, 앞, 옆, 위, 그리고 아래 등 다양한 각도와 표정을 포함한 3분정도짜리 비디오 3개정도면 만들수 있다고 한다.
현재 수준에서는 실사영상에 적용하면 이질감이 들지만 원본이 3D CG인경우 이질감이 확 줄어든다. 영화 스파이더맨 배우들의 얼굴을 마블 스파이더맨 게임에 적용한 모습
3. A.I.
- SAE_HD: 전 세대의 평면의 얼굴만 습득하는 문제점을 고치고 다양한 각도로 얼굴을 카피하고 독자적으로 그 각도에 따라 빛,음영을 절묘하게 넣는 AI. 원래 전 세대 AI가 좀 많이 단순했던지라 다른 AI의 의해 사장될 것이라는 예상을 뒤덮고 아직까지 현존하는 가장 최고의 AI. 당연하지만 사용했던 AI 모델을 버리지 않고 계속 쓰면 점점 실력이 향상된다.
- Quick_96: 저사양 전용 AI. 해상도가 시망이라 저용량/저해상도용으로 쓰면 쓸만하다곤 하나, 딥페이크를 이용하는 유저들 대다수는 은근히 고사양을 가지고 있어서 사실상 버려지는 AI이다. 그래도 저사양에서 돌아간다는 건 높이 쳐줄만할지도. 그리고 애초에 저사양용이다 보니 Iteration이 빠르게 올라간다. 그래픽카드 용량을 많이 잡아먹지도 않고 CPU에 조금 더 의존하는 AI이다.
- XSeg: 현존하는 가장 최신형의 AI. 최소한의 레퍼런스로 최고의 퀄리티를 뽑을 수 있는 가성비 최강의 AI. 문제점이라면 A의 얼굴형이 가늘어도 덮어 써지는 B의 얼굴이 좀 크다면 A의 얼굴을 늘린 상태로 붙인다는 것.... 하지만 그것과는 반대로 입모양과 눈의 초점은 기가 막히게 잡는다. 밑의 영상을 보면 대충 어떤 의미인지 알 수 있다.
4. 문제점
아직은 싸고 조악한 수준의 영상들이 많아서 대부분 가짜임을 짐작할 수 있지만 영상의 화질이나 처리되는 데이터의 질에 따라 딥페이크 영상과 원본영상의 구분이 어려울 정도로 발전하는 추세이며, 특히나 유명인들은 온라인에 공개된 리소스의 양이 당연히 많으므로 영상 합성이 용이하기 때문에 딥페이크 포르노의 탄생에 크게 일조하였다. '''특히 Pornhub를 비롯한 다수의 포르노 사이트, 트위터와 같이 접근성이 높은 사이트에도 실제로 이런 영상들이 돌아다녔다.[5] 또한 정치적 목적으로 딥페이크 영상을 만들어 정치인의 말조차 가짜로 만들어내어 정치적 공세를 가하는 경우도 존재한다.'''
딥페이크는 피싱에도 사용할 가능성이 있다. #
한국의 경우는 이를 제작을 해서 인터넷을 이용해 배포했다면 성폭력범죄의 처벌 등에 관한 특례법 제14조의 2에 따라 처벌받는다. 다만 대부분 국가에서 현재로선 법적으로 대처가 불가능하다.[6] 사생활 침해에 관한 클레임도 걸 수 없는 게 동영상에 나오는 몸은 해당 연예인이 아니기 때문에 법적으로 사생활 침해가 인정되지 않는다. 그나마 동영상이라도 내릴 수 있는 유일한 방법은 얼굴이 나온 원본 영상에 대한 저작권 침해로 클레임을 거는 방법 밖에 없다. 이와 같은 문제가 대두되기 시작하자 폰허브 같은 대형 플랫폼들은 딥페이크 영상들을 내리는 조치를 취하자 딥페이크 영상들을 모은 전용 사이트들이 생겨났다. 그 사이트들은 대부분 '풍자화 예술' 콘텐츠라고 자칭해서 미국 헌법상 보호[7]되는 상황이기 때문에 강제로 내리게 할 수도 없는 상황이다.
포르노뿐만 아니라, 머지 않은 시점에 정치인이나 기업을 공격할 목적으로 합성한 사실적인 영상이 대중과 사회에 미칠 영향은 그야말로 무궁무진하며,[8] SNS가 발달한 오늘날에는 일반인들 또한 딥페이크 영상에서 안전지대에 있다고 장담할 수가 없다. 자신의 얼굴로 합성 포르노가 만들어져서 망신을 당할 수도 있다.
이미 악용 사례가 나왔고 레딧에 많은 외국 유명 탤런트들과 한국 연예인들이 포르노에 얼굴이 합성이 되어 떠돌았고 레딧에서는 얼마 안 있어 딥페이크로 만든 포르노를 전부 삭제하는 조치를 취했다. 대표적으로 엠마 왓슨의 얼굴을 사용한 포르노가 있는데, 처음 보는 사람들은 분간이 안 갈 정도로 자연스럽다. 게다가 점점 더 빠른 추세로 일반인들에게 보급과 이용이 되고 있는 데다가 제작자가 차기 딥페이크는 구분이 거의 되지 않을 정도의 성능을 보여줄 것이라 공언하였고 실제로 문제 또한 심각해졌다. 딥페이크 보급이 용이해지면서 공공연한 딥페이크가 음지 내에서 만연하는데 적발이 어려운 사태가 벌어졌다.
과거에는 딥페이크 포르노 제작을 직접적으로 처벌하는 조항이 대한민국 법에 없었다. 그러나 딥페이크 포르노 제작을 처벌하는 방법이 아예 없진 않다. 일방적으로 당사자를 성적 대상으로 삼는 행위인데다가 타인의 영상에 얼굴을 합성한 행위이므로 '''허위사실 적시에 의한 사이버 명예훼손'''이 성립하며, 어찌되었든 포르노이므로 공연히 적시했다면 '''음란물 유포죄'''로 형사 처벌이 가능하다.[9] 또한 민사사건으로서는 당사자의 동의 없이 딥페이크 포르노를 제작하였으므로 '''초상권 침해'''가 성립한다. 하지만 이러한 우회적 처벌이 아니라, 직접적으로 처벌할 수 있는 근거가 되는 법을 신설해야 한다는 목소리가 높아지면서 2020년 3월 17일에 관련 법이 통과되어 결과적으로 성폭력범죄의 처벌 등에 관한 특례법 위반으로 처벌받게 된다.
일본에서도 2020년에 연예인에 대한 딥페이크를 제작·공개한 혐의로 적발한 사례가 있다.#
엔터테인먼트 분야에서의 그 효율이 탁월하다 할지라도 한사람의 삶과 죽음, 개인과 집단의 이익 목적 실현을 위한 딥페이크의 악용, 나아가 정치적으로 사용되어 거짓된 정보를 통해 대중을 선동하여 국제적 불안까지도 조장할 수 있다는 것이며, 여기서 더욱 더 문제가 되는 점은 딥페이크물을 거짓으로 입증하기도 어려울뿐 아니라 일부 급진주의자들이 이야기하는 디크립트, 다시 말해서 해당 영상물이 실제로 딥페이크로 제작된다는 걸 밝혀주는 프로그램이 존재한다 해도 피해 당사자 측은 이미 상당한 피해를 입은 뒤의 후속조치에 불과하다는 것이다.
트위터같은 SNS상에서 링크를 통해 딥페이크 영상물을 사고파는 악성범죄가 자주 일어나는데, 지금까지는 여성 연예인을 대상으로 하는 딥페이크 성착취물에 대한 것만 공론화되었지만, 알페스 공론화 사건이 터지면서 오히려 남성 연예인이나 미성년인 남성아이돌들을 이용해 제작한 성착취물들이 셀 수도 없이 많이 범람하고 있다는 사실이 언론과 네티즌들을 통해 적발되었다. 그들의 은어로 섹테[10]라고 불리는 것도 이렇게 해서 적발된 것 중 한 장르다.
이렇게 실존 인물을 대상으로 딥페이크 기술을 이용해 당사자의 동의가 없는 불법적 커플링을 묘사하는 사례에 관한 자세한 내용은 Real Person Slash[11]의 줄임말인 알페스이다. 이는 알페스 공론화 사건 문서 참고.
2월 27일 그것이 알고싶다에서 보도되었으며 '''온라인 딥페이크 사용 목적의 무려 96%가 포르노그라피'''인 것으로 확인되어 분노를 사고 있다. 자세한 건 해당 문서 참조
5. 기타
자매품으로 딥누드가 있다. 딥페이크가 얼굴을 바꿔치기 하는 거라면 이쪽은 몸을 바꿔치기 하는 것. 정확하게는 비키니 등 노출이 많은 사진을 나체 사진으로 합성해준다. 그리고 또 다른 자매품으로 JavPlayer가 있는데, 이쪽은 AV의 모자이크를 제거하는 기술이다.[12]
6. 사용 예시
기록말살형(?)에 딥페이크가 사용된 사례가 해외에서 나왔다. 드라마 방영을 앞두고 한 배우가 사회적 물의를 일으켰는데 사전제작 방식이라 중도에 수정할 수도 없어서 딥페이크로 해당 배우의 얼굴만 바꿔치기 했다고...
당시 MBC 뉴스에서 딥페이크 예시로 아이유와 방탄소년단을 예시로 사용했는데, 양측 팬에서 논란이 되었다. 특히 방탄소년단은 MBC 일부 프로그램 빅히트 레이블 소속 아티스트 출연 제한 의혹의 연장선으로 보기도 했을 정도며, 자세한 내용은 MBC 아이유·방탄소년단 딥페이크 보도 사건 참조
실존인물 영상에 엘사와 같은 가상인물 얼굴을 합성하는 것도 가능하다.
심영물에서도 딥페이크를 도입한 작품들이 나오기도 했다. 아이언맨이 된 상하이조. 해당 유튜버는 이후로도 심영물을 비롯한 여러 장르에서 계속 딥페이크를 이용한 합성물을 만들고 있다.
한국 커뮤니티에서는 강호동과 브록 레스너를 서로 딥페이크로 합성한 합성물이 인기를 끌고 있다. 이수근 역시 강호동과 같이 합성되어서 나오는데 이수근은 폴 헤이먼과 서로 합성되었다.호동 레스너.gif브호동 모음.gif##
인물 사진에 딥페이크를 합성해 노래를 부르게 하는 ばかみたい가 인터넷 밈으로 퍼지기도 했다.
전체를 딥 페이크 영상만으로 채운 풍자 코미디 쇼가 유튜브에 나오기도 했다. 트레이 파커와 맷 스톤, 피터 세러피너위치[13]가 제작한 “Sassy Justice with Fred Sassy”로 여러 유명인들이 출연해 우스꽝스러운 말을 한다.
Corridor Digital에서 딥페이크를 이용하여 마치 키아누 리브스가 마트에 든 강도를 막는 것처럼 연출한 영상. 키아누 리브스와 체형이 비슷한 스턴트맨까지 섭외하여 만들었다.
뮤직비디오의 약 2분 19초경부터 투팍이 등장하는데 이 역시 딥페이크를 이용한 것으로, 립싱크를 맞춘 배우의 얼굴에 투팍의 얼굴을 덮어씌워 마치 투팍이 랩을 하는 듯한 연출을 보여준다.
AI 음악 프로젝트 다시 한번에서는 이 기술을 활용해 거북이의 무대를 재현했다. 체형이 비슷한 백댄서의 몸을 이용해 합성한 것.
딥페이크로 기존 영화속 CG작업과 비교하는 영상도 생겨났다.
심지어 톰 홀랜드를 1939년작 오즈의 마법사에 '''도로시'''와 합성한 작품도 있다!
7. 관련 문서
[1] 톰 크루즈와 로버트 다우니 주니어의 목소리 톤이 다르기 때문에 성대모사전문가를 불러 더빙도 했다.[2] 주로 그래픽카드가 많이 사용된다. 가격 대비 연산성능이 매우 뛰어나기 때문이다.[3] 이 단어는 가해자입장에서의 단어이니 사용을 지양하자.[4] 법 행위라 처벌받으니, 혹시라도 우연히 발견하게 된다면 신고하자.[5] 현재도 '지인 합성', '능욕 합성'등의 키워드를 검색해보면 지인이나 가족 등의 사진을 영상, 19금 사진에 합성해준다는 계정이 굉장히 많다. 심지어 이들 중 여럿은 공개 계정으로 버젓이 활동하고 있다.#[6] 당연하다면 당연한것이, 법이라는 건 기술 발달보다 훨씬 느리다보니 법에 구멍이 뚫리는 경우가 많다. "투자"로 취급되어 소비자보호법이 적용되지 못하는 와디즈가 대표적.[7] 실제로 그런지는 확인이 필요하며, 타인에 피해를 입히는것은 자유나 예술을 넘어 처벌이 되기 때문에 설득력은 적다.[8] 예를 들어 정적의 정치생명을 끝장내려 하는 경우가 벌어질 수도 있다. 이미 기존에 버락 오바마가 도널드 트럼프에 대해 실제론 하지도 않은 말을 하는 가짜 영상이 만들어져서 퍼진 바 있다. 물론 그 역으로 도널드 트럼프가 실제로 하지도 않은 말을 가지고 그를 깎아내리기 위해 선동하는 영상도 많이 만들어져서 퍼졌다.[9] 단, 딥페이크 포르노 영상의 유포라는 하나의 행위가 명예훼손과 음란물 유포죄 양측으로 해석되는 상황이므로, 상상적 경합이 적용되어 실제 처벌은 사이버 명예훼손으로 이뤄지게 된다. 참고로 '''허위사실 적시에 의한 사이버 명예훼손은 징역 장기 7년까지 가능한 중범죄다.'''[10] 남성 아이돌의 소리를 신음소리 비슷하게 조작해서 게이 영상 등에 집어넣는 방식으로 제작된 영상[11] 소설뿐만 아니라 그림, 영상 등 다양한 방식의 창작물도 실존 인물을 엮는 내용이라면 모두 RPS라고 부른다. 그리고 이 과정에서 영상물의 경우 딥페이크 기술이 사용된다.[12] 정확히는 제거가 아니라 상술한대로 딥러닝을 통해 덧붙이는 방식이다. 그런데 애초 AV작품의 모자이크가 노모인 경우도 많고, 덧붙일 부위도 톤이나 움직임이 간단하다보니 제거 수준처럼 보이는 것.[13] 존 윅 시리즈의 소믈리에, 다스 몰을 연기한 유명한 코미디 배우이며 한국에서는 키친건 영상으로 유명하다.[14] 다만 이쪽은 피터 쿠싱이 생전 얼굴 본을 뜬 적이 있어 작업이 어렵지 않게 진행되었다.[15] CG로 안티에이징 기술이 적용되었다.[16] 다른 비교영상과 달리 딥페이크가 훨씬 좋다. 기존 CG가 워낙 별로이기 때문.